3. 推論エンドポイントの呼び出し

Architedcture

SageMaker Studioの場合

Jumpstartにあるノートブックを使います。

以下のセルで、推論エンドポイントのデプロイ、呼び出しを行います

predictor = estimator.deploy(initial_instance_count=1, instance_type='ml.c5.xlarge')
# get some test images
dataiter = iter(test_loader)
images, labels = dataiter.next()

# print images, labels, and predictions
show_img(torchvision.utils.make_grid(images))
print('GroundTruth: ', ' '.join('%4s' % classes[labels[j]] for j in range(4)))

outputs = predictor.predict(images.numpy())

_, predicted = torch.max(torch.from_numpy(np.array(outputs)), 1)

print('Predicted:   ', ' '.join('%4s' % classes[predicted[j]] for j in range(4)))

ノートブックインスタンスの場合

こちらのサンプルノートブックをベースに使います。

以下のセルで、推論エンドポイントのデプロイ、呼び出しを行います

from sagemaker.pytorch import PyTorchModel

cifar10_predictor = cifar10_estimator.deploy(initial_instance_count=1,
                                             instance_type=instance_type)
# get some test images
dataiter = iter(testloader)
images, labels = dataiter.next()

# print images
imshow(torchvision.utils.make_grid(images))
print('GroundTruth: ', ' '.join('%4s' % classes[labels[j]] for j in range(4)))

outputs = cifar10_predictor.predict(images.numpy())

_, predicted = torch.max(torch.from_numpy(np.array(outputs)), 1)

print('Predicted: ', ' '.join('%4s' % classes[predicted[j]]
                              for j in range(4)))