Neuronコア上での推論処理が実行されている間に、別のターミナル上で neuron-top ツールを使用して Neuronコアの利用率を確認することができます。
以下の出力結果例では Inferentia推論チップ上の4つの Neuron コアそれぞれが、15~20%程度の負荷で利用されていることが確認できます。
NeuronCore Utilization
NC0 NC1 NC2 NC3
ND0 |||||||||||||||[19.34%] ||||||||||||||||||||[19.62%] ||||||||||||||||||||[19.64%] ||||||||||||||||||||[19.64%]
vCPU and Memory Info
System vCPU Usage ||||||||||||||||||||||||[10.97%,17.40%] Runtime vCPU Usage |||||||||||||||||||||||[ 2.77%, 1.13%]
Runtime Memory Host ||||||||||||||||||[ 9.9MB/ 15.2GB] Runtime Memory Device 207.5MB
Loaded Models
Model ID
[+] ND 0起動中のインスタンス上で利用可能な Inferentiaチップ (Neuron Device)、Neuronコア を確認することができます。 またそれぞれの Neuron Device を利用しているプロセスを確認できます。
以下の出力結果はinf1.6xlarge上で実行した場合の例です。
$ neuron-ls
+--------+--------+--------+-----------+--------------+-------+------------------------------------------+---------+
| NEURON | NEURON | NEURON | CONNECTED | PCI | PID | COMMAND | RUNTIME |
| DEVICE | CORES | MEMORY | DEVICES | BDF | | | VERSION |
+--------+--------+--------+-----------+--------------+-------+------------------------------------------+---------+
| 0 | 4 | 8 GB | 1 | 0000:00:1c.0 | 23518 | neuron-app01 infer --input-data-direc... | 2.0.0 |
| | | | | | 23531 | neuron-app02 infer --input-data-direc... | 2.0.0 |
+--------+--------+--------+-----------+--------------+-------+------------------------------------------+---------+
| 1 | 4 | 8 GB | 2, 0 | 0000:00:1d.0 | 23595 | neuron-app01 infer --input-data-direc... | 2.0.0 |
+--------+--------+--------+-----------+--------------+-------+------------------------------------------+---------+
| 2 | 4 | 8 GB | 3, 1 | 0000:00:1e.0 | 23608 | neuron-app02 infer --input-data-direc... | 2.0.0 |
+--------+--------+--------+-----------+--------------+-------+------------------------------------------+---------+
| 3 | 4 | 8 GB | 2 | 0000:00:1f.0 | NA | NA | NA |
+--------+--------+--------+-----------+--------------+-------+------------------------------------------+---------+