AWS ParallelCluster とは？

このページではハンズオンの手順は解説していません。 必要のない方は次のページを移動してください。

AWS ParallelCluster についての詳細は、BlackBelt Online Seminar: AWS ParallelCluster ではじめるクラウドHPC をご参照ください。

AWS ParallelCluster とは

AWS ParallelClusterは、SGEやSlurmなど、既存のジョブスケジューラを使用しながら、ジョブ投入に応じて自動でスケールするクラスタを AWS 上に構築可能な AWS 公式のオープンソースソフトウェアです。

  • pcluster コマンドを使って、少しのコマンド操作でAWS上にクラスタ環境を構築可能
  • ジョブスケジューラへのジョブ投入に応じて自動でインスタンスの起動・終了を行うAuto-Scale環境を作成
  • スケジューラやOSに加え、使用するインスタンスタイプや台数などをカスタマイズ可能
  • 様々なAWSサービスと連携して利用することが可能
    • NICE-DCV: リモート可視化アプリケーション
    • Amazon FSx for Lustre: 高速分散ストレージ
    • Elastic Fabric Adapter: MPIやNCCL対応の低レイテンシネットワークアダプタ
  • 対応MPI
    • OpenMPI
    • Intel MPI
  • 対応スケジューラ
    • Slurm
    • SGE
    • TORQUE
  • 対応OS
    • Amazon Linux 1 or 2
    • CentOS 6 or 7
    • Ubuntu 16.04 or 18.04
  • オープンソースソースのプロジェクトで下記より誰でも入手可能

AWS ParallelCluster の利用イメージ

AWS ParallelCluster ソフトウェアをインストールし、作成したいクラスタ構成を config ファイルに記述。 pcluster create コマンドにより、クラスタ環境が自動的に AWS 上に構築される。

AWS ParallelCluster