構築したリソースの確認

このセクションでは、CloudFormation で構築された AWS リソースを順に確認していきます。(特に設定を変更する箇所はありません。) CloudFormation を使って構築する部分

CloudFormation で構築したものを確認してみましょう

  1. CloudFormation のコンソールで リソース タブをクリックし、作成した AWS リソース一覧を表示します。 CloudFormation Resources
  2. 論文のクローリングをおこなう AWS Lambda の関数を確認します。
    1. CloudFormation の画面で表示されているリソース一覧の中から、タイプ が AWS::Lambda::Function となっているものを探して、ws1-lambda というリンクをクリックします。 CloudFormation Find AWS::Lambda::Function
    2. 以下のような AWS Lambda の画面が表示されます。 Lambda Console
    3. 画面に表示されているコードの中身、環境変数、基本設定を確認しましょう。
    4. 画面の一番上までスクロールして、アクセス権限 のタブをクリックします。ここでは Lambda がアクセス権限を持っているサービスと、そのサービスに対して実行できる動作を確認することができます。 Lambda Permissions
    5. 画面の一番上までスクロールして、モニタリング のタブをクリックします。ここでは Lambda の実行状況やログを確認できます。このハンズオンでは、EventBridge (CloudWatch Events) で定期実行されているので、すでに複数回 Lambda が実行されているのが確認できます。 Lambda Monitoring
  3. クローリングされたデータが正しく S3 バケットに保存されていることを確認します。
    1. 画面左上の サービス▼ から S3 を検索し、S3 のページに移動します。
    2. S3 バケット一覧が表示されます。その中から、hclsworkshop1- から始まる名前をクリックし、バケットの中身を表示します。 S3 Bucket
    3. Lambda で検索した結果は、年・月・日・時間ごとにグループ分けされて保存されています。年 (2020)・月 (11)・日 (18)・時間 (08) のようにクリックしていくと、最後にオブジェクト (ファイル) が現れます。
    4. オブジェクトのチェックボックスにチェックを入れてから、アクション▼ をクリックし、ダウンロード を選択します。 Downloading S3 Object
    5. ダウンロードされたファイルをご自身のコンピュータのテキストエディタなどで開きます。 JSON 形式で保存されているのがわかります。
  4. 最後に、AWS Glue の設定を確認します。
    1. 画面左上の サービス▼ から Glue を検索し、AWS Glue のページに移動します。
    2. AWS Glue のテーブル一覧の画面で、hclsworkshop1_ から始まる名前のテーブルが作成されているのを確認します。テーブルの名前をクリックして、テーブルの詳細を表示します。 Glue Tables
    3. AWS Glue では、S3 バケットを指定するだけで、以下のようなデータの形式や構造を自動的に認識することができます。
      • S3 のバケット内部のファイル構造 (YYYY/MM/DD)
      • ファイルの形式 (JSON)
      • ファイルのスキーマ (列名 pid やデータ型 String など)
      • レコード数 Glue Table Detail

以上で CloudFormation で作成された AWS リソースの確認は完了です。

次のセクションでは、収集したデータを可視化していきます。