AWS Glueの作成

クローラの作成

画面のサービス検索窓から「glue」と入力し、AWS glueのページに移動

  • 左のナビゲーションペインからクローラを選択し、クローラの追加をクリック
    • クローラの名前: 任意(yyyymmdd-handsonなど) 次へを選択
  • Crawler source type：Data stores
  • データストアの選択: S3
  • インクルードパス：右横のフォルダボタンをクリック

次へを選択

  • S3パスを選択: 作成したS3をクリックし、選択
  • 別のデータストアの追加：いいえ 次へを選択
  • IAMロール：「IAMロールを作成する」を選択し、任意の名前を入力
  • 頻度：任意の実行頻度 次へを選択
  • データベースの追加をクリック
  • データベース名：任意の名前を入力 作成をクリック

データベースに先ほど入力したデータベース名が選択されいている事を確認し、次へを選択

最後に確認画面が表示されるので、設定が問題なければ完了をクリック

クローラの実行

  • 画面上部の 今すぐ実行しますか? をクリック
    • ジョブ実行が完了するとステータスがReadyに戻ります。

テーブルの確認

クローラのジョブが完了すると、自動的にデータベースとテーブルが作成され、データカタログとして保存されます。

  • 左のナビゲーションペインから、データベースをクリック。
    • クローラで設定したデータベースをクリックすると、テーブル定義を確認できます。