【AWS】 Glue 概要を眺めてみた｜1日1ハンズオン Day 38

こんにちは、ぽめら です。
本記事は1日1ハンズオン企画、第38回です！
今回からAWS Glueに触れていきたいと思います。

その第0歩として、今回は Glue 概要を眺めてみました👀
（…ドキュメントを確認するのも作業のうち&メモとしてね！！！）

1．はじめに

前回は、S3 に格納したデータを Athena で検索してみました。

今回から複数回は、データ処理を担う AWS Glue に触れてみたいと思います。ただ Glue をどう触ってみようかな…と悩んだため今回は第0歩として Glue の画面やドキュメントを眺める回にします！😇

Athena と S3 でデータ解析を直近ではやってみたわけですが、Glue は解析をするための前処理と呼ばれる作業に該当します。楽しみですね！

というわけで、レッツハンズオン！

2．Glueとは

Glueは、AWSが提供する サーバレスETLサービス です。ETLは「Extract（抽出）→ Transform（変換）→ Load（格納）」の略で、データを分析しやすい形に整えるプロセスを指します。

私は普段社内SE的な業務をしているのですが、Excel等の元データをPythonプログラムで整えてあげて、それを参照データにして出力をしています。

Glueはこれを自動化して、S3やAthena、RedshiftなどAWS内のデータサービスをつなぐ“ハブ” のような役割を果たしているっぽい👀

 データ基盤の全体イメージ（流れ）

[ S3 ] → [ Glue (ETL) ] → [ Athena / Redshift ] → [ QuickSight ]

👉 つまりGlueは、“データを動かす”中核的存在。

3．Glueの主要コンポーネント

Glueの主要な機能は下記の3つ👇

上記を実現する機能としてデータ構造を自動解析してスキーマをカタログに登録してくれるCrawler、AthenaやRedshiftが参照するメタデータベースData Catalog、ETL処理を実行するJob、複数Jobの自動実行・制御を行うTrigger / Workflowといった機能があります。

Glueは、これらを組み合わせて「データ収集→変換→登録」を自動化するわけですね。また、これらすべてがサーバレスで動作し、管理コストが最小限で済む点も大きな特徴です。

4．Glueコンソールを触ってみる

まず画面だけでもみてみようと思って、とりあえずダッシュボードを開いてみようと思います。

① AWS コンソールで「Glue」を検索 

② ダッシュボード
日本語表記はないっぽい(°_°)

一部のチュートリアルを見た感じ、GUIでワークフローを定義する様子などはMicrosoftのPowerAutomateとか触ったことある人はわかりやすいかも👀

・Glue in 5 Minutes Videos: Authoring

・AWS Glue のドキュメント

5．まとめ

今回は、Glueの全体像を掴むための「準備回」でした。

Glueについて知った時、「普段Pythonでやっている内容がAWS上にはサービスとして存在しているのか！（よくわからないけど）」状態だったので、これから触って理解していきたいと思います💪

というわけで今日はここまで！
ではまた明日👋

6．参考リンク

・Glue サービスページ

・Glue 概要（公式ドキュメント）

・Glue のドキュメントページ