Cloud Composerの活用事例と料金体系について調べてみました。
Cloud Compoer とは？
Cloud ComposerはGCPが管理するフルマネージドなAirflowで、バッチ処理等のワークフローの管理を行うことができます。例えばDataflowを実行し、BigQueryのテーブルを作り、作ったテーブルを参照するDataflowの逐次処理を実現できます。GUIで実行履歴や状況を管理できることも採用されてる理由のようです。
cloud.google.com
Cloud Compoer活用事例
Cloud ComposerやDataflowを使ったデータパイプラインを構築している企業を調べてみました。
メルペイ
メルカリ
JapanTaxi
リブセンス
料金体系について
料金体系は環境のサイズとその環境を実行した期間によって決まるようです。
# 引用
料金は、Cloud Composer 環境のサイズとその環境を実行した期間によって決まります。Cloud Composer 環境は、ウェブサーバー ノードの数とサイズ、データベース ストレージ、ネットワーク（下り）使用量に基づいて分単位で課金されます。
cloud.google.com
うーん。そこそこしそうです。こちらの記事にもありますがコストを抑えるためにワーカーの数や利用しないときは削除する(停止ができないので)など何らかの工夫をすると良さそうです。
cloud-textbook.com
所感
Cloud Compoer 結構使われてるんですね(モダンな企業はやっぱりすごいすね(汗))。コスト面が気になりましたが、Functionsと組み合わせて必要なタイミングでのみ使う運用にすればコスト面を工夫できそうだと思いました。
