Data Pipeline Casual Talkに行ってきた #DPCT
抽選に通ったので、表題のイベントに参加しに、エムスリー社まで行ってまいりました。運営の@tetsuroitoとエムスリー様に感謝。
Tweetはhttps://togetter.com/li/1318940参照。
あとで細かいこと書くかもしれませんが、軽く感想を書きます。
- Airflow多い(自分もpython使いなのでLuigi, Airflow良いが), Digdag無い
- GCP, AWSのハイブリッドが多い。Azure・・
- 「Airflow便利です(`・ω・´)」ふむ
- 「これからCloud Dataflow入れていきます」・・うん?
- (恐らく公開情報だと思うので書いておくと)BigQueryがここまで流行っているのは日本くらいで、アメリカだとSnowflake(https://www.snowflake.com/)が強いらしい Snowflake Named a Leader in Gartner Magic Quadrant for Data Management Solutions for Analytics
現場からは以上です。