- システム構成
- コンポーネントの役割
- prestoリソースの活用
まとめ
バッチ環境
- hadoop
- ほかシステム
- Hadoopに対するETLはやってない(digdag/scoopとかは使っている)
- 定型的なクエリがメイン
- presto
- 分析用クラスタ 0.170
- 1 coord, 20 worker
- 5分おきにクエリチェックをするクエリを流している
- query logをfluentd経由でKibanaで見れるようにしている
- redash
- 1.0.1+b2845
- google oauth連携
- amache zeppelin
- アナリスト用notebook
- https://zeppelin.apache.org
- kibana
- 利用状況モニタリング
- multi-coordinator
- バッチ
- coordinatorの切り替えを考慮してリトライを実装
- withをcreate文で使う場合は、先にcreate文を書くとwith句使いやすい
- slack + Prestoでslow queryの検知とcannel
- 5分おきにクエリチェッククエリを流す
- slack + hubot
- 分析prestoクラスタ
- バッチ分析クラスタ
