by shigemk2

当面は技術的なことしか書かない

memo DMMでのprestoおよび周辺エコシステムの運用事例 #prestodb

  • システム構成
  • コンポーネントの役割
  • prestoリソースの活用
  • まとめ

  • バッチ環境

    • hadoop
    • ほかシステム
    • Hadoopに対するETLはやってない(digdag/scoopとかは使っている)
    • 定型的なクエリがメイン
  • presto
    • 分析用クラスタ 0.170
    • 1 coord, 20 worker
    • 5分おきにクエリチェックをするクエリを流している
    • query logをfluentd経由でKibanaで見れるようにしている
  • redash
    • 1.0.1+b2845
    • google oauth連携
  • amache zeppelin
  • kibana
    • 利用状況モニタリング
  • multi-coordinator
  • バッチ
    • coordinatorの切り替えを考慮してリトライを実装
  • withをcreate文で使う場合は、先にcreate文を書くとwith句使いやすい
  • slack + Prestoでslow queryの検知とcannel
    • 5分おきにクエリチェッククエリを流す
    • slack + hubot
  • 分析prestoクラスタ
  • バッチ分析クラスタ