by shigemk2

当面は技術的なことしか書かない

memo 3 Months Into Treasure Data #tdtech

  • 日本語でセッション…

TDに入る前

  • spotifyで働いていて、バックエンドの開発をやっていた
  • dockerとかインフラとか
  • CSの中でいちばん興味のあるのは分散システムとかパフォーマンスのところ

なんでTD

  • cloud is eating the world
    • 2011時点のspotifyのインフラはオンプレミスだった
    • 2016時点では積極的にGCPへ行こうし始めていた(全部Googleに任せよう)
  • クラウド化

TDに入ってどうしたのか

  • Digdagの開発
    • インテグレーションテストとか
    • web ui
    • more operators
    • alerts & notifications
  • TD
    • bugfix SDK

具体例: Presto PlazmaDB Meatadata Cache

  • TDにテーブルがなかった??
  • メタデータには入ったけどprestoには伝わらず……
  • prestoのメタデータキャッシュにデータが残っていた

Hard CS Problems

cache invalidatoin, naming thinsとか

Future Digdag Work

いろいろ多いのでTDはエンジニアを募集しています