by shigemk2

当面は技術的なことしか書かない

2017-01-12から1日間の記事一覧

Treasure Data Serviceの機能開発と安定運用の狭間におけるあれこれ #tdtech

機能開発側のはなし システムアーキテクチャのはなし いまどんなところに注力しているか 信頼性確保 アーキ (API server w/ RoR) * 4 w/ load balancer MySQL(JobQueue)/S3/RiakCS/MySQL(AccountDB) Worker(Ruby+Java) YARN Cluster(Hive/HDFS) / Presto Clu…

ActiveRecord issues #tdtech

ActiveRecord issues #tdtech kamipo activerecordについての話 rails issues team http://blog.steveklabnik.com/posts/2012-07-05-how-can-i-contribute-to-ruby-on-rails- Railsに2016年一番コミットした人なので、お前勝手にやれって言われた Rails 5.0→…

メモ Stable large scale Presto cluster #tdtech

Presto In TD TD API BI Tool HTTP から、クエリを投げる。 prestobase proxy node schedular(presto) resource group Prestobase proxy JDBC/ODBCはいけていない リプレイスするためのPrestobase Proxy HTTP接続するときにPrestoが使える Scalaで書かれてい…

メモ DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発 #tdtech

digdag github.com (途中参加) ワークフローエンジン Aをやって、Bをやって、でもBが失敗したらCをやる、というのを、コードを書かないで制御する サーバー どこの環境でも動くこと ワークフローが手元でも動く ステップを足す→ローカルで実行する サーバー…