by shigemk2

当面は技術的なことしか書かない

2017-03-09から1日間の記事一覧

memo: Airflowの紹介 #wfemeetup

SIer Bigtop/Yetusコミッタ アジェンダ 背景 紹介 デモ 要望 背景 以前はOozieを使っていた 設定はXMLで定義するのでだるい fork-joinを使うためにはすべての経路が成功する必要がある どれかがOKだったら全部OKみたいな運用ができない 任意のDAGとして定義…

memo: Azkaban #wfemeetup

memo: Azkaban #wfemeetup ジョブ管理ツール Hadoopのジョブ依存関係を解決するために作られた あんまりモダンじゃないJavaで実装されていること WebServerがGUIを提供 ExecuterServerでジョブを実行 基本的なことはできるが、高度なことはできない 依存関係…

memo: Luigiを使っている話 #wfemeetup

memo: Luigiを使っている話 #wfemeetup リクルートマーケティングパートナーズ hadoop spark Luigi 触っている人が少ない 日本語の情報が少ない アジェンダ スタディサプリ Luigiの基礎 Luigiと私 スタディサプリ スタディサプリ 塾講師の動画を定額で見れる…

memo: Jenkins 2.0 Pipeline & Blue Ocean #wfemeetup

ベアメタルクラウド アジェンダ おさらい Pipeline / Blue Ocean(Jenkins2.0から) デモ 活用事例 おさらい Java製のCI/CDツール Hudsonからフォークされた(2011) ジョブはshell script / Groovyで記述 豊富なプラグイン ビルド/テスト/デプロイの自動化 開発…

memo: Digdagの特徴とQuick Start #wfemeetup

Digdag :Digdagの特徴とQuick Start #wfemeetup TreasureData fluentd digdag messagepack workload automation 手作業の自動化 バッチデータ解析 アクセスログ ETL 集計処理 レポート生成 通知 データロード メール送信 システム間のデータ連携 プロビジョ…

memo: intro #wfemeetup

workflow engineとは 処理同士の先行・後続関係を workflow として定義できる Workflow を定期的に、あるいはファイルの到着など何らかの条件に基づいて実行できる 先行する処理の実行結果に基づいて、次に実行する処理を切り替えることができる 複数の処理…