by shigemk2

当面は技術的なことしか書かない

digdag

digdag 0.9.31

py if param_set/param_get Release 0.9.31 — Digdag 0.9.5 documentation

digdag 0.9.30

Add options to customize _retry behavior [#852] Upgrade okhttp to 3.9.0 for td-client [#881] (なんかタグ付けされるの遅くないですか…) Release 0.9.30 — Digdag 0.9.5 documentation

memo digdag docker

memo digdag docker ジョブをコンテナ上で実行するアレ。 http://docs.digdag.io/architecture.html?highlight=docker やっていることは、内部で docker run -i --rm 経由でコマンド実行しており、そのためジョブが終わったらコンテナが即死する流れになって…

ERROR digdag/embulk is marked as an executable but could not be run by the operating system

fish shellでembulkとかdigdagとか使っていると実行スクリプトにシバンが書かれていないのでエラーになる is marked as an executable but could not be run by the operating system github.com java -jar /path/to/digdag とか java -jar /path/to/embulk …

digdag retry

retryはこういうふうに書くのね。なお、loopとretryは違う。 +prepare: # If +erase_table, +load_data, or +check_loaded_data fail, it retries from # +erase_table again. _retry: 3 +erase_table: sh>: tasks/erase_table.sh +load_data: sh>: tasks/lo…

digdag 0.9.12

bq_loadのYYYYMMDDテーブルサポート digdag_uiのmaven repositoy Release 0.9.12 — Digdag 0.9.5 documentation

digdag echo

ログを出す echo>: Shows a message — Digdag 0.9.5 documentation

AppVeyor

digdagで使われていたので。 TravisCIのWindows版みたいな説明だった。 posaune.hatenablog.com tomassetti.me

digdag 0.9.4

cli的にはこんなの digdag secret --local が使えるようになった。 Release v0.9.4 · treasure-data/digdag · GitHub だからメールのパスワードの設定は digdag secret --local --set mail.password=...password... こんな感じ。 なお、サンプルコードが古い…

sphinx install

digdagのドキュメントで使われているなど。 Sphinxのインストール — Sphinx 1.4.4 ドキュメント Sphinxの最初の一歩 — Sphinx 1.4.4 ドキュメント なお、./gradlew site ってやると、sphinx-build command not foundなどいくつかエラーになるので、apt-get i…

digdagのメール送信でUsername and Password not accepted

環境: Mac OSX Sierra アプリパスワードでやっても、認証設定をゆるくしてもUsername and Password not accepted と言われて弾かれる。 digdag/mail.dig at master · treasure-data/digdag · GitHub github.com 結局、.config/digdag/configのsecrets.mail.p…

digdagをごにょごにょするためのメモ

公式のexampleを見ながら手を動かしてみる digdag/examples at master · treasure-data/digdag · GitHub TDとのつなぎ込みとかメジャーなとこ以外でのコードの書き方については、英語の公式ぐらいしか情報がないので、これみていろいろ手を動かすしか無いと…

digdag emr memo

ちょっと難しい読んでて。 digdag/emr.dig at 1faa002e0f395d4521a2f8151160e88db651c1d3 · treasure-data/digdag · GitHub Operators — Digdag 0.8 documentation