by shigemk2

当面は技術的なことしか書かない

embulk

embulk 0.9.20

TempFileSpaceまわりの修正 brew bump-formula-pr --url=https://bintray.com/artifact/download/embulk/maven/embulk-0.9.20.jar --sha256=2c1db625583854fcbd5851a6e927dd06e28f375d9ba4dbc5e15e1dcd7bfa06fa embulk Release Release v0.9.20 · embulk/emb…

embulk guessとcsvとtimestamp 日本語カラム

これの続き。 guess/previewしたあとの時間なデータは2019-01-01 00:00:00.000000 +0000 みたいな形に変換されるっていう問題があって、embulk-filter-ruby_procをもちいてStringに変換するほうほうがあったんだけど、カラム名が日本語だったらどうするんだ…

embulk guessとcsvとtimestamp

YYYY-MM-DD なデータを持つカラムを持つcsvファイルをembulk guessする。 すると、以下のようなcolumnsができる。 columns: - {name: id, type: long} - {name: account, type: long} - {name: time, type: timestamp, format: '%Y-%m-%d %H:%M:%S'} - {name…

embulk 0.9.12

ドキュメントのリンクが一部刷新されてる Release v0.9.12 · embulk/embulk · GitHub

embulk 0.9.8

Bump up Guice to 4.0.0, and guice-bootstrap to 0.3.0 [#1008] など Release 0.9.8 — Embulk 0.8 documentation

embulk guessの標準出力 標準エラー出力メモ

embulk guess -o オプションを省いてえられる出力は標準エラー出力 -l error とかにして最大限に出力を落としても、 2018-05-29 18:54:35.036 +0900: Embulk v0.9.7 とか、 Use -o PATH option to write the guessed config file to a file. は標準出力とし…

memo embulk-output-s3

sequence_format: '' みたいなことをすると、出力ファイルの名前が path_prefix + file_ext になる endpointがhttp(≠https)だったときの挙動がちょっと不明 https://www.rubydoc.info/gems/embulk-output-s3

ERROR digdag/embulk is marked as an executable but could not be run by the operating system

fish shellでembulkとかdigdagとか使っていると実行スクリプトにシバンが書かれていないのでエラーになる is marked as an executable but could not be run by the operating system github.com java -jar /path/to/digdag とか java -jar /path/to/embulk …