Java
# https://www.embulk.org/articles/2020/03/13/embulk-v0.10.html # v0.10.* is a "development" series, not for your production use. # In your production, keep using v0.9.* stable series. embulk.rbにこう言うことが書いてあった。
Release Release v0.10.30 · embulk/embulk · GitHub さよならjoda
Release Release v0.10.27 · embulk/embulk · GitHub Reimplement standard guess plugins in Java from Ruby
Release v0.10.0 · treasure-data/digdag · GitHub Release 0.10.0 — Digdag 0.10.0-SNAPSHOT documentation
Release Release v0.10.22 · embulk/embulk · GitHub Remove msgpack-core from embulk-core as it is already in embulk-api [#1340] Move PreviewPrinter to embulk-deps [#1341] Cleanup and refactor PluginClassLoader and its Factory [#1342]
Release Release v0.10.10 · embulk/embulk · GitHub Merge all embulk-deps-* to embulk-deps [#1279]
Release 328 · prestosql/presto · GitHub https://prestosql.io/docs/current/release/release-328.html
Release v0_10_before_merge_v0_9_38: Upgrade fluency-meter-registry to support old fluentd (#1237) · treasure-data/digdag · GitHub そろそろ0.10が出そうな気配
count(distinct x)の概略版だけど、count(x)のapproxはないのだね 6.14. Aggregate Functions — Presto 0.226 Documentation
Log stacktrace at TempFileSpace#cleanup [#1181] Release Release v0.9.19 · embulk/embulk · GitHub brew bump-formula-pr --url=https://bintray.com/artifact/download/embulk/maven/embulk-0.9.19.jar --sha256=b75f739ed1895c714b8535b37802c8fd50654…
Widening Casting ワイドニング変換 Narrowing Casting ナローイング変換 ワイドニング(黙字) int myInt = 9; double myDouble = myInt; ナローイング(明示) double myDouble = 9.78; int myInt = (int) myDouble; Java Type Casting boolean char byte shor…
定義はARRAY[]であってARRAY()でない。()だと関数呼び出しみたいになって死ぬ。 ARRAY[1,2,3]みたいな書き方。取り出しはelement_at 6.16. Array Functions and Operators — Presto 0.225 Documentation
挙動 embulk guessする際、カラム内にLong型とString型のデータが混在していてLong型として型を推論した場合、 embulk run実行時にNumberFormatExceptionになるので一部データが欠損する(stop_on_invalid_recordがfalseの場合) 対策 guess_sample_buffer_byt…
言語はJava 関数の実体 diffDate diffTime diffTimeWithTimeZone diffTimestamp 引数のデータ型によって(JavaじゃなくてSQLの)呼び出す関数が変わる ISOChronologyとかJodaとかで差分をとってる presto/DateTimeFunctions.java at 28ec8f43fec01a6cd7bdec2d4…
digdag server –disable-scheduler など Release 0.9.36 — Digdag 0.9.35 documentation
rd_option系の変数はsshd_configを弄らないとリモートホストに引き継がれないけどそれやるとセキュリティ的につらいから別の方法を考える。 https://stackoverflow.com/questions/43315968/rundeck-not-setting-up-environment-variable-for-remote-executio…
memo Drive API Client Library for Java 概要 Drive API Client Library for Java | API Client Library for Java | Google Developers サンプル google-api-java-client-samples/drive-cmdline-sample at master · google/google-api-java-client-samples ·…
Gradleを4.8にダウングレード ドキュメント修正 api.max_archive_total_size_limit backfillコマンドにスケジュールID対応 UI改善 Release 0.9.34 — Digdag 0.9.34 documentation
EmbulkEmbedまわりのdeprecated JSON Parser Pluginの実装(実験的) Release Release v0.9.15 · embulk/embulk · GitHub
digdag 0.9.32 コマンドに--enable-swaggeとか--task-logの追加 Python3ちょいサポート パッケージアップグレード ドキュメント修正 など Release 0.9.32 — Digdag 0.9.5 documentation
EmbulkEmbedの一部Deprecation Windowsでselfupdateしたときの挙動の変更 Release v0.9.14: Release 0.9.14 · embulk/embulk · GitHub
Release v0.9.13 · embulk/embulk · GitHub @PostConstruct @PreDestroy のサポート終了
sdkman 5.7.3 fish shell 3.0 fish shellは未だサポートされていない。ここから変わっていない。 ので、fisherからsdkman-for-fishをインストールする。するとうごく。 ちなみにsdkman、pyenvみたいにシステム標準のやつに切り替える方法が今はない。Issueみ…
embulk new csvの区切り文字制御 など Release 0.9.10 — Embulk 0.8 documentation Release 0.9.11 — Embulk 0.8 documentation
Minor improve log messages shown by version command when it cannot get server version [#868] Update td-client to 0.8.6 for td operators [#869] など digdag/release-0.9.28.rst at master · treasure-data/digdag · GitHub
csvとかでカラムの設定を自動でやりつつconfigを清書してくれるかんじ guessなので、パラメータはある程度予め決まっている Pythonとrequestのコンボをembulk-input-commandからのguessでbroke pipeになった https://stackoverflow.com/questions/14207708/i…
Java getStandardDays jodaのアレ。日の差分。 d.getStandardDays() http://www.mwsoft.jp/programming/java/joda_time_sample.html 戻り値はLong http://joda-time.sourceforge.net/apidocs/org/joda/time/Duration.html
getHost 該当する場合、このURLのホスト名を取得 ホスト名の形式はRFC 2732に準拠 戻り値の型はString https://docs.oracle.com/javase/jp/8/docs/api/java/net/URL.html
memo: HQL コミュニティのドキュメント。 Java のクラス名とプロパティ名を除いて大文字、小文字を区別しない FROM/JOIN/WITHがつかえる 実際に結果を返さなくてもクエリの結果数を数えるとかできる https://docs.jboss.org/hibernate/orm/3.5/reference/ja-…
cell_processors The number of columns to be processed (x) must match the number of column types (x) td-cliでcsvをバルクインポートするとき、csvのヘッダのカラムと中身のカラムの数がズレてたら怒られるから気をつけようね。 https://super-csv.gith…
