by shigemk2

当面は技術的なことしか書かない

Java

homebrew embulk

# https://www.embulk.org/articles/2020/03/13/embulk-v0.10.html # v0.10.* is a "development" series, not for your production use. # In your production, keep using v0.9.* stable series. embulk.rbにこう言うことが書いてあった。

embulk 0.10.30

Release Release v0.10.30 · embulk/embulk · GitHub さよならjoda

embulk 0.10.27

Release Release v0.10.27 · embulk/embulk · GitHub Reimplement standard guess plugins in Java from Ruby

digdag 0.10.0

Release v0.10.0 · treasure-data/digdag · GitHub Release 0.10.0 — Digdag 0.10.0-SNAPSHOT documentation

embulk 0.10.22

Release Release v0.10.22 · embulk/embulk · GitHub Remove msgpack-core from embulk-core as it is already in embulk-api [#1340] Move PreviewPrinter to embulk-deps [#1341] Cleanup and refactor PluginClassLoader and its Factory [#1342]

embulk 0.10.10

Release Release v0.10.10 · embulk/embulk · GitHub Merge all embulk-deps-* to embulk-deps [#1279]

prestosql 328

Release 328 · prestosql/presto · GitHub https://prestosql.io/docs/current/release/release-328.html

digdag 謎タグ

Release v0_10_before_merge_v0_9_38: Upgrade fluency-meter-registry to support old fluentd (#1237) · treasure-data/digdag · GitHub そろそろ0.10が出そうな気配

Presto approx_distinct

count(distinct x)の概略版だけど、count(x)のapproxはないのだね 6.14. Aggregate Functions — Presto 0.226 Documentation

embulk 0.9.19

Log stacktrace at TempFileSpace#cleanup [#1181] Release Release v0.9.19 · embulk/embulk · GitHub brew bump-formula-pr --url=https://bintray.com/artifact/download/embulk/maven/embulk-0.9.19.jar --sha256=b75f739ed1895c714b8535b37802c8fd50654…

Javaのキャスト

Widening Casting ワイドニング変換 Narrowing Casting ナローイング変換 ワイドニング(黙字) int myInt = 9; double myDouble = myInt; ナローイング(明示) double myDouble = 9.78; int myInt = (int) myDouble; Java Type Casting boolean char byte shor…

presto array

定義はARRAY[]であってARRAY()でない。()だと関数呼び出しみたいになって死ぬ。 ARRAY[1,2,3]みたいな書き方。取り出しはelement_at 6.16. Array Functions and Operators — Presto 0.225 Documentation

embulk guessのNumberFormatException

挙動 embulk guessする際、カラム内にLong型とString型のデータが混在していてLong型として型を推論した場合、 embulk run実行時にNumberFormatExceptionになるので一部データが欠損する(stop_on_invalid_recordがfalseの場合) 対策 guess_sample_buffer_byt…

Presto date_diff 実装

言語はJava 関数の実体 diffDate diffTime diffTimeWithTimeZone diffTimestamp 引数のデータ型によって(JavaじゃなくてSQLの)呼び出す関数が変わる ISOChronologyとかJodaとかで差分をとってる presto/DateTimeFunctions.java at 28ec8f43fec01a6cd7bdec2d4…

digdag 0.9.36

digdag server –disable-scheduler など Release 0.9.36 — Digdag 0.9.35 documentation

rd_option

rd_option系の変数はsshd_configを弄らないとリモートホストに引き継がれないけどそれやるとセキュリティ的につらいから別の方法を考える。 https://stackoverflow.com/questions/43315968/rundeck-not-setting-up-environment-variable-for-remote-executio…

Drive API Client Library for Java

memo Drive API Client Library for Java 概要 Drive API Client Library for Java | API Client Library for Java | Google Developers サンプル google-api-java-client-samples/drive-cmdline-sample at master · google/google-api-java-client-samples ·…

digdag 0.9.34

Gradleを4.8にダウングレード ドキュメント修正 api.max_archive_total_size_limit backfillコマンドにスケジュールID対応 UI改善 Release 0.9.34 — Digdag 0.9.34 documentation

Embulk v0.9.15

EmbulkEmbedまわりのdeprecated JSON Parser Pluginの実装(実験的) Release Release v0.9.15 · embulk/embulk · GitHub

digdag 0.9.32

digdag 0.9.32 コマンドに--enable-swaggeとか--task-logの追加 Python3ちょいサポート パッケージアップグレード ドキュメント修正 など Release 0.9.32 — Digdag 0.9.5 documentation

embulk 0.9.14

EmbulkEmbedの一部Deprecation Windowsでselfupdateしたときの挙動の変更 Release v0.9.14: Release 0.9.14 · embulk/embulk · GitHub

embulk 0.9.13

Release v0.9.13 · embulk/embulk · GitHub @PostConstruct @PreDestroy のサポート終了

sdkman 5.7.3

sdkman 5.7.3 fish shell 3.0 fish shellは未だサポートされていない。ここから変わっていない。 ので、fisherからsdkman-for-fishをインストールする。するとうごく。 ちなみにsdkman、pyenvみたいにシステム標準のやつに切り替える方法が今はない。Issueみ…

embulk 0.9.10 0.9.11

embulk new csvの区切り文字制御 など Release 0.9.10 — Embulk 0.8 documentation Release 0.9.11 — Embulk 0.8 documentation

digdag 0.9.28

Minor improve log messages shown by version command when it cannot get server version [#868] Update td-client to 0.8.6 for td operators [#869] など digdag/release-0.9.28.rst at master · treasure-data/digdag · GitHub

embulk guess memo

csvとかでカラムの設定を自動でやりつつconfigを清書してくれるかんじ guessなので、パラメータはある程度予め決まっている Pythonとrequestのコンボをembulk-input-commandからのguessでbroke pipeになった https://stackoverflow.com/questions/14207708/i…

Java getStandardDays

Java getStandardDays jodaのアレ。日の差分。 d.getStandardDays() http://www.mwsoft.jp/programming/java/joda_time_sample.html 戻り値はLong http://joda-time.sourceforge.net/apidocs/org/joda/time/Duration.html

getHost

getHost 該当する場合、このURLのホスト名を取得 ホスト名の形式はRFC 2732に準拠 戻り値の型はString https://docs.oracle.com/javase/jp/8/docs/api/java/net/URL.html

memo: HQL

memo: HQL コミュニティのドキュメント。 Java のクラス名とプロパティ名を除いて大文字、小文字を区別しない FROM/JOIN/WITHがつかえる 実際に結果を返さなくてもクエリの結果数を数えるとかできる https://docs.jboss.org/hibernate/orm/3.5/reference/ja-…

cell_processors

cell_processors The number of columns to be processed (x) must match the number of column types (x) td-cliでcsvをバルクインポートするとき、csvのヘッダのカラムと中身のカラムの数がズレてたら怒られるから気をつけようね。 https://super-csv.gith…