by shigemk2

当面は技術的なことしか書かない

embulk guessのNumberFormatException

Java

挙動

embulk guessする際、カラム内にLong型とString型のデータが混在していてLong型として型を推論した場合、 embulk run実行時にNumberFormatExceptionになるので一部データが欠損する(stop_on_invalid_recordがfalseの場合)

対策

  • guess_sample_buffer_bytesを引き上げて、サンプル用に読み込むファイルサイズを引き上げてみる
  • csv_all_stringsで全カラムを強制的にString型として推論させる

Configuration — Embulk 0.8 documentation

csv_all_strings guess plugin for Data Connector – Arm Treasure Data

brew 2.1.11

homebrew

GitHub Actions CIに対応してる。

  • python_virtualenv_constants: upgrade virtualenv to 16.7.4 (@lembacon)
  • breadth-first search for dependents upgrade (@amyspark)
  • Improve ZSH completion so local formula files are completable (@lbergelson)
  • Remove brew cask automerge. (@reitermarkus)
  • messages_spec: handle frozen Homebrew.args. (@MikeMcQuaid)
  • Use MacOSRequirement for casks. (@reitermarkus)
  • Add fallback for out-of-spec Last-Modified header. (@reitermarkus)
  • Try caching the Docker image. (@reitermarkus)
  • workflows/tests: hardcode coveralls token. (@MikeMcQuaid)
  • man: support multi-line paragraphs in comment-based docs (@EricFromCanada)
  • manpages: fixes and rewording (@EricFromCanada)
  • GitHub Actions CI (@Homebrew)
  • Fix typos (@jonchang)
  • os/mac/diagnostic: allow use of GitHub Actions CI. (@MikeMcQuaid)
  • Move global methods into Kernel module. (@reitermarkus)
  • build: bump dnsruby from 1.61.2 to 1.61.3 in /docs (@Homebrew)
  • Support deleting login items by path. (@reitermarkus)
  • utils: make redact_secrets handle nil secrets. (@MikeMcQuaid)
  • build: bump html-pipeline from 2.11.1 to 2.12.0 in /docs (@Homebrew)