by shigemk2

当面は技術的なことしか書かない

awscli 1.16.145

AWS

インデント修正 https://github.com/aws/aws-cli/releases/tag/1.16.145

RFC1945 user agentの項目

Web

RFC1945 user agentの項目 RFC1945のところ(長い)に仕様が書いてあるけど、作成したのが1996年なので、当然スマホやらPCやらで明示してこういうふうに書き方を分けろ、みたいなことは書いていない。 User-Agent = "User-Agent" ":" 1*( product | comment ) …

ruby-build v20190423

ruby-build v20190423 特段リリース内容がなかった Release v20190423 · rbenv/ruby-build · GitHub

Homebrew PrestoのFormulaについて

Homebrew PrestoのFormulaについて 1月に財団が出来て、それに伴いGitHubのOrganization 各種モジュールのダウンロードURL あとバージョニングが変わった。 Presto | Foundation Homebrew PrestoのFormulaも、ダウンロードURLを変えようとしたら、いろいろ物…

digdag 0.9.36

digdag server –disable-scheduler など Release 0.9.36 — Digdag 0.9.35 documentation

awscli 1.16.144

AWS

tweak Release 1.16.144 · aws/aws-cli · GitHub

awscli 1.16.143

AWS

formatterあたりの修正。 Release 1.16.143 · aws/aws-cli · GitHub

Athena 制限

AWS

スキャン量に制限はない 実行したクエリのデータをダウンロードできるファイルサイズに制限はない クエリ実行時間は3時間まで 同時実行数には限りがある テーブルのパーティションにも限りがある(というかパーティション切り過ぎたら性能劣化する) クエリ文…

MySQL集約関数一覧

MySQL集約関数一覧 JSON操作系は5.7から やっぱり SUM(IF(x = 0, 1, 0)) みたいな書き方 日本語ドキュメントは5.6まで MySQL :: MySQL 8.0 Reference Manual :: 12.20.1 Aggregate (GROUP BY) Function Descriptions

awscli 1.16.141

AWS

api-change:redshift: Update redshift command to latest version api-change:organizations: Update organizations command to latest version api-change:cognito-idp: Update cognito-idp command to latest version api-change:storagegateway: Update …

Emacs Homebrew

Emacs 26.2 これもう使えない。Cocoaをサポートしなくなったから。 $ brew install emacs --with-cocoa GNU Emacs download - GNU Project Cocoa support for Emacs will not be accepted. This is provided by brew cask install emacs. It is no longer po…

Emacs 26.2

Zはまあ使えるかも Emacs modules can now be built outside of the Emacs tree source. Emacs is now compliant with the latest version 11.0 of the Unicode Standard. In Dired, the 'Z' command on a directory name compresses all of its files. Emac…

awkの結果をカンマ区切りしたい

awkの結果をカンマ区切りしたい ふつうにprintしただけではダメ(たぶんカンマのパースが出来ていない)。 $ awk -F',' { print $1,$2,$3 }' input.csv printfを使おう。 $ chaet awk ... seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d…

sqliteのWITH

SQL

SELECT sqlite_version() などするとお使いのsqliteのバージョンが取れる WITH句が使えるのは3.8.3から Release History Of SQLite SQLite Query Language: Core Functions

rd_option

rd_option系の変数はsshd_configを弄らないとリモートホストに引き継がれないけどそれやるとセキュリティ的につらいから別の方法を考える。 https://stackoverflow.com/questions/43315968/rundeck-not-setting-up-environment-variable-for-remote-executio…

presto 0.218.1

なにこれ https://github.com/prestodb/presto/releases/tag/0.218.1

source config.fishとexec fish

fish, version 3.0.2 . は source のaliasだけど既にdeprecated sourceはファイルの評価で、source ~/.config/fish/config.fish は、config.fishの読み込みであるから、事実上のリロード。 execは今のシェルをあたらしいコマンドに置き換える。 exec fish は…

Package lacks a file header

Package lacks a file header cask installとかpackage installでこのエラーがでたら、対象のEmacs Lispにヘッダーが足りていないので、↓のプルリクを参考にしてヘッダーを足す。 "Package lacks a file header" when installing via `package-install` · Is…

pandas read_json

pandas read_json pandasでJSONを読み込むアレ。 pandas.read_json — pandas 0.24.2 documentation

jqで出力結果を単一の配列にしたい

jqで出力結果を単一の配列にしたい はい。 jq '[.[] | {message: .commit.message, name: .commit.committer.name}]' 通常の jq . とか jq .[] みたいな書き方をすると、単一のJSONじゃなくて無数のJSONが出来上がるので、最初からカッコでくくる。 Tutorial

Can’t make directory for path

AWS

EMRとかAthenaとかでCREATE TABLEでLOCATIONをS3にするときに気をつけること。 パスはオブジェクトキーなので、ディレクトリと同名のファイルがあったら Can’t make directory for path なるエラーになる。 FAILED: Execution Error, return code 1 from org…

memo OpenCSVSerDe

memo OpenCSVSerDe 2019/04/09 AthenaにCSVデータを突っ込むときにデータに改行が混ざってるやつは対処できない。つまり、こういうデータは改行処理されるからSELECTするなどしたら死ぬ。 1,"ab\nc" 2,"ab\nc" これはAthenaの仕様じゃなくてOpenCSVSerdeの仕…

memo PyGitHub Repository

PyGitHub Repositoryのcreate_file/update_file/delete_fileでパスを指定するときに最初にスラッシュが必要じゃなくなった $ git tag -l --contains ee9f098d910995fc5c59dbcbe9b0490804ceec6c v1.43.3 v1.43.4 v1.43.5 v1.43.6 Add a trailing slash to URL…

S3 オブジェクトキー

AWS

S3 オブジェクトキー 聞き慣れないけどS3のパスとファイルのことを合わせてオブジェクトキーとよぶ。 オブジェクトキーとメタデータ - Amazon Simple Storage Service

brew 2.1.0

bump系 https://github.com/Homebrew/brew/releases/tag/2.1.0

robustness

プログラムの外乱に対する抵抗性を持たせるには、チェックサムを仕込んでプログラムやバイナリデータのデータ改変を検知する機能を持たせる https://ja.m.wikipedia.org/wiki/ロバストネス なんかawscli 1.16.140のテストコード修正もそんな感じだった

awscli 1.16.140

AWS

テスト増えた Release 1.16.140 · aws/aws-cli · GitHub

name '_inplacevar_' is not defined

原理がよくわからないが、RedashのPythonデータソースで+= とか |= みたいな書き方をすると死ぬ。 github.com github.com

git ls-files -s

Git

[<tag> ]<mode> <object> <stage> <file> っていう表示。 $ git ls-files -s github/Repository.py 100644 1d4514f5745add8ee1d52e062b7a61021b25aedd 0 github/Repository.py Git - git-ls-files Documentation stage numberについては、基本ゼロだけどコンフリクトが発生したときに1 2 3に</file></stage></object></mode></tag>…

awscli 1.16.138

AWS

api-change:batch: Update batch command to latest version api-change:comprehend: Update comprehend command to latest version Release 1.16.138 · aws/aws-cli · GitHub