by shigemk2

当面は技術的なことしか書かない

sbt 1.2.6

SBT

sbtのFormulaは、開発者にガッツリホールドされてる。たぶんこのプルリクも作業に組み込まれているのでしょう。

RedashのX軸 YYYYMM

X軸について、201801みたいな文字列でもCategoryは有効 Datetime visualization with missing weeks - Support - Redash Discourse

awscli 1.16.34

AWS

api-change:lambda: Update lambda command to latest version api-change:servicecatalog: Update servicecatalog command to latest version api-change:rds: Update rds command to latest version lambdaとrds Release 1.16.34 · aws/aws-cli · GitHub

zabbix api

Emacsでzabbixの通知とか見たかったけど、そんなものはEmacsにはなかった(melpaとか探してもない) 18. API [Zabbix Documentation 3.0]

Python最新情報メモ

Pythonの最新情報メモ。RSSあり。 Python Insider

ネタバレ対策でWikipediaの過去版を見る

仮面ライダージオウを見ていたらフォーゼが未視聴だったのを思い出したので、仮面ライダーフォーゼをAmazon Primeで週末限定で視聴している(今現在13話、スコーピオンゾディアーツの正体が明らかになるくだり)。 ところが、アニメや特撮は一度見ただけでは細…

awscli 1.16.33

AWS

api-change:cloudtrail: Update cloudtrail command to latest version Release 1.16.33 · aws/aws-cli · GitHub

to_csv

DataFrameをcsvに pandas.DataFrame.to_csv — pandas 0.23.4 documentation

awscli 1.16.32

AWS

api-change:mediaconvert: Update mediaconvert command to latest version api-change:directconnect: Update directconnect command to latest version api-change:athena: Update athena command to latest version api-change:transcribe: Update transc…

presto date_diff week month

date_diffってweekとかmonth単位でもいけちゃうんだね。 (EMRでPresto 0.187だけど) select date_diff('week', timestamp '2017-01-01 00:00:00', timestamp '2018-10-10 23:59:59') + 1; _col0 ------- 93 (1 row) select date_diff('month', timestamp '20…

embulk 0.9.8

Bump up Guice to 4.0.0, and guice-bootstrap to 0.3.0 [#1008] など Release 0.9.8 — Embulk 0.8 documentation

awscli 1.16.30

AWS

api-change:ssm: Update ssm command to latest version Release 1.16.30 · aws/aws-cli · GitHub

homebrew watch

homebrewのwatchはprocps-ngリポジトリからcloneしたやつでwatchだけを部分的にインストールしてる。 ディストリによってはngのほうが入ってるんじゃないかな?ってはなし。 homebrew-core/watch.rb at 487f44f0503e1cbb45bf61d690c264fc57e8e216 · Homebrew…

SKCompat

SKCompatはsklearnのTFラッパーみたいな感じだけど盛大にDEPRECATEDになっていた。大文字でTHIS CLASS IS DEPRECATED. って書いてあるのはなかなか強い。 tf.contrib.learn.SKCompat | TensorFlow このあたりでみた。TensorFloのバージョンは1.0.0+で、仕様…

git-lfs

Git

PSDとかの大きめファイルを別ストレージで管理するためのツール。でかいファイルをfetch/pullするたびに時間とコストがかかるので、指定したファイル(この情報は.gitattributesに記載される)を別ストレージに保管するようにする。どのストレージかは自前で用…

aws-cli 1.16.29

AWS

awscli/examples/waf/update-rule.rst ここの変更 Release 1.16.29 · aws/aws-cli · GitHub

memo Ubuntu バッテリー関係の基本

Ubuntu バッテリー関係の基本 Ubuntu バッテリー関係の基本が書いていた。 などいろいろ書いてる Power & battery はい。 長時間使用しない場合は、コンピューターの電源をオフにします。頻繁にコンピューターの電源を切ると消耗が早くなるのではと懸念する…

sbt 1.2.4

内容分からなかった Release v1.2.4 · sbt/sbt · GitHub

awscli 1.16.28

AWS

api-change:ds: Update ds command to latest version Release 1.16.28 · aws/aws-cli · GitHub

Redis TTL

redisのTTL TTL KEY で確認できる TTLが設定されていないときの挙動は2.8より前か後かによって違う。 TTL – Redis

digdag 0.9.30

Add options to customize _retry behavior [#852] Upgrade okhttp to 3.9.0 for td-client [#881] (なんかタグ付けされるの遅くないですか…) Release 0.9.30 — Digdag 0.9.5 documentation

memo Redash Query Runner Athena

RedashのPrestoクエリランナーには当然pyathenaを使っているけど、本家のドキュメントがあまり充実していないからなのか、Athenaに対して実行できるクエリを制限する方法がよくわからない redash/athena.py at 53abc1678045c89fe619cb1581e52321e6abc8df · g…

memo Presto LEFT OUTER JOIN

LEFT OUTER JOINのON条件で複数マッチしたときは、掛け算になる。下のようなクエリがあったとして、idで外部結合しようとしているけど、idがそれぞれ2つあるので、id=1については 2 * 2 で4つの組み合わせができる。 SELECT * FROM ( SELECT id, name, age F…

絵文字テスト

🦐🦐🦐

train_test_split

データを、テストデータと訓練データに分割 test_size テストデータの分割割合 だいたい2割-3割 train_size テストデータの分割割合 shuffle データ RandomState 乱数制御 sklearn.model_selection.train_test_split — scikit-learn 0.20.0 documentation

awscli 1.16.24

AWS

api-change:codestar: Update codestar command to latest version bugfix:s3: Fixed a bug where --sse-c-key and --sse-c-copy-source-key were modeled as string values rather than bytes values, which make them impossible to use on python 3 unles…

tesseract

導入はここ(MacとかLinuxの各ディストリとかあらかた書いてる) なお、OS(というかパッケージ管理)によって入れられるtesseractのバージョンは違う Home · tesseract-ocr/tesseract Wiki · GitHub 日本語のtraineddataはここ traineddataのバージョンに気をつ…

fish shell seq

toいるかとおもったらtoいらない for x in (seq 5 10) echo $x end fish shellチュートリアル How to iterate for loop with limiting sequence in fish shell - Stack Overflow

Excelの日時をunix timestampに変換

# 変換日時がJST =(($a$1 - 25569) * (60 * 60 * 24)) - (60 * 60 * 9) # 変換日時がUTC =(($a$1 - 25569) * (60 * 60 * 24)) DATEDIF関数は日毎での比較なので、秒単位で比較したい場合は、いったんunixtimstampに変換するなどしたほうがいいかも。 http://…

Redash access_permissions

access_permissionsのテーブル定義まわりがこのあたりに記載されている。 redash/models.py at b1f5d60460664b4f604f2fa699b0814f8b701416 · getredash/redash · GitHub widgetsやdashboardsの権限情報をここで保持している。 grantor_idが権限を付与したユ…