hive-geoip
GeoIPをHiveで使うアレ。prestoで使えたら良かったのに。。
redash memo
雑メモ
- サービスアカウント作成から秘密鍵JSONを作成する
- スプレッドシートをclient_mailとで共有する(共有しなくても良いかも)
- クエリ作成→
URLのスプレッドシートID|シート番号(0から採番)で実行→保存 - 保存したクエリは以後 データセット
query resultで参照できる - Query Result同士をJOINして、複数データセットの結合を実現する
presto url_encode url_decode
presto url_encode url_decode
PrestoではURLエンコードやデコードも出来るとな。
presto/TestUrlFunctions.java at master · prestodb/presto · GitHub
presto extraneous input
presto extraneous input
このように書くと extraneous inputってなるので
select date_diff(timestamp datetime1, timestamp datetime2) from table;
このように書いてごまかした。
select date_diff(cast(datetime1 as timestamp, cast(datetime2 as timestamp)) from table;
presto values
presto values
インラインテーブルを定義。 だから、擬似的にテーブルが作れる。
SELECT id FROM ( VALUES (1, 'a'), (2, 'b'), (3, 'c') ) AS t (id, name)
擬似的にテーブルが作れるので、distinctなども実行できる。
SELECT DISTINCT id FROM ( VALUES 'a', 'b', 'a' ) AS t (id)
usage presto date_diff
usage presto date_diff
使い方がテストコードにのっていた。
select date_diff('second', timestamp1, timestamp2)
L586-L594
aws cli 1.14.33
aws cli 1.14.33
- cloud9
- acm
- kinesis
- opsworks
flask limiter
flaskでrate limitを制御しているところ。
redashだと1日50回のrate limitがデフォルトでかかっている。
Flask-Limiter — Flask-Limiter 1.0.1+0.gb390e64.dirty documentation
presto with
presto with
withよくわかんなかったけど、サブクエリの簡素化だね、やっていることは。
WITH dataset AS ( SELECT * FROM ( VALUES (1, 'A'), (2, 'B'), (3, 'C'), (4, 'D'), (5, 'A'), (6, 'B'), (7, 'C'), (9, 'A'), (10, 'B'),(11, 'C'), (13, 'A'),(14, 'B'),(15, 'C'), (17, 'A'),(18, 'B'),(19, 'C'), (21, 'A'),(22, 'B'),(23, 'C'), (25, 'A'),(26, 'B') ) AS t ) SELECT * -- assuming we want to sample 25% of records FROM dataset TABLESAMPLE BERNOULLI(25)
The WITH clause defines named relations for use within a query. It allows flattening nested queries or simplifying subqueries. For example, the following queries are equivalent:
spreadsheet format numbers
spreadsheet format numbers
表示形式→数字で表示形式を変更
memo Athena Redash
- 自前で環境構築するときはPyAthena入れよう(AMIから立ち上げるときは必要ない)
- .envは書こう
- AthenaのIAMはFullAccessあったほうがいいかも
- ReadOnlyだとクエリの実行で失敗するので
PyAthena
PyAthena
- ローカルでRedashを構築 + データソースでAthena
export REDASH_ADDITIONAL_QUERY_RUNNERS="redash.query_runner.athena"- だけではだめで、PyAthenaを別途入れる必要がある
query runner enabled but not supported, not registering. Either disable or install missing dependencies.みたいな怒られ方をする
format nil
format nil
nilをformatすると"nil"が返ってくる
(format "%s" nil) "nil" (format "%s %s" nil nil) "nil nil" '() nil (format "%s" '()) "nil"
erase-buffer
Delete the entire contents of the current buffer.
バッファの中身をまるっと消す。消すので、erase-bufferを実行した後に保存するとまるっと中身が消滅する。
