Merge branch 'release-1.14.68' into develop · aws/aws-cli@1594a04 · GitHub
acm connect
memo Athena custom UDF
memo Athena custom UDF
Athena はユーザー定義関数 (UDF) をサポートしていますか? 現在、Athena ではカスタム UDF をサポートしていません。カスタム UDF のサポートが必要な場合は、お客様の要件についての詳細を athena-feedback@amazon.com に E メールでお問い合わせください。
https://aws.amazon.com/jp/athena/faqs/
通常のprestoだとUDFをJavaで定義できるけど、Athenaはそんなことない。
memo presto map
memo presto map
ここにある関数はmapのデータ構造を操作するものであって、Scalaのmapてきな使い方じゃない https://prestodb.io/docs/current/functions/map.html
memo athena internal error
memo athena internal error
Athenaでクエリを投げると、Internal Errorに見舞われた挙げ句forumかサポートに連絡しろ、と怒られることが有りまして、
Please post the error message on our forum or contact customer support with Query Id: xxxxxx
試しにローカルのサーバー上でクエリを投げたらsyntax errorですらないエラーが起きていた
select map_agg(array['a','b','c'], array[1200,1000,0]);
おそらくだけど、AthenaのInternal Errorの詳細を知る方法は、今もないと思われる。
memo fish loop one-liner
memo fish loop one-liner
for x in (seq 5) touch file_$x.txt end
こう書けば良いことを忘れていた
for x in (seq 12); random; end
awscli 1.14.64
Release 1.14.64 · aws/aws-cli · GitHub
dynamodbのアップデート。。
memo redash query results
memo redash query results
Redashで登録したクエリの結果を再利用するQuery Results機能について。
- query parameterを使ったクエリのquery resultsは使えない
- query results自体でquery parameterは使える
- query resultsのSQLはSQLiteインメモリなのでSQL文法がそのまま使えるが、でかすぎるデータを利用する場合は失敗することがある
- アクセス権限のないデータソースに対するquery resultsは実行できない
memo redash issue
memo redash issue
Sign in to GitHub · GitHub ですって
はい。 redash/ISSUE_TEMPLATE.md at master · getredash/redash · GitHub
Future Requestを出すときは、trelloをみて、 http://bit.ly/redash-roadmap なかったらdiscussionしろってさ https://discuss.redash.io/c/feature-requests
redash checkbox sort value
redash checkbox sort value
これはY軸をソートするものではなく、X軸をソートしているので、order byしているものでsort valueするとおかしなことになる。
実際にデータをソートしている箇所 underscoreのsortByを利用している。ここではX軸をソートしている。ソートの中身はunderscoreのsortByに委ねられる。 redash/utils.js at master · getredash/redash · GitHub
memo redash dev build
memo redash dev build
- なぞればよい
- pip install
- npm install build
- 設定チェック
- DBチェック
- webサーバー起動
- celery起動
redash sort value with order by
redash sort value with order by
ORDER BY したカラムをX軸で棒グラフを作ったらX軸ベースでソートされないぞ！なんでだ！
と思ったら、グラフ設定のx axisのsort values のチェックを外せばよかった。
awscli 1.14.59
Release 1.14.59 · aws/aws-cli · GitHub
もう少し。今回はglueとかecsとか。
athena tuning
https://aws.amazon.com/jp/blogs/news/top-10-performance-tuning-tips-for-amazon-athena/
パーティション 無駄なカラム 近似関数 ファイル圧縮
