by shigemk2

当面は技術的なことしか書かない

AWS

memo aws-cli 1.15.6

AWS

memo aws-cli 1.15.6 medialive firehose

memo awscli 1.15.4

AWS

memo awscli 1.15.4 glue workmail dms ssm mediapackage

memo presto athena vs emr

AWS

memo presto athena vs emr EMR(presto 0.194)で実行したら以下のエラーが返ってくるが、 presto> SELECT sum(price) -> FROM -> (SELECT NULL AS price -> UNION SELECT NULL AS price -> UNION SELECT NULL AS price); Query 20180412_105714_00000_529ud …

memo awscli 1.15.2

AWS

memo awscli 1.15.2 batchの修正

memo awscli 1.14.70

AWS

memo awscli 1.14.70 translate lambda devicefarm

memo redash testing

AWS

memo redash testing 2018/4/1現在、バックエンド側しか実装していないとのこと。 pytest tests/ https://redash.io/help/open-source/dev-guide/setup

awscli 1.14.68

AWS

Merge branch 'release-1.14.68' into develop · aws/aws-cli@1594a04 · GitHub acm connect

memo Athena custom UDF

AWS

memo Athena custom UDF Athena はユーザー定義関数 (UDF) をサポートしていますか? 現在、Athena ではカスタム UDF をサポートしていません。カスタム UDF のサポートが必要な場合は、お客様の要件についての詳細を athena-feedback@amazon.com に E メール…

awscli 1.14.64

AWS

Release 1.14.64 · aws/aws-cli · GitHub dynamodbのアップデート。。

awscli 1.14.60

AWS

awscli 1.14.60 serverlessrepo 1.14.61 S3のリグレッション Release 1.14.60 · aws/aws-cli · GitHub

awscli 1.14.59

AWS

Release 1.14.59 · aws/aws-cli · GitHub もう少し。今回はglueとかecsとか。

athena tuning

AWS

https://aws.amazon.com/jp/blogs/news/top-10-performance-tuning-tips-for-amazon-athena/ パーティション 無駄なカラム 近似関数 ファイル圧縮

awscli 1.14.57

AWS

awscli 1.14.57 pinpoint sagemaker organizations

aws-documentation-is-now-open-source-and-on-github

AWS

memo aws-documentation-is-now-open-source-and-on-github SDKの開発者ガイドをGitHubへ公開 2018/3/15で138のガイド ライセンスはCC BY-SA 4.0 大きな修正にはCLAを求めるかも https://creativecommons.org/licenses/by-sa/4.0/

athena limit pricing memo

AWS

athena limit pricing memo 1TBのスキャンで5USD(20180313現在) S3100バケット/1アカウント 実行時間30分以内 料金 - Amazon Athena | AWS Service Limits - Amazon Athena なので、データスキャン量にもダウンロードできるデータにも制限はない。はず。

awscli 1.14.53

AWS

awscli 1.14.53 以下のアップロード。 rds ecs pinpoint mgh Merge branch 'release-1.14.53' into develop · aws/aws-cli@0e7651a · GitHub

awscli 1.14.50

AWS

cloudformation s3 data pipleline Release 1.14.50 · aws/aws-cli · GitHub

2018 02 24 memo

AWS

2018 02 24 memo EMRのcloudwatch dimension EC2のステータスチェック

aws ebs volume uuid

AWS

aws ebs volume uuid sudo file -s /dev/xvda1 ls -al /dev/disk/by-uuid/ かなり前からfstabでのマウント設定するときはUUID使いなよって言われてる。理由は、 /dev/sda1 みたいな書き方をすると、複数のデバイスをマウントしたときにマシン再起動して、ど…

CLB pricing

AWS

CLB pricing 起動しているだけで料金が発生する データ転送量に比例して料金が発生する https://aws.amazon.com/jp/elasticloadbalancing/pricing/

AWS NAT

AWS

AWS NAT 他のプライベートサブネットからは接続できる インターネットからはインスタンスとの接続できない NAT - Amazon Virtual Private Cloud

share ami

AWS

share ami プライベートなAMIを他のアカウントとシェア出来る アカウント番号を共有するだけ 作成中のAMIに対してこの処理は(現状)できない 特定の AWS アカウントと AMI を共有する - Amazon Elastic Compute Cloud

awscli 1.14.40 1.14.41

AWS

awscli 1.14.40 1.14.41 1.14.40 gamelift mediaconvert 1.14.41 rds Merge branch 'release-1.14.40' into develop · aws/aws-cli@00abb3d · GitHub Merge branch 'release-1.14.41' into develop · aws/aws-cli@a42d633 · GitHub

awscli 1.14.39

AWS

アップデート appsync lex-models Release 1.14.39 · aws/aws-cli · GitHub github.com github.com

awscli 1.14.38

AWS

awscli 1.14.38 アップデート glacier route53 Release 1.14.38 · aws/aws-cli · GitHub Merge branch 'release-1.14.38' into develop · aws/aws-cli@017279e · GitHub 実際のアップデート botocore なんか大阪リージョン対応ちょこちょこやってる感じ Merg…

aws-cli 1.14.36

AWS

boto3の方をみても同じ。 api-change:lex-runtime: Update lex-runtime command to latest version api-change:ec2: Update ec2 command to latest version api-change:lex-models: Update lex-models command to latest version github.com Merge branch 'r…

aws cli 1.14.33

AWS

aws cli 1.14.33 cloud9 acm kinesis opsworks

memo Athena Redash

AWS

自前で環境構築するときはPyAthena入れよう(AMIから立ち上げるときは必要ない) .envは書こう AthenaのIAMはFullAccessあったほうがいいかも ReadOnlyだとクエリの実行で失敗するので

Athena StartQueryExecution

AWS

Athena StartQueryExecution Your query has exceeded the maximum query length of 262144 bytes. Please reduce the length of your query and try again. If you continue to see this issue after reducing your query length, contact customer support…

awscli 1.14.30

AWS

awscli 1.14.30 budgetsのアップデート。 aws budgets なるコマンドがあったことにびっくり。 https://docs.aws.amazon.com/cli/latest/reference/budgets/index.html