by shigemk2

当面は技術的なことしか書かない

AWS

awscli 1.16.145

AWS

インデント修正 https://github.com/aws/aws-cli/releases/tag/1.16.145

awscli 1.16.144

AWS

tweak Release 1.16.144 · aws/aws-cli · GitHub

awscli 1.16.143

AWS

formatterあたりの修正。 Release 1.16.143 · aws/aws-cli · GitHub

Athena 制限

AWS

スキャン量に制限はない 実行したクエリのデータをダウンロードできるファイルサイズに制限はない クエリ実行時間は3時間まで 同時実行数には限りがある テーブルのパーティションにも限りがある(というかパーティション切り過ぎたら性能劣化する) クエリ文…

awscli 1.16.141

AWS

api-change:redshift: Update redshift command to latest version api-change:organizations: Update organizations command to latest version api-change:cognito-idp: Update cognito-idp command to latest version api-change:storagegateway: Update …

Can’t make directory for path

AWS

EMRとかAthenaとかでCREATE TABLEでLOCATIONをS3にするときに気をつけること。 パスはオブジェクトキーなので、ディレクトリと同名のファイルがあったら Can’t make directory for path なるエラーになる。 FAILED: Execution Error, return code 1 from org…

S3 オブジェクトキー

AWS

S3 オブジェクトキー 聞き慣れないけどS3のパスとファイルのことを合わせてオブジェクトキーとよぶ。 オブジェクトキーとメタデータ - Amazon Simple Storage Service

awscli 1.16.140

AWS

テスト増えた Release 1.16.140 · aws/aws-cli · GitHub

awscli 1.16.138

AWS

api-change:batch: Update batch command to latest version api-change:comprehend: Update comprehend command to latest version Release 1.16.138 · aws/aws-cli · GitHub

memo Aurora MySQL JSON

AWS

5.6だとJSON関数が使えない。 MySQL :: MySQL 5.7 Reference Manual :: 11.6 The JSON Data Type MySQL5.7互換のAmazon AuroraでJSONを利用する | Amazon Web Services ブログ

awscli 1.16.135

AWS

application autoscalingに新しいサンプルが増えた Release 1.16.135 · aws/aws-cli · GitHub

awscli 1.16.134

AWS

api-change:workspaces: Update workspaces command to latest version api-change:pinpoint-email: Update pinpoint-email command to latest version api-change:servicecatalog: Update servicecatalog command to latest version api-change:medialive: …

awscli 1.16.132

AWS

api-change:glue: Update glue command to latest version api-change:workmail: Update workmail command to latest version Release 1.16.132 · aws/aws-cli · GitHub

CloudTrailで取れるAthenaのデータの構造

AWS

CloudTrailで取れるAthenaのデータの構造はこちらにのってる。 AWS CloudTrail を使用した Amazon Athena API コールのログ記録 - Amazon Athena StartQueryExecutionを例に。 とれるもの ユーザー情報 実行時間 IP Athenaの実行ID クエリ とれないもの クエ…

awscli 1.16.130

AWS

api-change:transcribe: Update transcribe command to latest version api-change:iot1click-projects: Update iot1click-projects command to latest version Release 1.16.130 · aws/aws-cli · GitHub

awscli 1.16.128

AWS

api-change:cognito-identity: Update cognito-identity command to latest version api-change:meteringmarketplace: Update meteringmarketplace command to latest version api-change:codepipeline: Update codepipeline command to latest version Rele…

awscli 1.16.127

AWS

api-change:config: Update config command to latest version api-change:eks: Update eks command to latest version Release 1.16.127 · aws/aws-cli · GitHub

EFS VCSとサブネット

AWS

VPC 内の 1 つのアベイラビリティーゾーンに複数のサブネットがある場合、サブネットで 1 つのマウントターゲットを作成すると、そのアベイラビリティーゾーンのすべての EC2 インスタンスがマウントターゲットを共有します サブネットは同じVPCのAZ内ならど…

memo EFS

AWS

VPCからSGをえらぶ SG インバウンド NFS ポート2049をあける EFSにたいしてもRoute53が使える セキュリティ - Amazon Elastic File System

awscli 1.16.125

AWS

今回は多め。 api-change:acm: Update acm command to latest version api-change:cloudwatch: Update cloudwatch command to latest version api-change:config: Update config command to latest version api-change:sagemaker: Update sagemaker command …

awscli 1.16.124

AWS

api-change:config: Update config command to latest version api-change:logs: Update logs command to latest version Release 1.16.124 · aws/aws-cli · GitHub

s3fsがメモリリークするやつ メモ

AWS

s3fsがメモリリークするやつ 事実上解決策はあんまりない気がしてる。S3上のオブジェクト数がそこそこ増えたらメモリを食いつぶすようになるとも言われているが、原因はなぞ。 キャッシュのexpireを超短期間にする設定を入れたらいちおうなおったみたいな書…

awscli 1.16.121

AWS

api-change:sagemaker: Update sagemaker command to latest version api-change:s3: Update s3 command to latest version api-change:codebuild: Update codebuild command to latest version https://github.com/aws/aws-cli/releases/tag/1.16.121

awscli 1.16.120

AWS

1.16.120 api-change:rds: Update rds command to latest version api-change:appmesh: Update appmesh command to latest version api-change:autoscaling: Update autoscaling command to latest version api-change:medialive: Update medialive command …

awscli 1.16.119

AWS

api-change:directconnect: Update directconnect command to latest version api-change:ec2: Update ec2 command to latest version Release 1.16.119 · aws/aws-cli · GitHub

awscli 1.16.117

AWS

api-change:ssm: Update ssm command to latest version api-change:mediapackage: Update mediapackage command to latest version Release 1.16.117 · aws/aws-cli · GitHub

awscli 1.16.115

AWS

Auto Scalingまわりのドキュメント修正 Release 1.16.115 · aws/aws-cli · GitHub

EFSのせっていにひつようなもの

AWS

EFSのせっていにひつようなもの VPC セキュリティグループ いったんこれだけ。amazon-efs-utils的なのをいれなくても、mountコマンドでなんとかなる。 なお、素のmountでマウントする場合は、rsizeやwsizeなどを指定しないといけないけど、オプションの指定…

awscli 1.16.114

AWS

いつになったら1.17になるんだろう api-change:waf: Update waf command to latest version api-change:waf-regional: Update waf-regional command to latest version Release 1.16.114 · aws/aws-cli · GitHub

Athena JsonSerDe

AWS

Athena JsonSerDe もともとサポートされてる。 CREATE EXTERNAL TABLE json_table ( column_a string column_b int ) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' WITH SERDEPROPERTIES ('ignore.malformed.json' = 'true') LOCATION 's3://buck…