読者です 読者をやめる 読者になる 読者になる

by shigemk2

当面は技術的なことしか書かない

vpc内でのrdsインスタンス作成

AWS

ステップ 1: VPC を作成する ステップ 2: VPC にサブネットを追加します。 ステップ 3: DB サブネットグループの作成 ステップ 4: VPC セキュリティグループを作成する ステップ 5: VPC に DB インスタンスを作成する docs.aws.amazon.com

T2インスタンスとCPUクレジット

AWS

t2インスタンスにはCPUクレジットなる機能がありまして、安いぶんCPUの負荷が高すぎるとCPUのパフォーマンスが著しく下がる。これにより、t2インスタンスの本番運用は避けるべきであるとされている。 docs.aws.amazon.com

RDSの拡張モニタリング

AWS

RDSでは、通常取れるメトリクスの拡張版というのが存在するようです docs.aws.amazon.com docs.aws.amazon.com

EMR インスタンスグループ

マスター コア タスク docs.aws.amazon.com

EMRのnannyプロセス

amalgjose.com 各ノードを監視するデーモンで、OOMとかでなんかのプロセスが死んだら、即座に自動で再起動してくれる。 tail -f /emr/service-nanny/log/service-nanny-yyyy-mm-dd しつつinstance-controllerなどのプロセスをキルすると、service-nannyのロ…

SESのモニタリング

AWS

送る方のイベントが5つ、受信する方のイベントが2つ。 docs.aws.amazon.com docs.aws.amazon.com

RDS cloudwatch dimension

AWS

いろいろある なおHadoopのバージョンごとに見れるメトリクスが違うっていうのはない docs.aws.amazon.com docs.aws.amazon.com

ec2 xen

AWS

xen=準仮想化ドライバー docs.aws.amazon.com

emr ec2 instance

EMRクラスターを作成するのに必要なEC2インスタンスの設計とかの目次っぽいページ docs.aws.amazon.com

MTU

AWS

接続を介して渡すことができる最大許容パケットサイズ (バイト単位) 一般的な形式はv2フレーム インターネットのほとんどが1500MTUをサポート docs.aws.amazon.com

emr view log

EMRの各種プロセスがどんなログを吐いているかを記載したところ。 docs.aws.amazon.com

AMI公開

AWS

private 特定の人にしか公開されない public コミュニティAMIとして一般公開される 一般公開されたら、見られちゃまずいデータとかオレオレアプリケーションとか漏洩してとてもつらい docs.aws.amazon.com

EMRの各種WebUI一覧リンク

docs.aws.amazon.com

EMRディメンション

AWS

cloudwatchで見れるやつ docs.aws.amazon.com

aws cloudformation

AWS

あとで読むこと。 aws.amazon.com

aws cli fish completion

AWS

あとでためす。いろいろあるっぽい stackoverflow.com github.com

iops

AWS

ディスクが1秒当たりに処理できるI/Oアクセスの数 ので、IOPSが高いと高性能なディスク。 http://itpro.nikkeibp.co.jp/article/lecture/20070104/258117/?rt=nocnt https://aws.amazon.com/jp/ebs/details/ https://aws.amazon.com/jp/ec2/instance-types/

Elastic IPの作成と割当

AWS

Elastic IP = 固定グローバルIPアドレス。 手順。 マネジメントコンソールの左ペインElastic IPよりElastic IPを作成 マネコン上で作成したIPを指定したインスタンスに割り当てる AWS EC2インスタンスにElastic IP(固定グローバルIPアドレス)を割り当てる | …

kibana v5.1.2/v4.6.4

AWS

Kibana 4.6 Release Notes | Kibana User Guide [4.6] | Elastic 5.1.2 Release Notes | Kibana User Guide [5.1] | Elastic Discover Improve spy tab performance on Discover #9464 Timepicker Timepicker now has a collapse button again #9381 Visuali…

ボリューム拡張 on EC2

AWS

インスタンス停止(しないとアタッチデタッチ出来ない) スナップショット作成 ボリュームを作る 既存ボリュームをデタッチ 新規ボリュームをアタッチ 再起動 docs.aws.amazon.com

black belt スポットインスタンス メモ

AWS

スポットインスタンス インスタンスタイプにたいして柔軟 要件に合致する入札価格を設定 好ましい入札トレンドを確認 スポット入札アドバイザーが役に立つ 個々のサーバに依存した情報を持たないこと 大幅なコスト削減効果のあるEC2購入オプション スポット…

awsのebsから学びたいfstabメモ

AWS

マネジメントコンソールのEBSのボリュームからアタッチするだけではマウントされない(=ボリュームをサーバの中で使うことが出来ない) lsblk/file -s/mkfs(任意)/mountの流れでEBSをマウントする マウントされているかどうかはdfを使う マウントしただけでは…

ebs アタッチ

AWS

なぞればいける。 docs.aws.amazon.com

emr tutorial

AWS

このあとやる。 docs.aws.amazon.com

memo: AWS Black Belt Online Seminar Amazon EC2

AWS

ec2 region az ami ebs ebs optimized instance ストレージエリアネットワーク c4 m4 d2はデフォルト インスタンスストア 責任共有モデル key pair 鍵の払い出し security group ファイアウォール iptables ec2 public ip JSONフォーマット 拡張ネットワーキ…

aws blackbelt

AWS

オンラインセミナーのアレ。 aws.amazon.com

elasticsearch v5.1.1

AWS

elasticsearch v5.1.1 Release v5.1.1: Document thread-safety for ingest processors · elastic/elasticsearch · GitHub リリースノート。 www.elastic.co

kibana v5.1.1

AWS

521 commits リリースノートはこちら。 5.1.1 Release Notes | Kibana User Guide [5.1] | Elastic Release v5.1.1 · elastic/kibana · GitHub

botocore

AWS

Botocore is a low-level interface to a growing number of Amazon Web Services. Botocore serves as the foundation for the AWS-CLI command line utilities. It will also play an important role in the boto3.x project. Welcome to botocore — botoc…

elasticsearch v1.7.6

AWS

まだメンテしているらしい。というか、色んなバージョンが並列でリリースされているからちょっとよくわからない。 Release v1.7.6 · elastic/elasticsearch · GitHub

aws-cli v1.11.15

AWS

Release 1.11.15 · aws/aws-cli · GitHub

elasticsearch pr 21348

AWS

vagrant gradle plugin github.com

aws-cli v1.11.14

AWS

botocoreのバージョンアップ。たぶんこれ自動でやってるっぽいな。 github.com

aws-cli v1.11.13

AWS

botocoreをアップデート Release 1.11.13 · aws/aws-cli · GitHub

aws-cli v1.11.11

AWS

Release 1.11.11 · aws/aws-cli · GitHub empty fileをダウンロードするときのバグ修正。

list-multipart-uploads

AWS

This operation lists in-progress multipart uploads. list-multipart-uploads — AWS CLI 1.11.11 Command Reference

lambdaの権限

AWS

こちらを読むにつけ、IAMのアクセス(できればfullがいい)が必要(PassRole的なところで) AWS Lambda アクセス権限モデル - AWS Lambda

kibana url shortner

AWS

ずいぶんとまえからIssueに上がっており、大絶賛のクウキ。 github.com 無事取り込まれ、 github.com 4.4.0から使えるもよう。 github.com なお、ダッシュボード限定っぽい。そして、AWSではKibanaのバージョンは3か4なので、場合によっては短縮URLが使えな…

Kibana v.5.0.0

AWS

とりあえず、何の機能が追加されたか書いてほしい。 Release v5.0.0 · elastic/kibana · GitHub

kibana v4.6.2

AWS

5172 commits ェ… Release v4.6.2 · elastic/kibana · GitHub

about elastic search cat api

AWS

JSON is great… for computers. Even if it’s pretty-printed, trying to find relationships in the data is tedious. Human eyes, especially when looking at an ssh terminal, need compact and aligned text. The cat API aims to meet this need. All …

aws s3 cpって

AWS

よくよく調べたら、ローカル→バケット、バケット→ローカルはよくやるけど、バケット→バケットも出来るんですね。 aws s3 cp s3://mybucket/test.txt s3://mybucket2/

ElasticSearch 2.4

AWS

最近出てた。 github.com

blue green

AWS

aws.typepad.com (DVO401) Deep Dive into Blue/Green Deployments on AWS from Amazon Web Services www.slideshare.net 別のインスタンスで新しいリビジョンのGreenを作って、任意の戦略に沿って全体をGreenに切り替えていく(Blueはいずれ廃棄する) Blueを…

IAMポリシーでS3アクセスを制御したい人生だった

AWS

一旦こういうアレ。 test-log/1/2/3/ 以下のディレクトリにだけアクセスしたい。他のバケットは見えないでいて欲しい。という感じのやつ。 つまりどういうことかっていうと、たとえば以下の様な感じでバケットの一覧があるとして、 aws s3 ls s3:// test-log…

aws-cli issue 2073

AWS

aws syncの課金体系についての質問? github.com

aws-cli 1390

AWS

Feature request: Assume role with EC2 instance profile as the source profile · Issue #1390 · aws/aws-cli · GitHub

aws cli issue 1090

AWS

Add ability to limit bandwidth for S3 uploads/downloads · Issue #1090 · aws/aws-cli · GitHub s3コマンドの帯域制限。

ecs-cli installation

AWS

このあたりからなぞっていけば。 github.com

ダミーのS3バケットをDockerで立ち上げたい

$ docker run --name my_s3 -d -p 4569:4569 lphoward/fake-s3 # ダミーS3でバケット作成 $ aws --endpoint-url http://192.168.99.100:4569 s3 mb s3://test $ touch test1.txt $ aws --endpoint-url http://192.168.99.100:4569 s3 cp test1.txt s3://test/…