読者です 読者をやめる 読者になる 読者になる

by shigemk2

当面は技術的なことしか書かない

AWS

awscala/AWS SDK for Java

雑にAWScalaを眺めていると、aws-java-sdkのライブラリがふんだんに使われているのがわかる AWScala/S3Object.scala at 7c90c5b17dec9393a2c61e61e0c379246a9fa3fc · seratch/AWScala · GitHub docs.aws.amazon.com docs.aws.amazon.com

credentialを発行しないでaws cliを使いたい

AWS

aws cliってクレデンシャルを設定していない状態で実行すると Unable to locate credentials. You can configure credentials by running "aws configure". って出る。 で、それを回避するためだけにクレデンシャルを発行するの面倒なので、挙動だけを試した…

create table presto

AWS

データアップロードしてcreate tableするだけなら、Hueでもできる www.jiayul.me 11.66. Release 0.123 — Presto 0.177 Documentation

awscala s3 copy

バケット上のS3データをコピーする。たぶん、同一バケット限定。 AWScala/S3.scala at master · seratch/AWScala · GitHub

memo 2000万アカウントの無停止データ移行の裏側 #datamigrationnight

AWS

アジェンダ ゴール 課題 新旧同期Replicatorとは 新旧同期Replicator移行の流れ ゴール 新環境旧環境で同期させる 課題 データ構造が異なるDBへ移行する 全然違うデータ構造だった 停止は避けたい いろんなメンテが走っているから 切り替えタイミングを任意…

memo オンプレからAWS移行で変えた3つの意識 #datamigrationnight

AWS

atnd.org CyberZ ターゲット クラウド使ったことない人 AWS以外のクラウド環境を使ってる人 データマイグレーションを考えてる人 FOXとは サードパーティトラッキングツール アプリとユーザーをサーバーで繋いで効果を計測する 7/24/365連続可用性 なぜクラ…

memo ChatWorkがデータマイグレーションに使った技術の話 #datamigrationnight

AWS

atnd.org マイグレーションしたらsparkの処理速度が3倍になった チャットワークとは 説明不要 国内最大手 データマイグレーション システムマイグレーションに付随 メッセージングシステム部分の大刷新 並列分散システム化 トランザクションに依存しない HBa…

拡張モニタリング

AWS

docs.aws.amazon.com CloudWatch は DB インスタンスのハイパーバイザーから CPU 使用率のメトリクスを収集し、拡張モニタリングはインスタンス上のエージェントからそのメトリクスを収集します。そのため、ハイパーバイザーレイヤーで少量の処理が実行され…

aws-scala memo

AWScalaじゃない atlassianが開発しているaws scala ライブラリ scalazとか使われている bitbucket.org

clb リスナー

AWS

リスナーとは接続リクエストをチェックするプロセス サポートしているプロトコル HTTP HTTPS (セキュア HTTP) TCP SSL (セキュア TCP) docs.aws.amazon.com

CLBのメトリクス ドキュメント

AWS

ドキュメントがあるっていいことです docs.aws.amazon.com

cloudwatch metrics 検索

AWS

dimensionで、どのサーバーとかを一意に指定する docs.aws.amazon.com

aws namespace

AWS

名前空間の話。どんなサービスのメトリクスを集計するのか名前分けしている。 docs.aws.amazon.com

MySQLのダンプファイルをRDSへインポートする

mysqldump -u <local_user> \ --databases <database_name> \ --single-transaction \ --compress \ --order-by-primary \ -p<local_password> | mysql -u <RDS_user> \ --port=<port_number> \ --host=<host_name> \ -p<RDS_password> mysqldumpからパイプして、RDSのホストにリストアをぶっこむ。mysqldumpで作ったダンプファイルをリダイレクトしてもい</rds_password></host_name></port_number></rds_user></local_password></database_name></local_user>…

Cannot import database - SUPER privileges required

MySQLのダンプファイルをRDSへリストアしようとするときに、SUPER権限が必要だよって言われる事案。 ビューテーブルのDEFINERを消すとうまくいく。 https://forums.aws.amazon.com/thread.jspa?messageID=279776

kibana v5.3.2

AWS

kibana v5.3.2 Release v5.3.2 · elastic/kibana · GitHub

vpc内でのrdsインスタンス作成

AWS

ステップ 1: VPC を作成する ステップ 2: VPC にサブネットを追加します。 ステップ 3: DB サブネットグループの作成 ステップ 4: VPC セキュリティグループを作成する ステップ 5: VPC に DB インスタンスを作成する docs.aws.amazon.com

T2インスタンスとCPUクレジット

AWS

t2インスタンスにはCPUクレジットなる機能がありまして、安いぶんCPUの負荷が高すぎるとCPUのパフォーマンスが著しく下がる。これにより、t2インスタンスの本番運用は避けるべきであるとされている。 docs.aws.amazon.com

RDSの拡張モニタリング

AWS

RDSでは、通常取れるメトリクスの拡張版というのが存在するようです docs.aws.amazon.com docs.aws.amazon.com

EMR インスタンスグループ

マスター コア タスク docs.aws.amazon.com

EMRのnannyプロセス

amalgjose.com 各ノードを監視するデーモンで、OOMとかでなんかのプロセスが死んだら、即座に自動で再起動してくれる。 tail -f /emr/service-nanny/log/service-nanny-yyyy-mm-dd しつつinstance-controllerなどのプロセスをキルすると、service-nannyのロ…

SESのモニタリング

AWS

送る方のイベントが5つ、受信する方のイベントが2つ。 docs.aws.amazon.com docs.aws.amazon.com

RDS cloudwatch dimension

AWS

いろいろある なおHadoopのバージョンごとに見れるメトリクスが違うっていうのはない docs.aws.amazon.com docs.aws.amazon.com

ec2 xen

AWS

xen=準仮想化ドライバー docs.aws.amazon.com

emr ec2 instance

EMRクラスターを作成するのに必要なEC2インスタンスの設計とかの目次っぽいページ docs.aws.amazon.com

MTU

AWS

接続を介して渡すことができる最大許容パケットサイズ (バイト単位) 一般的な形式はv2フレーム インターネットのほとんどが1500MTUをサポート docs.aws.amazon.com

emr view log

EMRの各種プロセスがどんなログを吐いているかを記載したところ。 docs.aws.amazon.com

AMI公開

AWS

private 特定の人にしか公開されない public コミュニティAMIとして一般公開される 一般公開されたら、見られちゃまずいデータとかオレオレアプリケーションとか漏洩してとてもつらい docs.aws.amazon.com

EMRの各種WebUI一覧リンク

docs.aws.amazon.com

EMRディメンション

AWS

cloudwatchで見れるやつ docs.aws.amazon.com

aws cloudformation

AWS

あとで読むこと。 aws.amazon.com

aws cli fish completion

AWS

あとでためす。いろいろあるっぽい stackoverflow.com github.com

iops

AWS

ディスクが1秒当たりに処理できるI/Oアクセスの数 ので、IOPSが高いと高性能なディスク。 http://itpro.nikkeibp.co.jp/article/lecture/20070104/258117/?rt=nocnt https://aws.amazon.com/jp/ebs/details/ https://aws.amazon.com/jp/ec2/instance-types/

Elastic IPの作成と割当

AWS

Elastic IP = 固定グローバルIPアドレス。 手順。 マネジメントコンソールの左ペインElastic IPよりElastic IPを作成 マネコン上で作成したIPを指定したインスタンスに割り当てる AWS EC2インスタンスにElastic IP(固定グローバルIPアドレス)を割り当てる | …

kibana v5.1.2/v4.6.4

AWS

Kibana 4.6 Release Notes | Kibana User Guide [4.6] | Elastic 5.1.2 Release Notes | Kibana User Guide [5.1] | Elastic Discover Improve spy tab performance on Discover #9464 Timepicker Timepicker now has a collapse button again #9381 Visuali…

ボリューム拡張 on EC2

AWS

インスタンス停止(しないとアタッチデタッチ出来ない) スナップショット作成 ボリュームを作る 既存ボリュームをデタッチ 新規ボリュームをアタッチ 再起動 docs.aws.amazon.com

black belt スポットインスタンス メモ

AWS

スポットインスタンス インスタンスタイプにたいして柔軟 要件に合致する入札価格を設定 好ましい入札トレンドを確認 スポット入札アドバイザーが役に立つ 個々のサーバに依存した情報を持たないこと 大幅なコスト削減効果のあるEC2購入オプション スポット…

awsのebsから学びたいfstabメモ

AWS

マネジメントコンソールのEBSのボリュームからアタッチするだけではマウントされない(=ボリュームをサーバの中で使うことが出来ない) lsblk/file -s/mkfs(任意)/mountの流れでEBSをマウントする マウントされているかどうかはdfを使う マウントしただけでは…

ebs アタッチ

AWS

なぞればいける。 docs.aws.amazon.com

emr tutorial

AWS

このあとやる。 docs.aws.amazon.com

memo: AWS Black Belt Online Seminar Amazon EC2

AWS

ec2 region az ami ebs ebs optimized instance ストレージエリアネットワーク c4 m4 d2はデフォルト インスタンスストア 責任共有モデル key pair 鍵の払い出し security group ファイアウォール iptables ec2 public ip JSONフォーマット 拡張ネットワーキ…

aws blackbelt

AWS

オンラインセミナーのアレ。 aws.amazon.com

elasticsearch v5.1.1

AWS

elasticsearch v5.1.1 Release v5.1.1: Document thread-safety for ingest processors · elastic/elasticsearch · GitHub リリースノート。 www.elastic.co

kibana v5.1.1

AWS

521 commits リリースノートはこちら。 5.1.1 Release Notes | Kibana User Guide [5.1] | Elastic Release v5.1.1 · elastic/kibana · GitHub

botocore

AWS

Botocore is a low-level interface to a growing number of Amazon Web Services. Botocore serves as the foundation for the AWS-CLI command line utilities. It will also play an important role in the boto3.x project. Welcome to botocore — botoc…

elasticsearch v1.7.6

AWS

まだメンテしているらしい。というか、色んなバージョンが並列でリリースされているからちょっとよくわからない。 Release v1.7.6 · elastic/elasticsearch · GitHub

aws-cli v1.11.15

AWS

Release 1.11.15 · aws/aws-cli · GitHub

elasticsearch pr 21348

AWS

vagrant gradle plugin github.com

aws-cli v1.11.14

AWS

botocoreのバージョンアップ。たぶんこれ自動でやってるっぽいな。 github.com

aws-cli v1.11.13

AWS

botocoreをアップデート Release 1.11.13 · aws/aws-cli · GitHub