by shigemk2

当面は技術的なことしか書かない

AWS

SQS metrics

AWS

SQSのモニタリング。

es v5.4.3

AWS

相変わらず量が多すぎる Release v5.4.3 · elastic/elasticsearch · GitHub

fake-s3 issue 207

AWS

今までMITだったのに変なライセンスを使いだしたので、料金とかライセンス関係とかどうなんだいっていう話をしてみたところ、一旦は無料だと。でも今後どうなるかは保証できん。あとエンドユーザーにはライセンスの登録をお願いしているという話をしました。…

fake-s3 docker

AWS

やっていることは、gemのfake-s3をinstallしてポートを開けているだけ。 なお、バージョンが古いけど古いままなのはバージョンアップでライセンスが変わったのでおいそれとバージョンアップができなくなってしまった fake-s3/Dockerfile at master · lphowar…

memo Presto - 僕とヤフーと時々Teradata #prestodb

yahoo multi big data company hadoop rdb nosql object storage さまざまなストレージにあるデータをインタラクティブに分析→presto 広告入稿システム システムサマリー NFSを退役 Goでヤフーの分散オブジェクトストレージを作った話 EOSL問題 ファイルフォ…

memo Prestoベースのマネージドクエリサービス Amazon Athena #prestodb

概要 AWS Athenaの紹介 + AWSのサービス紹介 + Athenaのベストプラクティス Athena S3のデータに対してSQLを投げるサービス re:Invent 2016 tokyoリージョンではまだ使えない データ分析基盤の進化の流れ 1985 Dataware house 2006 Hadoop clusters 2009 Dec…

kibana 5.4.1

AWS

security fix bugfix The time series visual builder that was released in 5.4.0 is vulnerable to a cross-site scripting attack (XSS), where a malicious user could embed HTML into markdown documents that could result in JavaScript being execu…

aws sdk for java document

awscalaのソースコードを読んでいると、どうしてもAWS SDK for Javaのドキュメントに行き着いてしまう。 というのも、SDKのラッパーなので、やっぱりここを読まないと詳しい挙動とか変数とか分かりづらいから。 AWS SDK for Java - 1.11.139

awscala/AWS SDK for Java

雑にAWScalaを眺めていると、aws-java-sdkのライブラリがふんだんに使われているのがわかる AWScala/S3Object.scala at 7c90c5b17dec9393a2c61e61e0c379246a9fa3fc · seratch/AWScala · GitHub docs.aws.amazon.com docs.aws.amazon.com

credentialを発行しないでaws cliを使いたい

AWS

aws cliってクレデンシャルを設定していない状態で実行すると Unable to locate credentials. You can configure credentials by running "aws configure". って出る。 で、それを回避するためだけにクレデンシャルを発行するの面倒なので、挙動だけを試した…

create table presto

AWS

データアップロードしてcreate tableするだけなら、Hueでもできる www.jiayul.me 11.66. Release 0.123 — Presto 0.177 Documentation

awscala s3 copy

バケット上のS3データをコピーする。たぶん、同一バケット限定。 AWScala/S3.scala at master · seratch/AWScala · GitHub

memo 2000万アカウントの無停止データ移行の裏側 #datamigrationnight

AWS

アジェンダ ゴール 課題 新旧同期Replicatorとは 新旧同期Replicator移行の流れ ゴール 新環境旧環境で同期させる 課題 データ構造が異なるDBへ移行する 全然違うデータ構造だった 停止は避けたい いろんなメンテが走っているから 切り替えタイミングを任意…

memo オンプレからAWS移行で変えた3つの意識 #datamigrationnight

AWS

atnd.org CyberZ ターゲット クラウド使ったことない人 AWS以外のクラウド環境を使ってる人 データマイグレーションを考えてる人 FOXとは サードパーティトラッキングツール アプリとユーザーをサーバーで繋いで効果を計測する 7/24/365連続可用性 なぜクラ…

memo ChatWorkがデータマイグレーションに使った技術の話 #datamigrationnight

AWS

atnd.org マイグレーションしたらsparkの処理速度が3倍になった チャットワークとは 説明不要 国内最大手 データマイグレーション システムマイグレーションに付随 メッセージングシステム部分の大刷新 並列分散システム化 トランザクションに依存しない HBa…

拡張モニタリング

AWS

docs.aws.amazon.com CloudWatch は DB インスタンスのハイパーバイザーから CPU 使用率のメトリクスを収集し、拡張モニタリングはインスタンス上のエージェントからそのメトリクスを収集します。そのため、ハイパーバイザーレイヤーで少量の処理が実行され…

aws-scala memo

AWScalaじゃない atlassianが開発しているaws scala ライブラリ scalazとか使われている bitbucket.org

clb リスナー

AWS

リスナーとは接続リクエストをチェックするプロセス サポートしているプロトコル HTTP HTTPS (セキュア HTTP) TCP SSL (セキュア TCP) docs.aws.amazon.com

CLBのメトリクス ドキュメント

AWS

ドキュメントがあるっていいことです docs.aws.amazon.com

cloudwatch metrics 検索

AWS

dimensionで、どのサーバーとかを一意に指定する docs.aws.amazon.com

aws namespace

AWS

名前空間の話。どんなサービスのメトリクスを集計するのか名前分けしている。 docs.aws.amazon.com

MySQLのダンプファイルをRDSへインポートする

mysqldump -u <local_user> \ --databases <database_name> \ --single-transaction \ --compress \ --order-by-primary \ -p<local_password> | mysql -u <RDS_user> \ --port=<port_number> \ --host=<host_name> \ -p<RDS_password> mysqldumpからパイプして、RDSのホストにリストアをぶっこむ。mysqldumpで作ったダンプファイルをリダイレクトしてもい</rds_password></host_name></port_number></rds_user></local_password></database_name></local_user>…

Cannot import database - SUPER privileges required

MySQLのダンプファイルをRDSへリストアしようとするときに、SUPER権限が必要だよって言われる事案。 ビューテーブルのDEFINERを消すとうまくいく。 https://forums.aws.amazon.com/thread.jspa?messageID=279776

kibana v5.3.2

AWS

kibana v5.3.2 Release v5.3.2 · elastic/kibana · GitHub

vpc内でのrdsインスタンス作成

AWS

ステップ 1: VPC を作成する ステップ 2: VPC にサブネットを追加します。 ステップ 3: DB サブネットグループの作成 ステップ 4: VPC セキュリティグループを作成する ステップ 5: VPC に DB インスタンスを作成する docs.aws.amazon.com

T2インスタンスとCPUクレジット

AWS

t2インスタンスにはCPUクレジットなる機能がありまして、安いぶんCPUの負荷が高すぎるとCPUのパフォーマンスが著しく下がる。これにより、t2インスタンスの本番運用は避けるべきであるとされている。 docs.aws.amazon.com

RDSの拡張モニタリング

AWS

RDSでは、通常取れるメトリクスの拡張版というのが存在するようです docs.aws.amazon.com docs.aws.amazon.com

EMR インスタンスグループ

マスター コア タスク docs.aws.amazon.com

EMRのnannyプロセス

amalgjose.com 各ノードを監視するデーモンで、OOMとかでなんかのプロセスが死んだら、即座に自動で再起動してくれる。 tail -f /emr/service-nanny/log/service-nanny-yyyy-mm-dd しつつinstance-controllerなどのプロセスをキルすると、service-nannyのロ…

SESのモニタリング

AWS

送る方のイベントが5つ、受信する方のイベントが2つ。 docs.aws.amazon.com docs.aws.amazon.com

RDS cloudwatch dimension

AWS

いろいろある なおHadoopのバージョンごとに見れるメトリクスが違うっていうのはない docs.aws.amazon.com docs.aws.amazon.com

ec2 xen

AWS

xen=準仮想化ドライバー docs.aws.amazon.com

emr ec2 instance

EMRクラスターを作成するのに必要なEC2インスタンスの設計とかの目次っぽいページ docs.aws.amazon.com

MTU

AWS

接続を介して渡すことができる最大許容パケットサイズ (バイト単位) 一般的な形式はv2フレーム インターネットのほとんどが1500MTUをサポート docs.aws.amazon.com

emr view log

EMRの各種プロセスがどんなログを吐いているかを記載したところ。 docs.aws.amazon.com

AMI公開

AWS

private 特定の人にしか公開されない public コミュニティAMIとして一般公開される 一般公開されたら、見られちゃまずいデータとかオレオレアプリケーションとか漏洩してとてもつらい docs.aws.amazon.com

EMRの各種WebUI一覧リンク

docs.aws.amazon.com

EMRディメンション

AWS

cloudwatchで見れるやつ docs.aws.amazon.com

aws cloudformation

AWS

あとで読むこと。 aws.amazon.com

aws cli fish completion

AWS

あとでためす。いろいろあるっぽい stackoverflow.com github.com

iops

AWS

ディスクが1秒当たりに処理できるI/Oアクセスの数 ので、IOPSが高いと高性能なディスク。 http://itpro.nikkeibp.co.jp/article/lecture/20070104/258117/?rt=nocnt https://aws.amazon.com/jp/ebs/details/ https://aws.amazon.com/jp/ec2/instance-types/

Elastic IPの作成と割当

AWS

Elastic IP = 固定グローバルIPアドレス。 手順。 マネジメントコンソールの左ペインElastic IPよりElastic IPを作成 マネコン上で作成したIPを指定したインスタンスに割り当てる AWS EC2インスタンスにElastic IP(固定グローバルIPアドレス)を割り当てる | …

kibana v5.1.2/v4.6.4

AWS

Kibana 4.6 Release Notes | Kibana User Guide [4.6] | Elastic 5.1.2 Release Notes | Kibana User Guide [5.1] | Elastic Discover Improve spy tab performance on Discover #9464 Timepicker Timepicker now has a collapse button again #9381 Visuali…

ボリューム拡張 on EC2

AWS

インスタンス停止(しないとアタッチデタッチ出来ない) スナップショット作成 ボリュームを作る 既存ボリュームをデタッチ 新規ボリュームをアタッチ 再起動 docs.aws.amazon.com

black belt スポットインスタンス メモ

AWS

スポットインスタンス インスタンスタイプにたいして柔軟 要件に合致する入札価格を設定 好ましい入札トレンドを確認 スポット入札アドバイザーが役に立つ 個々のサーバに依存した情報を持たないこと 大幅なコスト削減効果のあるEC2購入オプション スポット…

awsのebsから学びたいfstabメモ

AWS

マネジメントコンソールのEBSのボリュームからアタッチするだけではマウントされない(=ボリュームをサーバの中で使うことが出来ない) lsblk/file -s/mkfs(任意)/mountの流れでEBSをマウントする マウントされているかどうかはdfを使う マウントしただけでは…

ebs アタッチ

AWS

なぞればいける。 docs.aws.amazon.com

emr tutorial

AWS

このあとやる。 docs.aws.amazon.com

memo: AWS Black Belt Online Seminar Amazon EC2

AWS

ec2 region az ami ebs ebs optimized instance ストレージエリアネットワーク c4 m4 d2はデフォルト インスタンスストア 責任共有モデル key pair 鍵の払い出し security group ファイアウォール iptables ec2 public ip JSONフォーマット 拡張ネットワーキ…

aws blackbelt

AWS

オンラインセミナーのアレ。 aws.amazon.com