by shigemk2

当面は技術的なことしか書かない

elastic mapreduce

Amazon EMR では、管理された Hadoop フレームワークが提供され、動的にスケーリング可能な Amazon EC2 インスタンスで大量のデータを、簡単、高速、高コスト効率な方法で処理できます。また、Apache Spark や HBase、Presto、Flink といった他の一般的なフレームワークを Amazon EMR で実行することや、Amazon S3 や Amazon DynamoDB といった他の AWS データストア内でデータを操作することもできます。

aws.amazon.com

書籍

Amazon Elastic MapReduce (Amazon EMR) Developer Guide (English Edition)

Amazon Elastic MapReduce (Amazon EMR) Developer Guide (English Edition)

memo: AWS Black Belt Online Seminar Amazon EC2

AWS
  • ec2
  • region
  • az
  • ami
  • ebs
  • ebs optimized instance
    • ストレージエリアネットワーク
    • c4 m4 d2はデフォルト
  • インスタンスストア
  • 責任共有モデル
  • key pair
    • 鍵の払い出し
  • security group
    • ファイアウォール
    • iptables
  • ec2 public ip
    • JSONフォーマット
  • 拡張ネットワーキング
    • ネットワークレイテンシを低く
  • class link
  • ペネトレーションテスト
    • 侵入テスト/リソーススキャン言語禁止で事前申請が必要
  • SMTP送信は禁止
    • 事前申請が必要
  • セキュリティチェック
  • インスタンスリタイア
    • リタイア日までにstop startを実行するように
  • 自動化ツール
    • ユーザーデータ
      • boot時実行
    • インスタンスメタデータ
  • ec2 run command
  • リソースID(リソースに一意なIDが振られる→8文字→17文字)
  • VM Import
  • vCenter
  • 起動インスタンスはデフォルトでリージョンごとに20まで
  • かかる料金はEC2の費用が大半を占める
    • オンデマンド
    • リザーブド(年間購読)
    • スポット
    • 専用ホスト
    • ハードウェア専用インスタンス
  • OS 無料/商用(OS費用プラス)/Marketplace(完全従量課金制)
  • EC2使用状況レポート
  • aws trusted adviser
    • コスト最適化チェック機能
  • お見積りはcalculatorで
  • EC2価格データはwebページもしくはprice list apiにて

同一ホスト上で物理ホスト環境と論理ホスト環境を構築する場合の設定