読者です 読者をやめる 読者になる 読者になる

by shigemk2

当面は技術的なことしか書かない

YARNとかDataNodeとかNameNodeとか

クラスタリソース管理フレームワーク。次世代MapReduceとかいう雑なイメージは捨てろ。

YARN構成

  • Resource Manager クラスター全体のリソース管理をするマネージャー。Application Masterからの要請を受けてNode Managerにコンテナーのリソースを付与する(常時起動)
  • Application Master Resource ManagerとNode Managerを仲介する(都度起動)
  • Node Manager 実際にアプリケーションを実行するワーカー(常時起動)

DataNodeとかNameNodeとか

  • DataNode データを保存するノード
  • NameNode メタデータを管理するノード

qiita.com

codezine.jp