クラスタリソース管理フレームワーク。次世代MapReduceとかいう雑なイメージは捨てろ。
YARN構成
- Resource Manager クラスター全体のリソース管理をするマネージャー。Application Masterからの要請を受けてNode Managerにコンテナーのリソースを付与する(常時起動)
- Application Master Resource ManagerとNode Managerを仲介する(都度起動)
- Node Manager 実際にアプリケーションを実行するワーカー(常時起動)
DataNodeとかNameNodeとか
- DataNode データを保存するノード
- NameNode メタデータを管理するノード
