by shigemk2

当面は技術的なことしか書かない

Hadoop

cloudera manager document jp

ココ。 Cloudera Manager 日本語ドキュメント — Cloudera Manager 日本語ドキュメント 5.0.0 ドキュメント

Date and Time Functions op presto

プラスとかマイナスとか使える 6.10. Date and Time Functions and Operators — Presto 0.170 Documentation

emr ec2 instance

EMRクラスターを作成するのに必要なEC2インスタンスの設計とかの目次っぽいページ docs.aws.amazon.com

emr view log

EMRの各種プロセスがどんなログを吐いているかを記載したところ。 docs.aws.amazon.com

Hadoop WebApplicationProxy

The Web Application Proxy is part of YARN. By default it will run as part of the Resource Manager(RM), but can be configured to run in stand alone mode. The reason for the proxy is to reduce the possibility of web based attacks through YAR…

EMRの各種WebUI一覧リンク

docs.aws.amazon.com

EMR RDS

HiveMetaStoreDBにRDSを使える http://dev.classmethod.jp/hadoop/emr-hive-metastore-rds/

YARN とは

次世代の Hadoop 計算プラットフォーム YARN の紹介 jp.hortonworks.com

EMRのポートとか

EMRの公式を見るとか、設定のXMLを見るとか。 docs.aws.amazon.com d.hatena.ne.jp

あとで読むアレ

平成21年度産学連携ソフトウェア工学実践事業(高信頼クラウド実現用ソフトウェア開発(分散制御処理技術等に係るデータセンターの高信頼化に向けた実証事業))事業成果報告書 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010so…

hadoop rest api document

あとでよむ Apache Hadoop 2.4.1 - ResourceManager REST API's.

docker hadoop

あとで試す感じのやつ。 Apache Hadoop 2.7.2 – Docker Container Executor

Hadoopを試してみる。本当に試してみるだけ。

きりんさん日記: 1台構成のHadoopを30分で試してみる(CentOS + Cloudera) ちょっとHDFSにファイルを置いてみる ちょっとMapReduceジョブを動かす といったもの。導入方法は↑のリンクから。 JDKインストール手順 - apooz memo Hadoopを動かすためには SunのJD…

Hadoop

HadoopApache Hadoopは大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されている。 Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。Hadoop - Wikipe…