by shigemk2

当面は技術的なことしか書かない

2017-12-28から1日間の記事一覧

memo: CDH5

memo: CDH5 CDH5のインストールガイド http://www.cloudera.com/documentation/cdh/5-1-x/CDH5-Installation-Guide/CDH5-Installation-Guide.html 設定ファイルの場所とか https://www.cloudera.com/documentation/enterprise/5-7-x/topics/cm_mc_service_co…

memo: access log time range

memo: access log time range nginxのアクセスログについて、時間帯で検索したいときは、ElasticSearchとかないなら、grepでシェル芸がんばったほうがいい。 111.111.111.111 - - [28/Dec/2017:03:00:00 +0900] "GET /test HTTP/1.1" 200 0 "-" "UA" "0.000"…

memo: httpfs

memo: httpfs クライアントからHTTP REST APIでFSにアクセスするためのプロキシサーバー HttpFS is a server that provides a REST HTTP gateway supporting all HDFS File System operations 概要 https://hadoop.apache.org/docs/stable/hadoop-hdfs-httpf…

memo: yarn.resourcemanager.recovery.enable

memo: yarn.resourcemanager.recovery.enable リソース・マネージャーに対して、作業を保持するリソース・マネージャー再始動機能を使用可能にします。 yarn.resourcemanager.recovery.enable https://www.ibm.com/support/knowledgecenter/ja/SSPT3X_4.1.0/…

memo: hdfs dfs

memo: hdfs dfs Run a filesystem command on the file system supported in Hadoop. って。 hdfs dfs -ls とか、 hdfs dfs -du とか。HDFSデータを操作する(分散ファイルシステムでデータが分散されているので、普通のlsとかduとかではデータの確認が出来な…

invocation

invocation 呼び出し/祈り

memo: HQL

memo: HQL コミュニティのドキュメント。 Java のクラス名とプロパティ名を除いて大文字、小文字を区別しない FROM/JOIN/WITHがつかえる 実際に結果を返さなくてもクエリの結果数を数えるとかできる https://docs.jboss.org/hibernate/orm/3.5/reference/ja-…