ちょいばぐふぃっくすといくつかのコマンドを追加。
double hyphen for grep
--
をgrepで検索しようとすると何も引っかからない。特定のエラーが出るわけではなく、何も出ない。
いろいろ方法はあると思うけど、\-\-
ってやって強引に解決した。
コンティンジェンシープランとは
contingency plan
不測の事態を想定して損失を最小限にするための対応策や手順のこと。
contingencyは不慮の事故、とか、偶発の、とかいう意味合いを持つ。
presto source code
cliのソースもここに
cli presto --help
Presto CLI 0.165
./presto --help NAME presto - Presto interactive console SYNOPSIS presto [--catalog <catalog>] [--client-request-timeout <client request timeout>] [--debug] [--enable-authentication] [--execute <execute>] [(-f <file> | --file <file>)] [(-h | --help)] [--keystore-password <keystore password>] [--keystore-path <keystore path>] [--krb5-config-path <krb5 config path>] [--krb5-credential-cache-path <krb5 credential cache path>] [--krb5-disable-remote-service-hostname-canonicalization] [--krb5-keytab-path <krb5 keytab path>] [--krb5-principal <krb5 principal>] [--krb5-remote-service-name <krb5 remote service name>] [--log-levels-file <log levels file>] [--output-format <output-format>] [--schema <schema>] [--server <server>] [--session <session>...] [--socks-proxy <socks-proxy>] [--source <source>] [--truststore-password <truststore password>] [--truststore-path <truststore path>] [--user <user>] [--version] OPTIONS --catalog <catalog> Default catalog --client-request-timeout <client request timeout> Client request timeout (default: 2m) --debug Enable debug information --enable-authentication Enable client authentication --execute <execute> Execute specified statements and exit -f <file>, --file <file> Execute statements from file and exit -h, --help Display help information --keystore-password <keystore password> Keystore password --keystore-path <keystore path> Keystore path --krb5-config-path <krb5 config path> Kerberos config file path (default: /etc/krb5.conf) --krb5-credential-cache-path <krb5 credential cache path> Kerberos credential cache path --krb5-disable-remote-service-hostname-canonicalization Disable service hostname canonicalization using the DNS reverse lookup --krb5-keytab-path <krb5 keytab path> Kerberos key table path (default: /etc/krb5.keytab) --krb5-principal <krb5 principal> Kerberos principal to be used --krb5-remote-service-name <krb5 remote service name> Remote peer's kerberos service name --log-levels-file <log levels file> Configure log levels for debugging using this file --output-format <output-format> Output format for batch mode [ALIGNED, VERTICAL, CSV, TSV, CSV_HEADER, TSV_HEADER, NULL] (default: CSV) --schema <schema> Default schema --server <server> Presto server location (default: localhost:8080) --session <session> Session property (property can be used multiple times; format is key=value; use 'SHOW SESSION' to see available properties) --socks-proxy <socks-proxy> SOCKS proxy to use for server connections --source <source> Name of source making query --truststore-password <truststore password> Truststore password --truststore-path <truststore path> Truststore path --user <user> Username --version Display version information and exit
azkaban getting started
- foo.jobって名前でジョブファイルを書く
# foo.job type=command command=echo "Hello World"
- zipで固める
- 固めたzipをazkabanの管理画面にアップロードする
- 実行する
sphinx install
digdagのドキュメントで使われているなど。
Sphinxのインストール — Sphinx 1.4.4 ドキュメント
Sphinxの最初の一歩 — Sphinx 1.4.4 ドキュメント
なお、./gradlew site
ってやると、sphinx-build command not found
などいくつかエラーになるので、apt-get install python-sphinx
などして、/tmp/の下にあるsphinxのエラーログをみて片っ端からライブラリを入れて行く。
getting started azkaban
digdagみたいにYAMLをローカルでゴリゴリ書いてコマンド実行ではなく、ゴリゴリ書いたDSLをアップロードすることでジョブを動かすことができるようになる。
肌感覚的にはUIがdigdagより洗練されているイメージ。