読者です 読者をやめる 読者になる 読者になる

by shigemk2

当面は技術的なことしか書かない

hive cli

SQL

impalaでいうと、-iに相当するものはあるが、-oに相当するものはない。ので、CSV出力したい場合は自前でどうにかしないといけない。 LanguageManual Cli - Apache Hive - Apache Software Foundation

emacs auto-insert

こんなふうに書く。define-auto-insertは複数書ける。 (auto-insert-mode 1) (setq auto-insert-directory "~/templates/") (define-auto-insert "abc.sql" "abc.sql") (define-auto-insert "\\.rb$" "ruby-template.rb") emacs.rubikitch.com

sbt pr 2910

Scala 2.12.1 対応 github.com

IntelliJ IDEAの起動アイコン/Ubuntu 16.10

/path/to/IntelliJ IDEAを適宜修正する。 [Desktop Entry] Type=Application Encoding=UTF-8 Name=IntelliJIDEA Comment=IntelliJIDEA Exec=/path/to/IntelliJ IDEA/bin/idea.sh Icon=/path/to/IntelliJ IDEA/bin/idea.png Terminal=false qiita.com

kudos

名声/栄誉/威信/称賛 ejje.weblio.jp

emacs helm v2.4.0

New: Allow redisplaying helm-buffer. Use it to improve helm-locate with fuzzy matching. ってこと。なるほどわからん。 Release Version 2.4.0 · emacs-helm/helm · GitHub

kibana v5.1.2/v4.6.4

AWS

Kibana 4.6 Release Notes | Kibana User Guide [4.6] | Elastic 5.1.2 Release Notes | Kibana User Guide [5.1] | Elastic Discover Improve spy tab performance on Discover #9464 Timepicker Timepicker now has a collapse button again #9381 Visuali…

npm check updates vs sbt updates

package.jsonが書き換わる github.com build.sbtが書き換わらない GitHub - shigemk2/sbt-updates: SBT plugin that can check maven repositories for dependency updates

Emacs複数ファイルのreplace-string

上手く行ったり上手くかなかったりする。ので、よくしらべる。 file-dired dired-do-query-replace-regexp ibuffer qiita.com

Treasure Data Serviceの機能開発と安定運用の狭間におけるあれこれ #tdtech

機能開発側のはなし システムアーキテクチャのはなし いまどんなところに注力しているか 信頼性確保 アーキ (API server w/ RoR) * 4 w/ load balancer MySQL(JobQueue)/S3/RiakCS/MySQL(AccountDB) Worker(Ruby+Java) YARN Cluster(Hive/HDFS) / Presto Clu…

ActiveRecord issues #tdtech

ActiveRecord issues #tdtech kamipo activerecordについての話 rails issues team http://blog.steveklabnik.com/posts/2012-07-05-how-can-i-contribute-to-ruby-on-rails- Railsに2016年一番コミットした人なので、お前勝手にやれって言われた Rails 5.0→…

メモ Stable large scale Presto cluster #tdtech

Presto In TD TD API BI Tool HTTP から、クエリを投げる。 prestobase proxy node schedular(presto) resource group Prestobase proxy JDBC/ODBCはいけていない リプレイスするためのPrestobase Proxy HTTP接続するときにPrestoが使える Scalaで書かれてい…

メモ DigdagによるRedshift + EMRの自動制御とデータ分析アプリケーションの開発 #tdtech

digdag github.com (途中参加) ワークフローエンジン Aをやって、Bをやって、でもBが失敗したらCをやる、というのを、コードを書かないで制御する サーバー どこの環境でも動くこと ワークフローが手元でも動く ステップを足す→ローカルで実行する サーバー…

react v15.4.2

Release v15.4.2 · facebook/react · GitHub

ボリューム拡張 on EC2

AWS

インスタンス停止(しないとアタッチデタッチ出来ない) スナップショット作成 ボリュームを作る 既存ボリュームをデタッチ 新規ボリュームをアタッチ 再起動 docs.aws.amazon.com

gradle android project for intellij

GradleでAndroidのプロジェクトを作成することがIntelliJではできる。AndroidのSDKがある程度最新でないといけない。 IntelliJ IDEA 2016.1 Help :: Creating a Gradle-Android Project

bash diff sorted file

$じゃなくて、<だった。パイプラインェ… diff <(sort text2) <(sort text1) stackoverflow.com

flux install ubuntu

以上。 sudo add-apt-repository ppa:nathan-renniewaldock/flux sudo apt-get update sudo apt-get install fluxgui ubuntuhandbook.org

black belt スポットインスタンス メモ

AWS

スポットインスタンス インスタンスタイプにたいして柔軟 要件に合致する入札価格を設定 好ましい入札トレンドを確認 スポット入札アドバイザーが役に立つ 個々のサーバに依存した情報を持たないこと 大幅なコスト削減効果のあるEC2購入オプション スポット…

sbt download for linux

気づいたら、apt-getからダウンロードが出来るようになっていました。 以下公式。 sbt - Download

awsのebsから学びたいfstabメモ

AWS

マネジメントコンソールのEBSのボリュームからアタッチするだけではマウントされない(=ボリュームをサーバの中で使うことが出来ない) lsblk/file -s/mkfs(任意)/mountの流れでEBSをマウントする マウントされているかどうかはdfを使う マウントしただけでは…

node-sassのインストール中にsh node not found

github.com nodeコマンドで実行しようとしているのにnodeがないって怒られる。 > node-sass@3.13.1 install xxxxxxxxxxxxxx > node scripts/install.js sh: 1: node: not found 環境。 npm --version 3.5.2 node --version v4.2.6 cat /etc/lsb-release DIST…

homebrew v1.1.6

文章がすごい充実してる気がする。 Release 1.1.6 · Homebrew/brew · GitHub

ebs アタッチ

AWS

なぞればいける。 docs.aws.amazon.com

workflow engine list

github.com github.com github.com aws.amazon.com github.com github.com

git statusの文字化け対策

Git

git config --global core.quotepath false ってやるといいんだけど、なんでこの設定にしないといけないんだっていうのが見つからなかったので。 The commands that output paths (e.g. ls-files, diff), when not given the -z option, will quote "unusual…

emacs helm v2.3.4

どんな変更なのかちょっと良くわからない。 Release v2.3.4 · emacs-helm/helm · GitHub

Emacs本体に投げたパッチが取り込まれました

前置き github.com 思うところがあり、Emacs本体にパッチを投げました。結果マージされました。去年の暮れの話です。この記事を今年の抱負の代わりとします。 修正しようと思った Emacsでシェルスクリプトのファイルを開くと、自動的にsh-modeが開くようにな…

assign copyright メモ

著作権の譲渡とは、貢献する人が、自分が行った貢献の著作権をプロジェクトに譲り渡すこと これが特にOSSの開発では重要になる メール ファックス 郵送など http://producingoss.com/ja/copyright-assignment.html

市場テスト

市場調査のこと。特定地域にのみ実験的に実施する。 lemurplex.org

comparison unix shells

比較。意外とためになる。特にfish関係で。 Unix Shells: Bash, Fish, Ksh, Tcsh, Zsh - Hyperpolyglot

psub

fish.rubikitch.com こういう書き方。プロセス置換と同等の機能を持つ。 diff (sort a.txt | psub) (sort b.txt | psub) たぶんbashでいうとこんな感じ diff $(sort a.txt) $(sort b.txt)

scalaz v7.3.0-M8

1コミット https://github.com/scalaz/scalaz/releases/tag/v7.3.0-M8

du sort

du -sh /var/* | sort -n sort -nがキモ。 unix.stackexchange.com

fish faq

zsh/bashに慣れすぎてて使われている予約語が微妙に違うことに気づく。やばい。これってもしかしてコピペに慣れすぎているからなのだろうか。 fish: Frequently asked questions

adb install linux

sudo apt-get install android-tools-adb developer.mozilla.org

Exception raised during rendering: Unable to locate mode 0

すでにあるやつ。IntelliJで出た。これはIntelliJの問題だったりする Issue 225753 - android - RecyclerView - Rendering Problems - Exception raised during rendering: Unable to locate mode 0 - Android Open Source Project - Issue Tracker - Google…

emr tutorial

AWS

このあとやる。 docs.aws.amazon.com

elastic mapreduce

Amazon EMR では、管理された Hadoop フレームワークが提供され、動的にスケーリング可能な Amazon EC2 インスタンスで大量のデータを、簡単、高速、高コスト効率な方法で処理できます。また、Apache Spark や HBase、Presto、Flink といった他の一般的なフ…

This account is currently not available

sshログインするとThis account is currently not availableってなってログイン出来ないときは、デフォルトシェルがnologin(/sbin/nologin)になっているから。 askubuntu.com

AndroidHttpClient not found

v23からbuild.gradleに以下を書かないといけない。 android { useLibrary 'org.apache.http.legacy' } stackoverflow.com

sqoop

Sqoop -

冬休み読みたい

fluentd v0.14.11

インデントの修正っぽい。 github.com

memo 技術書典

re:view 一太郎でもよい 4/9 落とすと座ったまま 印刷は日光企画 表紙依頼代 イラスト3万-5万 年度末 今日は申し込まない はじめてのレビュー https://github.com/TechBooster/FirstStepReVIEW はじめてのサークル参加 techbookfest.connpass.com

android usb debug

Run Apps on a Hardware Device | Android Studio Android 4.2 以降のバージョンでは、デフォルトで [Developer options] の画面は表示されません。使用できるようにするには、[Settings] > [About phone] で [Build number] を 7 回タップします。設定画面…

memo: AWS Black Belt Online Seminar Amazon EC2

AWS

ec2 region az ami ebs ebs optimized instance ストレージエリアネットワーク c4 m4 d2はデフォルト インスタンスストア 責任共有モデル key pair 鍵の払い出し security group ファイアウォール iptables ec2 public ip JSONフォーマット 拡張ネットワーキ…

react pull 8633

1行。 github.com

contribute IntelliJ

こっち。バグレポートやパッチの送り先も記載。 Contribute - IntelliJ Open-Source Project - Confluence

peco v0.4.7

peco bugfixとか。 Release v0.4.7 · peco/peco · GitHub