読者です 読者をやめる 読者になる 読者になる

by shigemk2

当面は技術的なことしか書かない

memo: 7 Key Recipes For Data Eng #ScalaMatsuri

memo: 7 Key Recipes For Data Eng #ScalaMatsuri Organization 複雑な組織においてデータアクセスを活性化させる buisiness simple case place no idea a lot of full engineer 複雑な組織 ビジョンを共有しない→フラストレーションがたまる small team had…

memo: ChatWorkのScala採用プロダクト “Falcon” リリースまでの失敗と成功の歴史 #ScalaMatsuri

memo: ChatWorkのScala採用プロダクト “Falcon” リリースまでの失敗と成功の歴史 #ScalaMatsuri 去年末にリリースできたFalcon その経緯 Scala歴6年くらい ChatWorkのアーキテクトを担当 アジェンダ チャットワークの説明 Falconの歴史 プロダクト開発 プロ…

memo: sbt 0.13.x、sbt サーバー、sbt 1.0 の動向 #ScalaMatsuri

memo: sbt 0.13.x、sbt サーバー、sbt 1.0 の動向 #ScalaMatsuri @eed3si9n 2010年から ScalaMatsuri 翻訳とか 独習Scalaz scalaxb .NETの世界からくるとXMLとか不便なところある treehugger.scala sbt-assembly sbt-buildinfo 週末を中心に開発していた Lig…

memo: 次世代Scalaコンパイラー Dottyの今 #ScalaMatsuri

dotty dot計算はScala型システムの理論的基礎 Dotty EPFLが開発中の実験的な新コンパイラ Scalaと同じような感じ インクリメンタルコンパイル パターンマッチの再設計 ミスしてはいけない コンポーネントのなかではよいと思うものがあること よい開発者の経…

memo 新サービスをゼロから開発してローンチするのに大切だった3つのこと #ScalaMatsuri

memo 新サービスをゼロから開発してローンチするのに大切だった3つのこと #ScalaMatsuri 新しいサービスをローンチするために大切なこと3つ history アーキテクチャ 実装 進行 rewriteモジュール ユーザーIDを探している間ずっとブロッキングしている シンプ…

memo Readable Scala #ScalaMatsuri

the theme of this session scalaのコードをリーダブルにすること リーダブルとは 定義は人によりけり the art of readable codeから 他の人が態短時間で理解できること 未来の自分も含む 2つコードがあって、読み手がより短い時間で理解できること どちらも…

Luigi もろもろ

Example集 github.com やってみた dev.classmethod.jp 逆引き qiita.com できること Pythonでいろいろ書く GUIで進捗確認 できないこと GUIでリトライ

Luigi Example

Pythonなのでだいぶ自由度高い。 このように書く必要もある。 Example – Top Artists — Luigi 2.5.0 documentation

scalaz v7.2.9

340 commits Release v7.2.9 · scalaz/scalaz · GitHub

install ansible ubuntu memo

macだとあんなにインストールにドハマりしたのに。 ppaを追加して、apt installするだけ Installation — Ansible Documentation

メモ ansible vault

いったんは、ask-vault-passと、createをおぼえるといいと思いました。 ansible-vault --help Usage: ansible-vault [create|decrypt|edit|encrypt|rekey|view] [--help] [options] vaultfile.yml Options: --ask-vault-pass ask for vault password -h, --h…

fs.statSyncのはなし

File System | Node.js v7.5.0 Documentation fs.Statsのインスタンスを返す関数。なのだが、引数のパスが存在しないファイルならENOENTを返す。 ➜ ~ node --version v7.5.0 ➜ ~ node > fs.statSync('hoge.txt'); Error: ENOENT: no such file or directory,…

ansible templete メモ 複数ファイルのコピー

serverfault.com template - Templates a file out to a remote server. — Ansible Documentation copy - Copies files to remote locations. — Ansible Documentation key valueでsrcとdestを書き換えるやつ - name: template everything for fooserv templ…

yum provides/whatprovides

man yumから。 provides or whatprovides Is used to find out which package provides some feature or file. Just use a specific name or a file-glob-syntax wildcards to list the packages available or installed that provide that feature or file.…

presto documentation

後でじっくり読む系。なお、PDFはない。似たようなのがあるけどそれはprestoではない。 Presto Documentation — Presto 0.166 Documentation

scalaz v7.3.0-M9

3 commits github.com

fluentd v0.14.13

github.com github.com changelogをよむ。だいたいこんなかんじの構成になっている。 # v0.14 ## Release v0.14.13 - 2017/02/17 ### New features / Enhancements * in_tail * configuration * command * output ### Bug fixes * output * in_tail * record…

mvn presto

prestoのDockerから眺めてみた。特に意味はない。 Central Repository: com/facebook/presto

presto docker

github.com how to useをなぞればよい。 github.com 以下、readmeより。 # Pull the image # docker pull zhicwu/presto:latest Setup scripts # git clone https://github.com/zhicwu/docker-presto.git # cd docker-presto # chmod +x *.sh # Start Presto…

request for a quote

見積り依頼 ejje.weblio.jp

ebook-convert

sudo apt-get install calibre ebook-convert book.epub book.mobi askubuntu.com

python で presto

PyHiveを使う。 github.com 使うのも簡単ですね。 from pyhive import presto cursor = presto.connect('localhost').cursor() cursor.execute('SELECT * FROM my_awesome_data LIMIT 10') print cursor.fetchone() print cursor.fetchall()

aws cloudformation

AWS

あとで読むこと。 aws.amazon.com

split

cheatコマンドから。なお、まえも説明したとおり-dはGNU版限定。 # To split a large text file into smaller files of 1000 lines each: split file.txt -l 1000 # To split a large binary file into smaller files of 10M each: split file.txt -b 10M # …

connpass api

PC

APIリファレンス - connpass connpassの勉強会の情報をAPIで取得する。 curl -XGET "https://connpass.com/api/v1/event/?ymd=20170214&count=100" | jq .

akka 2.4.17

セキュリティ系のパッチ。 JavaSerializer is enabled (default in Akka 2.4.x) TLS is disabled or TLS is enabled with akka.remote.netty.ssl.security.require-mutual-authentication = false (which is still the default in Akka 2.4.x) regardless of…

Terminator Keybindings

読み進めてみる。 https://linux.die.net/man/1/terminator Ctrl+Shift+N / Ctrl+Shift+P で隣のウィンドウへ移動(分割時) Ctrl+Shift+E でタブを縦に分割 なお、ctrl + shift

No name provided in package.json

package.jsonのなかにnameやversionがない状態でnpm installなどをやるとこのエラーになる。 github.com

split BSD vs GNU

-dの有無が主な違い。 coreutilsをmacportsだかhomebrewだかでいれてgsplitってすれば、GNU版のsplitがつかえる(-dオプションがつかえる) apple.stackexchange.com

gitbook-cli

Git

npm install -g gitbookからの、 gitbook serve で、ローカルからGitBookの見た目をブラウザで確認出来る。いちおう変更をwatchしてくれるけど、Emacsだと#のファイルが出来てコケる。 github.com

markdown 注釈

[^1] みたいな書き方をする。 qiita.com これはてすとです1 実際の書き方 これはてすとです[^1] [^1]: テストだからね テストだからね↩

yspel

Yahooの校正APIをキックしているようだ。 ubulog.blogspot.jp

AppVeyor

digdagで使われていたので。 TravisCIのWindows版みたいな説明だった。 posaune.hatenablog.com tomassetti.me

digdag 0.9.4

cli的にはこんなの digdag secret --local が使えるようになった。 Release v0.9.4 · treasure-data/digdag · GitHub だからメールのパスワードの設定は digdag secret --local --set mail.password=...password... こんな感じ。 なお、サンプルコードが古い…

emacs-helm v2.5.2

ちょいばぐふぃっくすといくつかのコマンドを追加。 Release Version 2.5.2 · emacs-helm/helm · GitHub

double hyphen for grep

--をgrepで検索しようとすると何も引っかからない。特定のエラーが出るわけではなく、何も出ない。 いろいろ方法はあると思うけど、\-\-ってやって強引に解決した。 stackoverflow.com

コンティンジェンシープランとは

PC

contingency plan 不測の事態を想定して損失を最小限にするための対応策や手順のこと。 www.itmedia.co.jp contingencyは不慮の事故、とか、偶発の、とかいう意味合いを持つ。

presto source code

cliのソースもここに github.com

cli presto --help

Presto CLI 0.165 ./presto --help NAME presto - Presto interactive console SYNOPSIS presto [--catalog <catalog>] [--client-request-timeout <client request timeout>] [--debug] [--enable-authentication] [--execute <execute>] [(-f <file> | --file <file>)] [(-h | --help)] [--keystore-password </file></file></execute></client></catalog>

ansible docker

あとでいろいろ試す。 docker - manage docker containers — Ansible Documentation

azkaban getting started

oss.sios.com github.com foo.jobって名前でジョブファイルを書く # foo.job type=command command=echo "Hello World" zipで固める 固めたzipをazkabanの管理画面にアップロードする 実行する

non-standard shell in mac

Mac

mac sierra 可能性としてはmac以外で起こることもありうるかも。 /etc/shells に該当するシェルがない。 stackoverflow.com

AS

PC

Autonomous Systemのこと。 インターネット用語1分解説~ASとは~ - JPNIC 統一された運用ポリシーによって管理されたネットワークの集まりのこと。

sphinx install

digdagのドキュメントで使われているなど。 Sphinxのインストール — Sphinx 1.4.4 ドキュメント Sphinxの最初の一歩 — Sphinx 1.4.4 ドキュメント なお、./gradlew site ってやると、sphinx-build command not foundなどいくつかエラーになるので、apt-get i…

技術文書をソフトウェア開発する話

PC

Gitbookの書き方などが書いてある。 azu.gitbooks.io GitHubでも管理しているけど、通常のGitHub連携から結構カスタマイズしているっぽいです。

vivaldi

PC

operaの人が作ったブラウザ。 vivaldi.com かんたんダウンロード。 vivaldi.com ソースコード。 vivaldi.com フォーラム。 forum.vivaldi.net

textlintで校正

textlintで校正する。たしかにてにをはやですますの統一は気をつけないといけないです。 efcl.info github.com

オライリージェネレーター

色を変えられる。 oreilly-generator.com 絵を選んで、色を選んで、英語のテキストが入力できる。 dev.to

getting started azkaban

digdagみたいにYAMLをローカルでゴリゴリ書いてコマンド実行ではなく、ゴリゴリ書いたDSLをアップロードすることでジョブを動かすことができるようになる。 肌感覚的にはUIがdigdagより洗練されているイメージ。 hadooptutorial.info

digdagのメール送信でUsername and Password not accepted

環境: Mac OSX Sierra アプリパスワードでやっても、認証設定をゆるくしてもUsername and Password not accepted と言われて弾かれる。 digdag/mail.dig at master · treasure-data/digdag · GitHub github.com 結局、.config/digdag/configのsecrets.mail.p…