by shigemk2

当面は技術的なことしか書かない

Python

pip vs easy-install

pip vs easy-install easy_installが2004で、pipが2008。easy_installって、アンインストール出来ないんだ。。 https://packaging.python.org/discussions/pip-vs-easy-install/;embed

easy_install list

easy_install list easy_install listみたいなオプションは2017年現在でもないようなので、やっぱり /usr/lib/python2.4/site-packages/easy-install.pth とか、easy-install.pthを探すしかなさそう。

pycodestyle

pycodestyle Python style guide checker pypiでインストールできるようだ

PEP 8

PEP 8 Style Guide for Python Code Pythonのコードスタイルガイド

cheat cp

cheat cp iオプションとrオプション

paramiko

typoじゃない pycharmだとtypo扱いされるけどそれはもう、しゃあない pythonのsshv2ライブラリ https://tools.ietf.org/html/rfc4250

pycharm jump to next/previous error

はい。 Use keyboard shortcuts F2 and Shift+F2 respectively. Navigating to Next/Previous Error - Help | PyCharm

nose nose2 unittest

noseもnose2もunittestも微妙に違う noseは2.4をサポートしているが、nose2は2.4をサポートしてない nose2はunittest2のpluginブランチを起点にしているが、代替は不可能。 https://docs.python.jp/3/library/unittest.html http://nose.readthedocs.io/en/l…

cheat command 2017/09/05

気長に待てばいずれはマージされるかもねっていう感想。4ヶ月位経ってるけど。 あると少しだけ便利になるからプルリクを投げている。 github.com github.com これは他のプルリクと重複しているためクローズ。 github.com

boto

Python interface to Amazon Web Services aws-cliのなかでよくアプデされるアレ

about sphinx_rtd_theme

ドキュメント作成ツールsphinxで、APIドキュメントを作りたいときに使われるテーマ。 github.com Sphinxのインストール — Sphinx 1.5.6 ドキュメント python3系だと不具合が起きるようで。 こいつでドキュメントをビルドしようとしたら、sphinx_rtd_theme is…

airflow backend db

postgreかMySQLを推奨。 Configuration — Airflow Documentation

airflow example

サンプルコード。digdagに比べるとあんまり品揃えはよくない印象。 github.com

airflow tutorial memo

なんとなく参考。 なお、from airflow.operators import BashOperator って書き方は非推奨でairflow2.0から書けなくなるから from airflow.operators.bash_operator import BashOperator こっち推奨で。 tech.lalitbhatt.net

Celery

Airflowのタスクキューで使われているアレ。 Homepage | Celery: Distributed Task Queue

airflow documentation

airflow 入門とかでググっても、initdbとwebserver立ち上げだけやった記事しか見つからないのだ Apache Airflow (incubating) Documentation — Airflow Documentation

airflow sqla

対応していたりしていなかったり github.com

aws-cli PYTHONIOENCODING

aws-cliのlsをリダイレクトしてgrep検索するとlsしたファイルに日本語が入っていると文字化けする。 変数 PYTHONIOENCODINGを使う qiita.com PYTHONIOENCODINGについてのPython公式ドキュメント 1. Command line and environment — Python 3.6.1rc1 document…

luigi: 雑に触ってみての所感

導入は楽(pip install luigiするだけでよい) 複雑なことをしようとするとPythonの作り込みが必要で、Pythonのコードが複雑になりがち ちゃんと運用しようとするとすごいパイソニスタが必要 データのメール転送はdigdagほど簡単じゃない ログ出力が邪魔な時が…

python venv pyenv

別にpyenv使わなくてもいいかなという感じ 普通に使う文にはpython3でよさそう ただし、apt-get install python3で入るバージョンは3.5.2 素のpythonは2.7 もう少し調べて見る必要はありそう 28.3. venv — 仮想環境の作成 — Python 3.6.0 ドキュメント askub…

Luigi もろもろ

Example集 github.com やってみた dev.classmethod.jp 逆引き qiita.com できること Pythonでいろいろ書く GUIで進捗確認 できないこと GUIでリトライ

Luigi Example

Pythonなのでだいぶ自由度高い。 このように書く必要もある。 Example – Top Artists — Luigi 2.5.0 documentation

install ansible ubuntu memo

macだとあんなにインストールにドハマりしたのに。 ppaを追加して、apt installするだけ Installation — Ansible Documentation

python で presto

PyHiveを使う。 github.com 使うのも簡単ですね。 from pyhive import presto cursor = presto.connect('localhost').cursor() cursor.execute('SELECT * FROM my_awesome_data LIMIT 10') print cursor.fetchone() print cursor.fetchall()

python file io

w+ for xx in yy: from os.path import basename→basename 7. Input and Output — Python 2.7.13 documentation www.guru99.com stackoverflow.com

Python MySQLDB

たぶんもっといろいろあるんだろうけど。 MySQL - Python入門から応用までの学習サイト MySQLdb User's Guide

久々Python impylaでドハマリ

PythonのImpalaライブラリ。 github.com なんだが、ちょいちょいハマってて、ググラビリティも低く、Issueを調べてみると、ハマった箇所はPythonの基礎オブ基礎なところだった。 ファイル名impala.pyでimport impalaすると名前衝突してエラーになる。 github…

adb install linux

sudo apt-get install android-tools-adb developer.mozilla.org

botoを使ったS3オブジェクトのリネーム

s3 = boto3.resource('s3') s3.Object('my_bucket','my_file_new').copy_from(CopySource='my_bucket/my_file_old') s3.Object('my_bucket','my_file_old').delete() stackoverflow.com

pycurl with json

stackoverflow.com たぶんこういう感じの使い方。 #!/usr/bin/python import os, sys, pycurl model = """{ name: 'zxy', targets: [ 'abc'] }""" path = '/deployments/MyApp.ear' c = pycurl.Curl() c.setopt(pycurl.URL, 'https://abc.cde') c.setopt(pyc…