by shigemk2

当面は技術的なことしか書かない

2017-06-15から1日間の記事一覧

memo DMMでのprestoおよび周辺エコシステムの運用事例 #prestodb

システム構成 コンポーネントの役割 prestoリソースの活用 まとめ バッチ環境 hadoop ほかシステム Hadoopに対するETLはやってない(digdag/scoopとかは使っている) 定型的なクエリがメイン presto 分析用クラスタ 0.170 1 coord, 20 worker 5分おきにクエリ…

memo Presto - 僕とヤフーと時々Teradata #prestodb

yahoo multi big data company hadoop rdb nosql object storage さまざまなストレージにあるデータをインタラクティブに分析→presto 広告入稿システム システムサマリー NFSを退役 Goでヤフーの分散オブジェクトストレージを作った話 EOSL問題 ファイルフォ…

memo Prestoベースのマネージドクエリサービス Amazon Athena #prestodb

概要 AWS Athenaの紹介 + AWSのサービス紹介 + Athenaのベストプラクティス Athena S3のデータに対してSQLを投げるサービス re:Invent 2016 tokyoリージョンではまだ使えない データ分析基盤の進化の流れ 1985 Dataware house 2006 Hadoop clusters 2009 Dec…

memo Presto at Treasure Data #prestodb

1500 users 150000 queries hosting prest as a serviceとしてのtreasure data aws(us-east) aws(tokyo) IDCF マルチテナンシークラスター S3 + PlazmaDB インデックスを貼ってファイルのスキャンを早くする試み storage format: MPC(message pack) 複数タイ…

memo Presto Updates to 0.178 #prestodb

0.178の変更点 TD おさらい データの抽出や可視化を行うプラットフォーム prestoは抽出周り 分散SQLエンジン スケールしやすい SQL的なインターフェイス コードの書けないデータアナリストが大規模なデータに対して分析を行える データ分析基盤としてTDはPre…

how-many

how-many is an interactive compiled Lisp function in ‘replace.el’. (how-many REGEXP &optional RSTART REND INTERACTIVE) Print and return number of matches for REGEXP following point. When called from Lisp and INTERACTIVE is omitted or nil, …

split-string

split-string is a compiled Lisp function in ‘subr.el’. (split-string STRING &optional SEPARATORS OMIT-NULLS TRIM) Split STRING into substrings bounded by matches for SEPARATORS. The beginning and end of STRING, and each match for SEPARATOR…

buffer-substring

buffer-substring is a built-in function in ‘C source code’. (buffer-substring START END) Return the contents of part of the current buffer as a string. The two arguments START and END are character positions; they can be in either order. T…

search Emacs function

f1 f or describe-function

delete-duplicate-lines

delete-duplicate-lines is an interactive autoloaded compiled Lisp function in ‘sort.el’. (delete-duplicate-lines BEG END &optional REVERSE ADJACENT KEEP-BLANKS INTERACTIVE) Delete all but one copy of any identical lines in the region. Non-…

with-temp-buffer

with-temp-buffer is a Lisp macro in ‘subr.el’. (with-temp-buffer &rest BODY) Create a temporary buffer, and evaluate BODY there like ‘progn’. See also ‘with-temp-file’ and ‘with-output-to-string’. 一時的なバッファを作成する

point-max

point-max is a built-in function in ‘C source code’. (point-max) Return the maximum permissible value of point in the current buffer. This is (1+ (buffer-size)), unless narrowing (a buffer restriction) is in effect, in which case it is les…

pointmin

point-min is a built-in function in ‘C source code’. (point-min) Return the minimum permissible value of point in the current buffer. This is 1, unless narrowing (a buffer restriction) is in effect. バッファの最小値をもとめる