by shigemk2

当面は技術的なことしか書かない

勉強会

メモ セプテーニで分析基盤(Treasure Data)を導入した話 #shinjukugl

www.septeni-holdings.co.jp PYXIS 広告配信最適化 代理店業務改善 データ分析 いろんなデータ PYXISのデータ セプテーニの各部門DB 外部ベンダーのデータ 媒体社のデータ その問題点とソリューション DWH データの2次利用がしづらい 非構造化データ ビッグ…

メモ 動画系メディア会社で行われているETLの実際 #shinjukugl

メモ 動画系メディア会社で行われているETLの実際 #shinjukugl デリッシュキッチンのアレ PoC SSOTに則ったアーキにしたかった アプリケーションの状態は一元管理されるべきであること https://en.wikipedia.org/wiki/Single_source_of_truth API(Golang) Ad…

メモ Embulkの歴史、過去・現在、これから #shinjukugl

メモ Embulkの歴史、過去・現在、これから #shinjukugl embulkとは embulk fluentdのバッチ プラグインアーキテクチャ JRuby/Java/Scala/Kotlin 並列処理 並行処理 guess リトライ レジューム yamlベース -2015 プラグインの数はfluentdよりは少ない 初期はc…

builderscon 2017で「OSS貢献超入門」というタイトルで発表しました #builderscon

builderscon 2017で発表しました。まずは、僕の発表を聞きに来られた皆様に御礼申し上げます。 登壇資料はこちらです。 Oss貢献超入門 from Michihito Shigemura OSS開発の基本中の基本的なところを60分かけて話をしました。 タイムテーブルも3日目の終盤で…

初めてサークル参加して完売したことへの雑感 #技術書典

技術書の同人誌即売会です。漫画でいうところのコミケやコミティア、文学でいうところの文フリが、技術書典です。このイベントに サークル側として 参加したので、雑に感想を述べていきます。 techbookfest.org 完売できてうれしい 技術者向けのイベントだか…

技術書典2でIT勉強会について本を出します

結構今更ですが、宣伝です。 来る4/9、アキバ・スクエアで技術書典2なるイベントがありますが、そこで同人誌を出します。 本のタイトルは IT勉強会のあれこれ です。 techbookfest.org その名の通り、IT勉強会について、いろいろ書いた本です。以下、まえが…

後半 メモ #ichigayageek

ichigayageek.connpass.com 株式会社セプテーニ・オリジナル 下村 様 Scalaの線形化と抽象型メンバの統一の限界 自分型アノテーション value size is not a member of ListA.this.B scalacは線形化のプロセスで抽象型メンバーのプロセスにおいて最後のものが…

前半 メモ #ichigayageek

株式会社ネクストビート 衣笠 様 オフショアでもScala開発 さくらのクラウド C からのしっかりとした仕組み stage1 ドメインモデル設計 ヘキサゴナルアーキテクチャ case classのオブジェクト コンパニオンオブジェクト stage2 モデルとDBのマッピング設計 s…

memo: Airflowの紹介 #wfemeetup

SIer Bigtop/Yetusコミッタ アジェンダ 背景 紹介 デモ 要望 背景 以前はOozieを使っていた 設定はXMLで定義するのでだるい fork-joinを使うためにはすべての経路が成功する必要がある どれかがOKだったら全部OKみたいな運用ができない 任意のDAGとして定義…

memo: Azkaban #wfemeetup

memo: Azkaban #wfemeetup ジョブ管理ツール Hadoopのジョブ依存関係を解決するために作られた あんまりモダンじゃないJavaで実装されていること WebServerがGUIを提供 ExecuterServerでジョブを実行 基本的なことはできるが、高度なことはできない 依存関係…

memo: Luigiを使っている話 #wfemeetup

memo: Luigiを使っている話 #wfemeetup リクルートマーケティングパートナーズ hadoop spark Luigi 触っている人が少ない 日本語の情報が少ない アジェンダ スタディサプリ Luigiの基礎 Luigiと私 スタディサプリ スタディサプリ 塾講師の動画を定額で見れる…

memo: Jenkins 2.0 Pipeline & Blue Ocean #wfemeetup

ベアメタルクラウド アジェンダ おさらい Pipeline / Blue Ocean(Jenkins2.0から) デモ 活用事例 おさらい Java製のCI/CDツール Hudsonからフォークされた(2011) ジョブはshell script / Groovyで記述 豊富なプラグイン ビルド/テスト/デプロイの自動化 開発…

memo: Digdagの特徴とQuick Start #wfemeetup

Digdag :Digdagの特徴とQuick Start #wfemeetup TreasureData fluentd digdag messagepack workload automation 手作業の自動化 バッチデータ解析 アクセスログ ETL 集計処理 レポート生成 通知 データロード メール送信 システム間のデータ連携 プロビジョ…

memo: intro #wfemeetup

workflow engineとは 処理同士の先行・後続関係を workflow として定義できる Workflow を定期的に、あるいはファイルの到着など何らかの条件に基づいて実行できる 先行する処理の実行結果に基づいて、次に実行する処理を切り替えることができる 複数の処理…

JSON ライブラリの歴史、マイクロサービス、およびスキーマの進化について #reactive_shinjuku

https://reactive-shinjuku.connpass.com/event/49818/ @eed3si9n Lightbend に入るまでは独学でScalaをやっていた Lightbend Production Suite 技術サポートもやっている 開発プロセスをスケールさせるにはどうしたらいいか 組織をスケールさせるのがいちば…

memo: モノリシックからリアクティブへ - 大切なのはアーキテクチャ(Java編) #reactive_shinjuku

https://reactive-shinjuku.connpass.com/event/49818/ @jroper Lightbend java/scala/akka (デモはUbuntu/IntelliJ IDEAを使っている) 横田さん補足付き英語プレゼン アジェンダ identify pitfalls of monolith conversions モノリスを置き換える際の落とし…

akka-doc-ja メモ #reactive_shinjuku

わからんことあったら やすださんに聞く ソースコードを読む http://akka.io akka user list akkaのgitter 全部英語。洋書。読んだらええやん 世界競争力を上げる方法は英語力を上げるだけじゃなくってakka.io翻訳 pdf 853ページ 日々進化し続けるドキュメン…

ノンブロッキング・フレームワークでのスレッドプールの使い方 メモ #reactive_shinjuku

同期処理と非同期処理 取得を待つ 逐次的に処理 取得を待たない 処理が複雑になる スレッドの枯渇 Request-Response 遅延の伝搬 サブシステムの障害をシステム全体に波及させない 障害が発生しても応答を早く返す bulkhead-pattern 道路が1つしかないと事故…

プロセスマネジャーとバックプレッシャー メモ #reactive_shinjuku

長期に渡るプロセスの中央集権的な管理を行う実装パターン actorを使うと実装しやすい 問題 未完了のプロセスが増える 解決策 アクターにバックプレッシャーをもたらす必要があること actorで実装したい バックプレッシャーを使うとプロセスマネージャが管理…

ドメインイベントを設計する メモ #reactive_shinjuku

アジェンダ メッセージの種類 ドメインイベントの設計 (DDD成分つよめ) メッセージの種類 メッセージの種類 command message point-to-pointで送る それ自体がactorの振る舞いを内包 document message 情報を伝達 commandを送ってきたsenderへの返答(request…

Lagom で学ぶ Reactive Microservices Architecture メモ #reactive_shinjuku

マイクロサービスに役立つかもしれないlagomのデザイン lightbend社が作ったマイクロサービスアーキテクチャ向けフレームワーク マイクロサービスアーキテクチャ 2014/3にThoughtWorks社が提唱 小さいサービスを組み合わせて1つのアプリケーションを構築 MSA…

リアクティブDDDについて メモ #reactive_shinjuku

はじめに @j5ik2o chatwork 内部的な細かい実装は掘り下げない 概論を話すこと chatwork scala/akka + ddd angular + ddd 大規模サービスの文脈が強い話 わりとハイコンテクスト リアクティブシステムとドメイン駆動設計を組み合わせる vaughn vernon スタッ…

メモ The Real of Treasure Data Engineering Team #tdtech

シリコンバレーの会社で6割がた日本人 どういうふうにチームを回しているのか VP of engineering vs CTO CTOはスーパーマン?? コードをかけて、マネジメントできて、最新の情報にキャッチして… ってそんなことはない。 エンジニアのマネジメントとしてのVP o…

メモ PlazmaDB/PlazmaGC #tdtech

PlazmaDBの各種ゴミ集め PlazmaDBについては良い資料があるので詳細はそちらをみる MessagePack 分析用DB インデックスは時間軸 トランザクション 暗号化サポート 時間軸のメタデータ データの中身はS3 or RiackCS PlazmaDB 1秒間に110万行のimport 310Kのデ…

メモ Treasure Dataを支える人々 #tdtech

技術的な話が多いので人にフォーカスしたはなしを 分散系とかPrestoとかを担当 TDエンジニアの一日 朝が早くない 出社時間はまちまちだけど、slackとかあるので、そんなに苦ではない ソースコードはGitHub→ステータスの管理はJIRA(GitHubのIssueは使いづらい…

memo 3 Months Into Treasure Data #tdtech

日本語でセッション… TDに入る前 spotifyで働いていて、バックエンドの開発をやっていた dockerとかインフラとか CSの中でいちばん興味のあるのは分散システムとかパフォーマンスのところ なんでTD cloud is eating the world 2011時点のspotifyのインフラは…

メモ バルクロードの信頼性を上げるための戦い #tdtech

Embulkとは Embulkのプラグインの話 TDでEmbulkをつかう話 OSSとして出しているプラグラブルなバルクロードツール Fluentdのバッチ版と言われる TDはOSSと一緒のバージョンを使っている cavのgzipをMySQLにアップロードする、といった用途とか GUIも使える I…

メモ PerfectQueueはいかにパーフェクトか、あるいはRubyとMySQLでジョブキューを作る試みについて #tdtech

PerfectQueue パーフェクトな分散キュー worker scheduler consoleapiのやりとりで分散キュー ジョブキューとは first in frist out At-least-once semantics 最大1回実行 ジョブキューにRDBMSを使うべきか 使うべきなのでは At-most-once queueのテーブル構…

熱血!アセンブラ入門 読書会(18) 最終回 まとめ

この記事は諸般の事情により、2015/07/01の勉強会のまとめです。 熱血!アセンブラ入門 読書会(18) 最終回 (2015/07/01 20:00〜)hotasm.connpass.com PowerPC(64ビット) 32ビットと大して変わらない LP64I32 LPI64 LP64 ‐ 通信用語の基礎知識 52993 – gomp_i…

Land of Lisp 3章-4章 メモ

勉強会3章-4章(社内)のメモ Ch3 Lispの構文の世界を探検する 3.1 シンタックスとセマンティクス なんでLispは括弧だらけなのか シンタックス テキストが正しい文を構成するために必要な、基本的な規則 セマンティクス 文の意味。多くの場合、同じセマンティ…