by shigemk2

当面は技術的なことしか書かない

勉強会

memo Google Cloud Next 2018 Extended おもにAuto ML #gcpug

memo Google Cloud Next 2018 Extended おもにAuto ML #gcpug メルペイのML関係をみてる AutoMLまわりの新しい話 AutoML Vision: public beta とつぜんのpublic beta AutoML Natural Language AutoML Translation Cloud AutoML データを用意したらOK モデル…

memo Cloud TPU #gcpug

memo Cloud TPU #gcpug TPUとは は省略 TPU のアップデート GPU ディープラーニング GPU 金かかる CPUの性能→ムーアの法則の限界 鈍化してる domain specific hardware ソフトウェアだけじゃなくてハードウェアの最適化も必要 gpu fgpa tpa いろいろ頑張って…

memo BigQuery New Feature #gcpug

BigQuery New Feature #gcpug 発表内容 BQML GIS Clustered Tables 事前 割愛 BQML BQのなかだけで機械学習 線形回帰 ロジスティック回帰 増える予定 線形回帰 長くなるんで省略 聞いて 点打って、近い感じの線をかく actual サンプルデータ (来店客数を予測…

memo Scala製システムを3年間運用することで起きた様々なことへの対処 #ScalaMatsuri

Scala製システムを3年間運用することで起きた様々なことへの対処 もうレアじゃないScala インフラ周りなエピソードも一部ある はてなのサバ 自社サービス 運用知見のシステム化 マイクロサービス scala go python URL→ステータス サーバークローリングのコン…

memo buiding distributed system with akka #ScalaMatsuri

buiding distributed system with akka #ScalaMatsuri anildigital anil wadghule intro from india to japan anime sushi ramen current scene in internet akka size of internet growing concurrent connection IoT big data cheap hardware cluster mult…

memo LT #ansiblejp

AnsibleとPackerでゴールデンイメージを作成する イメージをサービスイン Packer HashiCorp https://www.packer.io/ Vagrant/Terraform イメージを作成するためのオープンソースツール builders/provisioners/post-processors packerの定義ファイル(JSON)を…

memo OpenStackをAnsibleで操る! #ansiblejp

富士通 cloud service k5とリリース業務 Ansible Tips & Example 適用版数を厳密に守る 手順を間違えない 適用対象を間違えない 履歴を残す まとめ OpenStack オープンソースのクラウド基盤ソフトウェア 多数のサービスが組み合わさった分散構成 FUJITSU Clo…

memo 2017の〆に抑えるAWX&AnsibleTowerの活用!! #ansiblejp

HPE 北山さん 仕事とか、電車混雑による、25分ほどの遅れ 概要 memo Ansible Tower フルマネージド AWX OSS 自動化支援 http://docs.aws.amazon.com/ja_jp/quickstart/latest/ansible-tower/ansible-tower-on-aws.pdf Centralize and control your IT infras…

OSSドキュメンテーション勉強会に行って、LTした #kbkz_tech

ドワンゴ主催の、歌舞伎座.tech#14「OSSドキュメンテーション勉強会」に行ってきて、LTしました。 こちらは資料です。ひたすらドキュメントに貢献し続けた話をしました。 ドキュメントを直し続ける話 #kbkz_tech from Michihito Shigemura 以下、感想という…

memo 反面教師で学ぶ参考書の書き方 #kbkz_tech

https://ezoeryou.github.io/how-not-to-write-textbook/ @ezoeryou ソースファイルは分割しろ xhtmlが未来だった時代 でもそうならなかった 1MB以上あった手書きのXHTMLファイル Vimで開いてもなおしんどい ウェブブラウザ上で編集ができなくなった(ファイ…

memo READMEに何を書く? #kbkz_tech

ツッコミがあったらください 個人的にやっていること ライブラリがあったらpublishする publishする READMEを書こうとする 何を書こうか… 方針 個人でしか使わない想定 ライブラリ管理をpackage managerに任せたいという気持ち ドキュメントにコストをかけた…

memo 単語の揺らぎに対処するための手法と実装 #kbkz_tech

http://redpen.cc/ OSSプロジェクトのドキュメントを書くと 表記ゆれ に悩まされる ベトナム ヴェトナム(文字) Excel エクセル(文字種) 行う 行なう(送り仮名) RedPenではどうしているのか そもそもそんなにクリティカルじゃないけど、発見にコストがかかる …

memo C++リファレンスサイトcpprefjpでのドキュメンテーション #kbkz_tech

3000ページ 標準ライブラリのレファレンス C++14までは網羅 マイナーライブラリは保留 3年ごとにリリースしている 仕様が決まったらスケジュールとしても動かない GitHubで、markdown→HTML (めるぽん氏の)自前のサーバーでHTML変換 すべてボランティアでスポ…

memo Node.jsのドキュメント整備について(仮) #kbkz_tech

Node.jsはIssueなども日本語である程度対応している we/Iは使わない https://developers.google.com/style/pronouns#personal-pronouns CIはヨーロッパに置いてあるサーバーのJenkins Lintをかけて、convertできるかどうかテストする gitlocalize misspell …

memo OSSであるZabbixの開発体制と最新バージョンまでの機能展開をやわめに #mackerel_ug

3.4のバージョンについて 自己紹介 @BSmile zabbixサポートエンジニア 入門 スペシャリストの講師 zabbix conf アジェンダ zabbixとは OSS開発体制 3.4について zabbixとは エンタープライズ可能なオープンソース監視システム アプリケーションからハードウ…

memo ユーザ目線でのPrometheus/管理者目線でのPrometheus #mackerel_ug

@matsumana パート 自己紹介 Line 福岡 アジェンダ 実際にどういったメトリクスをとっているのか exporterをつくるときのベストプラクティス アラートルールの書き方 まとめ 時間の都合上Prometheusの入門はやらない 使ってるバージョン Prometheus 1.8 使っ…

memo はてなサービスプラットフォームチームにおけるMackerel #mackerel_ug

自己紹介 motemen はてなCTO Mackerelディレクター アプリケーションエンジニア Go/Git モニタリング自体を本業としてはやっていないのでご了承 Mackerelとは 「直感的サーバー監視サービス」 サーバーのメトリクスとかも見れる Mackerelの歴史 200x はてな…

メモ セプテーニで分析基盤(Treasure Data)を導入した話 #shinjukugl

www.septeni-holdings.co.jp PYXIS 広告配信最適化 代理店業務改善 データ分析 いろんなデータ PYXISのデータ セプテーニの各部門DB 外部ベンダーのデータ 媒体社のデータ その問題点とソリューション DWH データの2次利用がしづらい 非構造化データ ビッグ…

メモ 動画系メディア会社で行われているETLの実際 #shinjukugl

メモ 動画系メディア会社で行われているETLの実際 #shinjukugl デリッシュキッチンのアレ PoC SSOTに則ったアーキにしたかった アプリケーションの状態は一元管理されるべきであること https://en.wikipedia.org/wiki/Single_source_of_truth API(Golang) Ad…

メモ Embulkの歴史、過去・現在、これから #shinjukugl

メモ Embulkの歴史、過去・現在、これから #shinjukugl embulkとは embulk fluentdのバッチ プラグインアーキテクチャ JRuby/Java/Scala/Kotlin 並列処理 並行処理 guess リトライ レジューム yamlベース -2015 プラグインの数はfluentdよりは少ない 初期はc…

builderscon 2017で「OSS貢献超入門」というタイトルで発表しました #builderscon

builderscon 2017で発表しました。まずは、僕の発表を聞きに来られた皆様に御礼申し上げます。 登壇資料はこちらです。 Oss貢献超入門 from Michihito Shigemura OSS開発の基本中の基本的なところを60分かけて話をしました。 タイムテーブルも3日目の終盤で…

初めてサークル参加して完売したことへの雑感 #技術書典

技術書の同人誌即売会です。漫画でいうところのコミケやコミティア、文学でいうところの文フリが、技術書典です。このイベントに サークル側として 参加したので、雑に感想を述べていきます。 techbookfest.org 完売できてうれしい 技術者向けのイベントだか…

技術書典2でIT勉強会について本を出します

結構今更ですが、宣伝です。 来る4/9、アキバ・スクエアで技術書典2なるイベントがありますが、そこで同人誌を出します。 本のタイトルは IT勉強会のあれこれ です。 techbookfest.org その名の通り、IT勉強会について、いろいろ書いた本です。以下、まえが…

後半 メモ #ichigayageek

ichigayageek.connpass.com 株式会社セプテーニ・オリジナル 下村 様 Scalaの線形化と抽象型メンバの統一の限界 自分型アノテーション value size is not a member of ListA.this.B scalacは線形化のプロセスで抽象型メンバーのプロセスにおいて最後のものが…

前半 メモ #ichigayageek

株式会社ネクストビート 衣笠 様 オフショアでもScala開発 さくらのクラウド C からのしっかりとした仕組み stage1 ドメインモデル設計 ヘキサゴナルアーキテクチャ case classのオブジェクト コンパニオンオブジェクト stage2 モデルとDBのマッピング設計 s…

memo: Airflowの紹介 #wfemeetup

SIer Bigtop/Yetusコミッタ アジェンダ 背景 紹介 デモ 要望 背景 以前はOozieを使っていた 設定はXMLで定義するのでだるい fork-joinを使うためにはすべての経路が成功する必要がある どれかがOKだったら全部OKみたいな運用ができない 任意のDAGとして定義…

memo: Azkaban #wfemeetup

memo: Azkaban #wfemeetup ジョブ管理ツール Hadoopのジョブ依存関係を解決するために作られた あんまりモダンじゃないJavaで実装されていること WebServerがGUIを提供 ExecuterServerでジョブを実行 基本的なことはできるが、高度なことはできない 依存関係…

memo: Luigiを使っている話 #wfemeetup

memo: Luigiを使っている話 #wfemeetup リクルートマーケティングパートナーズ hadoop spark Luigi 触っている人が少ない 日本語の情報が少ない アジェンダ スタディサプリ Luigiの基礎 Luigiと私 スタディサプリ スタディサプリ 塾講師の動画を定額で見れる…

memo: Jenkins 2.0 Pipeline & Blue Ocean #wfemeetup

ベアメタルクラウド アジェンダ おさらい Pipeline / Blue Ocean(Jenkins2.0から) デモ 活用事例 おさらい Java製のCI/CDツール Hudsonからフォークされた(2011) ジョブはshell script / Groovyで記述 豊富なプラグイン ビルド/テスト/デプロイの自動化 開発…

memo: Digdagの特徴とQuick Start #wfemeetup

Digdag :Digdagの特徴とQuick Start #wfemeetup TreasureData fluentd digdag messagepack workload automation 手作業の自動化 バッチデータ解析 アクセスログ ETL 集計処理 レポート生成 通知 データロード メール送信 システム間のデータ連携 プロビジョ…