github.com

とぴっく なぜAPIを変える必要があったのか 新しいAPIで何が出来るか その後のはなし たごもりす 新しいプラグインAPI 今までのAPIでは問題があった プラグインAPI関係について体系的なドキュメントがなかった 誰かが書き散らしたブログが参考記事 テストコ…

@naritta ServerEngine is integrated ServerEngine supervisor→server→worker heartbeat via pipe auto-restart unicornと使い方は似ている worker type thread/process/spawn v0.14からspawnのworker typeを利用 Windowsにはforkの機能はないので、個別の…

@repeatedly v0.14.0 2016/05/31 API刷新 時間のナノ秒対応 Windows API Input/Output pluginのAPI 終了時にうまくシャットダウン出来ない バッファ APIの追加/削除 bufferAPIについて刷新を行ったのでそのあたりは互換性がない v0.12 pluginのAPIはほぼ互換…

オープニング meetupの概要 v0.14.0 リリース 概要 windows関係で何が起こるか APIの変更 本編 Fluentdの昔と未来 2011/06/20に0.9.0リリース 5年 5年プロダクトが続いているなら成功している部類 フルタイムコミッターが2名入ったことでアクティブにつづい…

そのままでした。 Dockerfileでfluentdのイメージを使う。 FROM fluent/fluentd:latest MAINTAINER xxxxxx <xxxxx> RUN apk --update add grep ruby-dev # ココ その途中でapkでなにかをinstallしようとすると、以下の様なエラーが出る。 (なにげにfluentdのdocker</xxxxx>…

便利そうなんだけど、gemが出ていないのでした。 github.com

MySQLのinsert/update/deleteを検知するfluentdプラグイン。slowlogとかにも使えるようで。 y-ken.hatenablog.com

Fluentdが立ち上がっているサーバにたいして疎通が取れているのか。公式読めよっていう。 $ telnet host 24224 $ nmap -p 24224 -sU host docs.fluentd.org

FluentdからKinesisFirehoseをごにょごにょするプラグインは確認できただけで2つあるけど、awslabsのほうでも十分事足りるのでした。 github.com github.com あと知見。 Kinesis FirehoseでDelivery Streamを作るロールがない状態でCreate Delivery Streamの…

0.12.22あたりでgem install fluentdなどすると、string-scrub関係でFluentdがインストール出来ない。 # gem install fluentd -v 0.12.22 ERROR: Error installing fluentd: string-scrub requires Ruby version <= 2.0.0, >= 1.9.3. Fluentdのバージョンを…

ググルの面倒だからメモっておく。 RDS(Amazon) qiita.com github.com MySQL github.com docs.fluentd.org

num_threads out_forwardプラグインの機能で複数スレッドを利用した送信が出来る。スレッド数を増やせば送信の並列処理ができるけど、そのぶんCPU使用率が上がる。 buffer_chunk_limit 送信バッファの最大サイズ。送信量がバッファサイズを超えていたら全体…

blog.livedoor.jp メッセージ送信の失敗によるもの。 該当コード 受け付けられるTCP接続要求の上限値を超えている 開いているソケットの数が多くなりすぎて１プロセスが開けるファイルディスクリプタの数を超えてしまっている 要するに、ファイル送信が追い…

fluentd regexp format /^(?<date>[^ ]+)\s+(?<duration>.*) (?<client address>.*) (?<result code>.*) (?<bytes>.*) (?<request method>.*) (?<url>.*) (?<rfc931>.*) (?<hierarchy code>.*) (?<type>.*)$/ たとえば、こんな感じ。 blog.glidenote.com</type></hierarchy></rfc931></url></request></bytes></result></client></duration></date>

なんとなくほい。公式見たほうがいいね。 <source> @type tail path /var/log/httpd-access.log pos_file /var/log/td-agent/httpd-access.log.pos tag apache.access format apache2 </source> docs.fluentd.org docs.fluentd.org

docs.fluentd.org メモ。ログ転送の振り分けをロードバランス出来る。

Globbing と日時指定書式が使える fluent-plugin-tail-ex の紹介 — 4shs Blog path の指定に * を使える (Globbing)。 path の指定に strftime 準拠の日時指定書式が使える。 展開後のファイルパスを tag に追加できる。 新しいファイルを先頭から読むように…

環境 さくらVPS CentOS 6.5 さくらサーバーのVPS環境にfluentdとMongoDBをインストール | Like a Long Sigh ほとんど↑のやつを参考にしました。 td-agentを入れる sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packag…

fluentdの簡単な使い方、設定方法一覧 - Hive Color $ gem install fluentd --no-ri --no-rdoc $ fluentd --setup ./fluent $ fluentd -c ./fluent/fluent.conf -vv &

Fluentd v11 @repeatedly Treasure Data fluentd structured loggin reliable forwarding pluggable architecture fluentdのなにがうれしいか mxn→m+n v10 log forwarding (よいパフォーマンスを出しつつ 安定して動く) プラグインも結構増えてる c-rubyを想…