by shigemk2

当面は技術的なことしか書かない

Fluentd

fluentd v1.5.0

out_forward keepalive in_http TLS in_syslog TLS SO_LINGER使わない Release v1.5.0 · fluent/fluentd · GitHub

fluent-plugin-s3 issue 267

つらいミステイクをみた aws-sdk-s3 v1を入れるだけで署名v4が対応されるやつ

fluentd v1.4.0

retry_foreverなど Release v1.4.0 · fluent/fluentd · GitHub fluentd/CHANGELOG.md at master · fluent/fluentd · GitHub

fluentd 1.3.0

fluentd/CHANGELOG.md at master · fluent/fluentd · GitHub Release v1.3.0 · fluent/fluentd · GitHub

fluentd v1.2.0

fluentd v1.2.0 nginxでhttp-x-forwarded-forのサポートが増えた とか

fluentd 1.0.0

fluentd 1.0.0 出たか

fluentd v0.14.21

新機能 filter_parser buffer Release v0.14.21 · fluent/fluentd · GitHub fluentd/ChangeLog at master · fluent/fluentd · GitHub

fluentd 0.12.39

Bug fixes シャットダウン回避のためのリバート log: Revert 0.12.38 changes to avoid shutdown stuck https://github.com/fluent/fluentd/pull/1631 https://github.com/fluent/fluentd/pull/1632 fluentd/ChangeLog at v0.12.39 · fluent/fluentd · GitHu…

fluentd 0.14.18

まだこっちのリリースノートはない http://www.fluentd.org/blog/fluentd-v0.14.18-has-been-released 修正 parser: Add rfc5424 regex without priority バグフィックス in_tail: Fix timing issue that the excluded_path doesn’t apply. config: Fix brok…

fluentd v0.14.15

Release v0.14.15 · fluent/fluentd · GitHub change logみたら、workerディレクティブが追加されている。 fluentd/ChangeLog at master · fluent/fluentd · GitHub

fluentd v0.14.15

Release v0.14.15 · fluent/fluentd · GitHub

fluentd source/match

source directives determine the input sources. match directives determine the output destinations. filter directives determine the event processing pipelines. system directives set system wide configuration. label directives group the outp…

fluentd v0.12.33

parser_syslogがRFC5424 formatをサポートしたこと in_tailの機能追加 がメインっぽい Release v0.12.33 · fluent/fluentd · GitHub Fluentd v0.12.33 has been released | Fluentd

fluentd v0.14.13

github.com github.com changelogをよむ。だいたいこんなかんじの構成になっている。 # v0.14 ## Release v0.14.13 - 2017/02/17 ### New features / Enhancements * in_tail * configuration * command * output ### Bug fixes * output * in_tail * record…

fluentd v0.14.11

インデントの修正っぽい。 github.com

fluentd v0.12.31

この3つ。 output: Add slow_flush_log_threshold parameter https://github.com/fluent/fluentd/pull/1366 formatter_csv: Change fields parameter to required. Now accepts both a,b and ["a", "b"] https://github.com/fluent/fluentd/pull/1361 in_sys…

fluentd v0.12.30

安定版のニューバージョン出てた。 in_tailのオプティマイズとか。 Release v0.12.30 · fluent/fluentd · GitHub fluentd/ChangeLog at v0.12.30 · fluent/fluentd · GitHub github.com

fluentd pr 1295

json/rr/flexmockなどのgemについて、2.0.0以下までにバージョン指定。 github.com

docker fluentd image dockerfile

生活。ちょっと古いFluentdを使っている。 github.com

ファイル名に日付のついたログをfluentdで追っかけたかった

github.com application.log.2016-10-12みたいなやつを追っかけたかった。tail-ex使えばよかった。というか、既に本家に組み込まれているから、標準で使えた。基本的なところじゃんか。 <source> type tail_ex path /var/log/**.log,/var/log/by-date/%Y/messages.%m</source>…

EFK 再掲

github.com

memo Fluentd v0.14 Plugin API Updates #fluentdmeetup

とぴっく なぜAPIを変える必要があったのか 新しいAPIで何が出来るか その後のはなし たごもりす 新しいプラグインAPI 今までのAPIでは問題があった プラグインAPI関係について体系的なドキュメントがなかった 誰かが書き散らしたブログが参考記事 テストコ…

memo: Fluentd ServerEngine Integration & Windows Support #fluentdmeetup

@naritta ServerEngine is integrated ServerEngine supervisor→server→worker heartbeat via pipe auto-restart unicornと使い方は似ている worker type thread/process/spawn v0.14からspawnのworker typeを利用 Windowsにはforkの機能はないので、個別の…

memo: v0.14 Overview #fluentdmeetup

@repeatedly v0.14.0 2016/05/31 API刷新 時間のナノ秒対応 Windows API Input/Output pluginのAPI 終了時にうまくシャットダウン出来ない バッファ APIの追加/削除 bufferAPIについて刷新を行ったのでそのあたりは互換性がない v0.12 pluginのAPIはほぼ互換…

memo Keynote: Past & Future of Fluentd #fluentdmeetup

オープニング meetupの概要 v0.14.0 リリース 概要 windows関係で何が起こるか APIの変更 本編 Fluentdの昔と未来 2011/06/20に0.9.0リリース 5年 5年プロダクトが続いているなら成功している部類 フルタイムコミッターが2名入ったことでアクティブにつづい…

FluentdのDockerイメージのインストールでERROR: Unable to lock database

そのままでした。 Dockerfileでfluentdのイメージを使う。 FROM fluent/fluentd:latest MAINTAINER xxxxxx <xxxxx> RUN apk --update add grep ruby-dev # ココ その途中でapkでなにかをinstallしようとすると、以下の様なエラーが出る。 (なにげにfluentdのdocker</xxxxx>…

memo fluent-plugin-mysql-table

便利そうなんだけど、gemが出ていないのでした。 github.com

memo fluent-plugin-mysql-replicator

MySQLのinsert/update/deleteを検知するfluentdプラグイン。slowlogとかにも使えるようで。 y-ken.hatenablog.com

Fluentd 疎通確認

Fluentdが立ち上がっているサーバにたいして疎通が取れているのか。公式読めよっていう。 $ telnet host 24224 $ nmap -p 24224 -sU host docs.fluentd.org

Kinesis Firehoseと、そのFluentdプラグインについて

FluentdからKinesisFirehoseをごにょごにょするプラグインは確認できただけで2つあるけど、awslabsのほうでも十分事足りるのでした。 github.com github.com あと知見。 Kinesis FirehoseでDelivery Streamを作るロールがない状態でCreate Delivery Streamの…