いまさらだけど、Nginx が出力したアクセスログ（ltsv形式）を fluentd 経由で BigQuery に送ってみたよ - えいのうにっき
前回の いまさらだけど fluentd に入門した - えいのうにっき に引き続き、「いまさら fluentd」シリーズ（？）。 blog.a-know.me 事例としてはめちゃくちゃありそうなこの組み合わせ、「自分的にかゆいところ」に手が届いてるかんじの記事がないような気がしたので、それを少しでも増やすことができれば、という思いで、書いてみる。 nginx のアクセスログの形式を ltsv 形式にする まずはこれから。 そのために nginx の conf に手を加える必要がある。たとえばこんな↓かんじかな。 log_format ltsv "local_time:$time_local" "\thost:$remote_addr" "\tforwardedfor:$http_x_forwarded_for" "\treq:$request" "\tstatus:$status" "\t
LTSV 形式の Web サーバのアクセスログを集計するツールを作りました - tkuchikiの日記
LTSV 形式の Web サーバのアクセスログを集計する、 tkuchiki/alp · GitHub を作成しました。 Install https://github.com/tkuchiki/alp/releases から各 OS 用のバイナリを取得できます。 Linux 以外では動作確認していませんが、おそらく動作すると思います。 Usage Labeled Tab-separated Values (LTSV) の Labels for Web server's Log みたいに log を出力すれば、 $ ./alp -f access.log +-------+-------+-------+-------+-------+-----------+-----------+-----------+-----------+--------+----------+ | COUNT |
実際に運用しているサービスのNginxログをLTSVにしてみた！ | Act as Professional
LTSVフォーマット本当に見やすくて便利だなと感じた@HIROCASTERでございませう。 何かと話題のLTSVだが、本当にコロンブスの卵だと思っている。 いままで、Apacheのcombine形式のログを独自に拡張したフォーマットを利用して、fluentd(実際はtd-agentを利用している)にログを収集させていた。 実感するためにLTSVフォーマットに実際に変更して運用し始めた。 NginxにLTSVフォーマットを登録するLTSVのサイトを参考にNginxの設定ファイル（/etc/nginx.confあたり）にLTSVのフォーマットを登録する。リバースプロキシとしても利用しているため、$upstream_response_timeの設定を意図的に増やしている。 log_format ltsv "time:$time_local" "thost:$remote_addr" "tforw
LTSVパーサの Emacs Lisp実装 - Shohei Yoshida's Diary
Labeled Tab-separated Values (LTSV) 流行りに便乗しました リポジトリ https://github.com/syohex/emacs-ltsv インタフェース ltsv:parse-lineは LTSVな文字列を解析し、alistを返します。 Perlの Text::LTSV同様 want, ignoreなキーを指定することが可能です。 (ltsv:parse-line "hoge:foo\tbar:baz\ttime:20:30:58\n") ;; => (("hoge" . "foo") ("bar" . "baz") ("time" . "20:30:58")) (ltsv:parse-line "hoge:foo\tbar:baz\ttime:20:30:58\n" :want '("time")) ;; => (("time" . "20:30
LTSVをNginxで使ってみる - Hidden in Plain Sight
id:stanaka のLTSVがバズってるみたいなので乗ってみた。（Hacker Newsにもポストしたんだけど、瞬時に流れてしまったよ。。） Nginxでの設定を（主にキーの命名で）1時間ぐらい試行錯誤した結果、とりあえず以下に落ち着いた。 log_format ltsv 'ts:$time_iso8601\t' 'ip:$remote_addr\t' 'method:$request_method\t' 'path:$request_uri\t' 'status:$status\t' 'size_req:$request_length\t' 'size_res:$bytes_sent\t' 'size_body:$body_bytes_sent\t' 'time_req:$request_time\t' 'time_app:$upstream_response_time\t' # '
【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリー
id:stanaka がはてなで使って居るログフォーマットが LTSV だよーとブログに書く Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog Web界隈のエンジニアたち、特にログとか、#fluentd 関係者がざわつく 「ざわ・・・ざわ・・・」 @t_wada 「Unix 哲学の大事な点が形になっていると思う。素晴らしい。」 @hotchpotch 「cool」 六本木、渋谷、白金台方面から京都へ熱い視線が送られる id:naoya がただ vagrant + chef を使いたいがために LTSV に乗っかる GrowthForecast を使っていたため GF の中の人が反応する @kazeburo 「[growthforecast]」 id:naoya が勢いで Text::LTSV を作る あまり反応がないのでしょ
ltsview ─ LTSVフォーマットフィルタ (Text::LTSV 0.03) - naoyaのはてなダイアリー
LTSV が行指向な Key-Value フォーマットで捗る話 - naoyaのはてなダイアリー で試作した LTSV のフォーマッタが思いの他捗ったので ltsview という名前でもう少し機能を整えてみました。 Text::LTSV に同梱する形で先ほど CPAN に shipit したので、CPAN で取得可能になったら cpanm Text::LTSV で ltsview ごとインストールされるはずです。なお github は https://github.com/naoya/perl-Text-LTSV です。 $ cat example/example_log.ltsv time:05/Feb/2013:15:34:47 +0000 host:192.168.50.1 req:GET / HTTP/1.1 status:304 size:0 referer:- ua:Mozil
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
