HsbtDiary

■ Treasure Data を使い始めてみた

会社でも色々やっているけど、hsbt.org でそれとなく貯めている nginx のログも TD に入れるようにしてみた。hsbt.org は gentoo なので公式で配布している rpm ではなく、gem を使って野良インストール。

$ gem install fluent-plugin-td

後は下のような fluent.conf で起動するのを確認した後に daemontools 送りにしておしまい。

<source>
  type tail
  path /var/log/nginx/access_log
  format apache
  tag td.nginx.access
  pos_file /tmp/fluentd-nginx.pos
</source>

<match td.nginx.access>
  type tdlog
  apikey your_td_key
  flush_interval 10s
  auto_create_table
  buffer_type file
  buffer_path /var/log/fluentd/buffer/td
</match>

会社では、buffer_path に指定しているパスのパーミッションが fluentd を起動しているユーザーのパーミッションではアクセスできなくて、数時間なんでーとはまったりした。

ひとまずこれで TD にアクセスログがどんどん送られるので td query で何となく集計できるのを確認したところまで。TD をちゃんと使ってビジネスに繋げるような解析をするというのは来週以降へ続く。