HsbtDiary

■ du で見つからない巨大ファイルは lsof で見つけるの術

とあるサーバーの disk usage が 90% を超えていて「やれやれ logrotate 漏れか」と、ルートから du でせっせと調べてみても全体の 30% くらいにしかならなくてなんだコレは!と右往左往していたら隣に座っている @hiboma が lsof でプロセスが掴みっぱなしの fd を見つけてくれた。

どうやら td-agent がゾンビのように残っていて、削除済みでマークされている巨大な tail ログを掴み続けていて、それが全体の 60% になっていたことが原因だった。さっくり kill したら fd が解放されて無事 disk usage が緑色に戻りましたとさ。めでたしめでたし。