HsbtDiary

■ [ruby] gem-codesearch を使い始めた

akr さんが作った rubygems に登録されている gem すべてを groonga で検索する gem-codesearch を使い始めた。

gem mirror コマンドを使って rubygems からすべての gem をミラーリングしようとするとだいたい 10-20 分くらいで取得に失敗して落ちてしまうので 30 分ごとに実行するように cron に仕込んでから 1 週間くらい放置しておいたらだいたい全部取得できた。取得した gem のうち最新のバージョンのみを展開する unpack は時間がかかるだけで特に問題はなく終了

最後の milkode と groonga のインデックス処理は初回の全登録が 3 日くらい、その後の更新が 10 時間くらいだった。使っているディスクがそれほど iops が高くないというのも原因だと思うけど、毎日更新するようなものでもないので月一で更新していけばいいかな。

これで、Ruby 本体のメソッドを消したりするときの影響をそれとなく調査しやすくなったと思う。