検索キーワードをクローラーに見せない

search_control.rbではやってくれないのかな。一時期、アクセス履歴も落ち着いたみたいだったからうまくいったかと思ったんだけど、最近またひどくなってきたのでようやくおかしいと思い始めた。
tdiary.confにとりあえず Yahoo! Slurpを追加しておいた。

@options['bot'] = [
  '^(Naverbot|Cowbot)-',
  '^BlogLines/',
  '^blogmap',
  '^FAST-WebCrawler/',
  '^Hatena Antenna/',
  'MI[CK]AN/',
  '^msnbot/',
  '^NG/',
  '^Openbot/',
  '^samidare',
  '^TAMATEBAKO/',
  'Yahoo! Slurp',
  '^TomSoftAntenna'
]

これでしばらく様子見。

コメントする

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください