BaiduSpider が役立つ？？

前回の対応で、AWSから取得した情報のうち、「利用可能状況（24時間以内に出荷、とか）」をクリックすると、その商品に関する情報を取りに行くようにしたが、厳密に言えば、１週間以内に情報をリフレッシュする仕組みを作る必要がある。
今日、各商品の更新年月日を確認したところ、大部分が未明のうちにリフレッシュされていた。どこの誰がこんな奇特なことを？とアクセスログを確認して、納得。
BaiduSpider。夜中の１時から30分ほどのあいだにほぼすべての商品情報を再取得してくれた。非常にお行儀の悪いロボットと評判の高いBaiduSpiderだが、たまには役に立つこともあるじゃないか。見直してやったりはしないけど。