スクレイピング対策の対策についての所感 - Qiita

スクレイピング対策の対策についての所感 - Qiita

スクレイピング対策について 直近でECサイトをいくつかスクレイピングする業務に携わっていました。 た...概要を表示 スクレイピング対策について 直近でECサイトをいくつかスクレイピングする業務に携わっていました。 ただ、スクレイピング用のスクリプトを回していてしばらくすると 以下のようなポップアップが出ることがあります。 例えばこのAmazonの例だと、このポップアップが出るとこいつが邪魔をして処理が進まなくなってしまいます。 サイト側も情報を取られたくないので、こういった外部からの機械的なアクセスを遮断するための対策を講じています。 「いやWebサイト上で誰でも見れる情報だから守る意味がないのでは？」と思った方もいるかもしれませんが、ECサイトではレビュー情報や販売データを企業に販売しているケースがあり、そのデータが勝手に抜かれていると困るのです。 私の場合ECサイトの動向を追うため定期的に同じサイトをスクレイピングしていたため、よくこの類のポップアップに邪魔されていました。 そうなってくると「スクレ

• qiita