スクレイピングをしてみよう 認証・リダイレクト回避編 – lesson me今日はスクレイピング時に引っかがりがちな年齢認証などを回避してhtmlを取得する方法について（今日どハマりしたので 例えば、 取得したいページがリファラーで制限されている アダルト商品など年齢認証で目的のページにたどり着くのにクリックなどが必要 こんなケースに直面した場合の対処が必要になってくると思います。 年齢認証などは簡単な場合はURLに少し手を入れるだけで特に問題なく取得できるケースも多いですが、リファラーやcookieで制限されると少し手を加えないといけません。 Simple HTML DOM Parserで普通に取得する場合 普通はこんな感じでfile_get_htmlだと思います。 $html = file_get_html($item_url); // $item_urlは取得したいページのurl リファラーやcookieを設定して取得する場合 $opts = array(
PHP Simple HTML DOM Parserの使用方法 - Webスクレイピング ライブラリ
