PHP соскабливает динамически загружаемый контент

Question

Я пытаюсь очистить сайт от заголовков статей, однако эта страница загружает только пять первых названий и загружает больше, когда пользователь прокручивает страницу (JSON вызывает больше статей и вводит их на страницу).

Скребок, который я построил, отлично работает, но только находит первые 5 статей по умолчанию, и то, что я пытаюсь достичь, состоит в загрузке более 5. Есть ли способ достичь этого с помощью PHP, и если вы можете объяснить мне почему/как это работает, я был бы очень признателен, потому что я люблю учиться этим.

Answer 1

вы можете использовать сетевой монитор chrome для регистрации источника запросов ajax, а затем запросить у своего веб-сканера, но это действительно «make shift api», и он будет торможеть, если сайт изменит формат json, вы можете используйте функцию json_decode php для декодирования json.

• http://php.net/manual/en/function.json-decode.php

для того, чтобы первый извлечения данных, вы должны будете использовать file_get_contents

• http://php.net/manual/en/function.file-get-contents.php

, но это только позволит ПОЛУЧИТЬ Если вы хотите более «продвинутые» варианты (например, POST) вам нужно будет изучить Curl

• http://php.net/manual/en/book.curl.php