Извлечение данных с веб-сайта

Question

У меня есть веб-сайт, который имеет профили для пользователей. Существует еще одна страница, в которой перечислены все пользователи и ссылки на их профили. Мне нужно собрать все данные для всех пользователей в одном месте. Веб-сайт работает через механизм входа в систему, и я попытался получить доступ к страницам через cURL, но не был успешным.

Какие способы могут быть использованы для извлечения данных?

Answer 1

Для сохранения файлов cookie, которые вы получаете во время входа в систему, вам необходимо использовать функцию кулинарного файла Curl. После того, как у вас есть файлы cookie, вы будете вторым вызовом curl, будет работать с использованием cookie-файлов cookie cookie. Есть пример кода в комментариях на php cURL

Это приличное учебное пособие с информацией о банке curl cookie.

http://icfun.blogspot.com/2009/04/php-how-to-use-cookie-jar-with-curl.html