scrapy тот же url различный исходный контент

Question

Я использую scrapy на следующем веб-сайте, чтобы получить URL-адреса футбольного матча. http://www.spox.com/de/daten/?sport=soccer&page=season&id=9643&view=matches

Пока что так хорошо, что все URL-адреса из 25 совпадений показаны, но есть кнопка «назад» («Zurück»), чтобы показать больше совпадений, но она использует тот же URL-адрес. Итак, как я могу сказать, что нужно нажать эту кнопку, а также взять URL-адрес этого совпадения?

Answer 1

При нажатии кнопки «Назад» браузер делает XMLHttpRequest. Я бы предложил запустить консоль вашего браузера и проверить сетевой трафик после нажатия кнопки «Назад». Вы увидите URL-адрес, с которого страница получает данные. Используйте этот url для дальнейшего соскабливания.