BeautifulSoup - Скремблирование данных через разбитый стол с использованием Python

Question

Я очищаю данные через сайт ставок (https://www.pointdevente.parionssport.fdj.fr/parisouverts/rugby).

Я могу скопировать ограниченное количество событий на текущей странице. Проблема, с которой я сталкиваюсь, заключается в том, что я не могу очистить остальные данные в таблице. Как перейти на следующую страницу или ссылку.

Ниже мой код:

import urllib2 
from urllib2 import urlopen 
import requests 
import dryscrape 
from bs4 import BeautifulSoup 

dryscrape.start_xvfb() 
SessionFDJ = dryscrape.Session() 
SessionFDJ.visit('https://pointdevente.parionssport.fdj.fr/parisouverts/rugby/') 
ResponseFDJ = SessionFDJ.body() 
print(ResponseFDJ) 

Answer 1

Эта страница использование JavaScript, чтобы получить все данные и изменить его. Используйте DevTools в Chrome/Firefox, чтобы увидеть, какие файлы/URL-адресов используются в браузере и вы увидите

https://www.pointdevente.parionssport.fdj.fr/api/1n2/offre?sport=964500

, который дает все данные, как JSON.

Кажется, это использование API страницы, поэтому найти документацию по API и Вам не нужно будет BeautifulSoup

---

import requests 

url = 'https://www.pointdevente.parionssport.fdj.fr/api/1n2/offre?sport=964500' 

r = requests.get(url) 

for x in data: 
    print(x['label']) 

результат:

Biarritz-Perpignan 
Kenya-France 
Australie-Japon 
Etats-Unis-Ecosse 
Argentine-Pays de Galles 
Angleterre-Samoa 
Montauban-Colomiers 
Bourgoin-Angoulême 
Aurillac-Mt-de-Marsan 
Dax-Albi 
Vannes-Béziers 
Ospreys-Edimbourg 
Glasgow-Munster 
Sale-Exeter 
Bath-Saracens 
Pau-Clermont 
Zebre-Llanelli 
Angleterre-Australie 
Connacht-Trévise 
Gloucester-Bristol 
Leicester-Northampton 
Cardiff-Ulster 
Grenoble-Montpellier 
Lyon-Castres 
St.Français-Bayonne 
Leinster-Newport 
La Rochelle-Racing 92 
Toulouse-Brive 
Narbonne-Oyonnax 
Worcester-Wasps 
Newcastle-Harlequins 
Toulon-Bordeaux 
Fidji-Canada 
NlleZélande-Russie 
Agen-Carcassonne 
AfriqueduSud-Ouganda 

Answer 2

Это клиент-визуализации приложений, нет таблицу в HTML вы можете получить через urllib. Все данные извлекаются и отображаются с помощью Javascript. Это еще проще, вам не нужно разбираться с HTML.

Вот ссылка, которая имеет необходимые данные - https://www.pointdevente.parionssport.fdj.fr/api/1n2/offre?sport=964500

возвращает JSON со всеми событиями, вы можете использовать Python json библиотеку, чтобы разобрать его.