web scraping aspx веб-страница с R

Question

Я пытаюсь очистить 'http://www.phl.org/Pages/Flight-Information.aspx#/Arrivals' веб-страницу в R, чтобы получить расписание прибытий (а затем, в конечном счете, отправление) полетов в международном аэропорту Филадельфии. Это код, который я написал до сих пор:

require("rvest") 
require("dplyr") 

url1 <- "http://www.phl.org/Pages/Flight-Information.aspx#/Arrivals" 
url2 <- '//*[@id="ctl00_pageWrapper"]/main/div[3]/table' 

Trial_data <- url1 %>% read_html() %>% html_nodes(xpath=url2) %>% html_table() %>% data.frame() 

Однако это скребет только заголовки таблицы, а не сама таблица данных. Я проверил элементы веб-страницы с HTML-кода веб-сайта и использовал Xpath в своем скрипте. В качестве пробной версии я использовал один и тот же фрагмент кода, чтобы очистить таблицу википедии, и он работал отлично. Я чувствую, что проблема связана с веб-страницей .aspx.

действительно оценил бы любую помощь по этому поводу!

Answer 1

Замечания выше верны, код html заполняется динамически, поэтому библиотека rvest не будет работать. Если вы загружаете веб-страницу с включенными инструментами разработчика и просматриваете загруженные файлы, есть несколько файлов типа XHR. Если вы изучите эти файлы, то этот файл, который называется FlightTracker.ashx, является файлом JSON, содержащим запрашиваемую информацию.

После того, как файл и завитка, это определить, что это просто вопрос создания запроса HTTR и разбор файла JSON:

library(httr) 
library(jsonlite) 

url<-'http://www.phl.org/_layouts/15/Fuseideas.PHL.SharePoint/FlightTracker.ashx?dir=D' 
flightdata<-GET(url) 

output<- content(flightdata, as="text") %>% fromJSON(flatten=FALSE) 

FYI: Вы можете посмотреть на этот файл: «http://www.phl.org/Style%20Library/PHL/Scripts/Angular/iata-data.jsn», который содержит информацию об аббревиатурах, названиях и ссылках авиакомпаний и аэропортов.