Как я буду запускать RSelenium
в параллель.Запуск RSelenium параллельно
Ниже приведен пример использования rvest
параллельно
library(RSelenium)
library(rvest)
library(magrittr)
library(foreach)
library(doParallel)
URLsPar <- c("http://www.example.com/", "http://s5.tinypic.com/n392s6_th.jpg", "http://s5.tinypic.com/jl1jex_th.jpg",
"http://s6.tinypic.com/16abj1s_th.jpg", "http://s6.tinypic.com/2ymvpqa_th.jpg")
(detectCores() - 1) %>% makeCluster %>% registerDoParallel
ws <- foreach(x = 1:length(URLsPar), .packages = c("rvest", "magrittr", "RSelenium")) %dopar% {
URLsPar[x] %>% read_html %>% as("character")}
stopImplicitCluster()
открыть отдельный браузер для каждого экземпляра с помощью 'open' метод класс 'remoteDriver'. С точки зрения вашего рабочего процесса 'seleniumPipes' может быть уместным https://github.com/johndharrison/seleniumPipes – jdharrison
У меня есть несколько тысяч URL-адресов, скажем, у меня есть 3 ядра в' registerDoParallel', мне нужно «открыть» 3 экземпляры до 'foreach'? Я не знал о 'seleniumPipes'! thnx –