Чтение нескольких файлов JSON в каталоге в один кадр данных

Question

library(rjson) 
filenames <- list.files(pattern="*.json") # gives a character vector, with each file name represented by an entry 

Теперь я хочу импортировать все файлы JSON в R как один единый dataFrame. Как мне это сделать?

я впервые попробовал

myJSON <- lapply(filenames, function(x) fromJSON(file=x)) # should return a list in which each element is one of the JSON files 

но выше код занимает по времени, чтобы прекратить, так как у меня 15000 файлов, и я знаю, что это не будет возвращать один кадр данных. Есть ли более быстрый способ сделать это?

Пример JSON файла:

{"Reviews": [{"Ratings": {"Service": "4", "Cleanliness": "5"}, "AuthorLocation": "Boston", "Title": "\u201cExcellent Hotel & Location\u201d", "Author": "gowharr32", "ReviewID": "UR126946257", "Content": "We enjoyed the Best Western Pioneer Square....", "Date": "March 29, 2012"}, {"Ratings": {"Overall": "5"},"AuthorLocation": "Chicago",....},{...},....}]} 

Answer 1

Go параллельно через:

library(parallel) 
cl <- makeCluster(detectCores() - 1) 
json_files<-list.files(path ="your/json/path",pattern="*.json",full.names = TRUE) 
json_list<-parLapply(cl,json_files,function(x) rjson::fromJSON(file=x,method = "R")) 
stopCluster(cl) 

Answer 2

Для тех, кто ищет purrr/tidyverse решение прийти сюда:

library(purrr) 
library(tidyverse) 
library(jsonlite) 

path <- "./your_path" 
files <- dir(path, pattern = "*.json") 

data <- files %>% 
     map_df(~fromJSON(file.path(path, .), flatten = TRUE))