Запись нескольких TXT-файлов в Excel в R

Question

У меня есть более 100 файлов txt, которые были результатом SQL scrape на 100 различных схемах и таблицах. Файлы в виде табличных данных, ограниченные трубой. Все имена столбцов в каждом текстовом файле различны.

Как только я загрузил файлы в каталог, я создал 3 разных символа для разделения файлов на основе их имени. Например, x.files < - list.files (pattern = "_ X.txt"), поэтому я могу отделить мои «X» файлы от других файлов.

После этого я использовал lapply для перебора этих файлов и «read.csv» их в переменную: x.read < - lapply (x.files, read.csv, sep = "|", header = TRUE).

Теперь мне нужно записать все эти фреймы данных (хранящиеся в списке) обратно в файл XLSX с листом для каждого блока данных. Предпочтение было бы в том, что эти TXT-файлы будут представлять рабочий лист для [i] текстовых файлов в одной книге (файл XLSX).

У меня возникли проблемы с использованием пакетов «xlsx» и «XLConnect». Оба они вызвали нехватку памяти JVM, даже когда я выделяю java.parameters на -Xmx4000m.

Я пробовал использовать «openxlsx», но мне сложно разобраться, как заставить его создать лист, основанный на индексе списка/df. Таким образом, индекс [1] будет «Лист 1» и т. Д. Или также было бы хорошо, если имя листа было именем фактического имени файла (SOME_DATA_STORE_SYS_NAME) минус .TXT в качестве имен файлов (SOME_DATA_STORE_SYS_NAME.X.txt или .P1.txt и т. Д.).

Answer 1

Это очень простая версия функции вывода Excel, которую я часто использую. Обратите внимание: имена ваших списков должны быть уникальными или это будет писать листы. Это может быть не приемлемым решением, если ваши данные очень большие.

Решение 1 использует пакет xlsx для создания книги Excel в памяти вашего компьютера, а затем записывает все листы одновременно.

require(xlsx) 
eg <- list("one" = data.frame(one = rep(1, 100)), 
      "two" = data.frame(two = rep(2, 200))) 
wb <- createWorkbook() 
for (i in seq_along(eg)) { 
    sheet <- createSheet(wb, names(eg)[i]) 
    addDataFrame(eg[i], sheet) 
} 
saveWorkbook(wb, "eg.xlsx") 

Решение 2 использует XLConnect пакет и будет писать кадры данных в таблице Excel один в то время (с менее обременительными требованиями к памяти компьютера).

require(XLConnect) 
eg <- list("one" = data.frame(one = rep(1, 100)), 
      "two" = data.frame(two = rep(2, 200))) 
for (i in seq_along(eg)) { 
    writeWorksheetToFile(file = "eg.xlsx", data = eg[i], sheet = names(eg)[i]) 
}