Обращение с огромным Excel-файлом

Question

Вам не нужна ваша помощь. Я имею дело с книгой, которая содержит 7000 строк X 5000 столбцов данных на одном листе. Каждый из этих данных должен обрабатываться и вставляться в другой лист. Манипуляции относительно просты, где каждая манипуляция займет менее 10 строк кода (простые умножения и деления с парой Ifs). Тем не менее, файл сбой время от времени и получение различных типов ошибок. Проблема в том, что размер файла. Чтобы преодолеть эту проблему, я пытаюсь несколько подходов

a) Отделите данные и выведите их в разных файлах. Держите оба файла открытыми и берете блок данных куском (обычно 200 строк по 5000 столбцов) и управляйте им и вставляйте его в выходной файл. Однако, если оба файла открыты, то я не уверен, что он исправляет проблему, так как потребляемая память будет одинаковой в любом случае, то есть вместо одного файла, потребляющего большую память, это будет два файла вместе, потребляющих одну и ту же память.

b) Отделите данные и выведите их в разных файлах. Получите доступ к данным в файле данных, пока он все еще закрыт, вставляя ссылки в выходной файл через макрос, манипулируя данными и вставляя их в вывод. Это можно сделать куском куском.

c) Отделите данные и выведите их в разных файлах. Запустите макрос, чтобы открыть файл данных и загрузить кусок данных, скажем 200 строк в память в массив и закрыть его. Обработать массив и открыть выходной файл и вставить результаты массива.

Какой из трех подходов лучше? Я уверен, что есть другие методы, которые более эффективны. Пожалуйста, предложите.

Я не знаком с Access, но попытался импортировать необработанные данные в Access, и это не получилось, потому что это позволило всего 255 столбцов.

Есть ли способ открыть файл, но вымойте его и выйдите из памяти. Затем можно попробовать небольшие вариации, описанные выше и выше. (Боюсь повторное открытие и закрытие будет врезаться файл.)

Посмотрите вперед ваши предложения

Answer 1

Мое предположение с помощью языка сценариев вашего выбора и работы с разложением/состава электронных таблиц в ней.

Я собирал и разлагал электронные таблицы в те дни (в PHP, о позор), и это работало как шарм. Я даже не использовал библиотеки.

Просто возьмите себе xlutils библиотеку для Python и получите грязные руки.

Answer 2

Если вы не хотите покидать Excel, один трюк, который вы можете использовать, состоит в том, чтобы сохранить базовый файл excel в виде двоичного «.xlsb». Это очистит много потенциального мусора, который может быть в файле (все зависит от того, откуда он появился.)

Я просто уменьшил нагрузку на webdata на 99,5% - от 300 МБ до 1,5 МБ - делая это, и теперь различные манипуляции в excel работают как сон.

Другой трюк (из 80-х :)), если вы используете много в клеточных формулах вместо макроса перебрать, заключается в следующем:

1. очередь вычислить прочь.
2. скопировать формулы
3. очередь рассчитывать на, или просто запустить расчет вручную
4. копировать и вставлять специальные стоимостей формул выходов.