Я пытаюсь создать трансформацию интеграции данных Pentaho, которая импортирует данные из файла excel, но Pentaho не поддерживает файлы с таким количеством строк. Он может импортировать данные только из файла с 20000 строк. Я думаю, потому что это технология с открытым исходным кодом.ETL: извлечение из excel
Я хочу найти решение или заменить Pentaho другой технологией бизнес-аналитики из ваших предложений.
Pentaho и Talend - это интеллектуальные инструменты ETL и интеграции данных. Во всяком случае, их открытый источник - это стимул к использованию и силе.
Вы можете легко прочитать более 20 тыс. Строк из Excel, используя любой инструмент. Если задание встречается с проблемами памяти, подумайте об увеличении памяти, выделенной для задания. Значение по умолчанию Talend - 1 МБ.
Одна работа Talend, над которой я работал, недавно читает файл Excel (XLSX), который часто содержит более 80 тыс. Строк на одной вкладке.
Это неправда. PDI может считывать столько данных, сколько у вас есть. Нет никаких ограничений. Файлы Excel ограничены 65536 строками, так что это ваш лимит. Возможно, вы что-то сделали не так !? – fenix
SO не предлагает другие технологии. Для этого есть и другие сайты. У меня были проблемы с памятью с использованием большого XLSX. Может быть, вам нужно сначала конвертировать в XLS или CSV? – bolav
Возможный дубликат [Извлечь данные из больших файлов excel] (http://stackoverflow.com/questions/34254033/extract-data-from-large-fils-excel) – bolav