У меня есть файл 5GB + TSV. Мне нужно визуализировать содержащиеся в нем данные, но Excel не может открыть файл (видимо, слишком большой). Tableau не работает с TSV-файлами, и Access не работает. Я попытался с редактором 010, который может открыть файл, но не экспортировать его в полезном формате. Как я могу открыть/экспортировать/преобразовать его?Как работать с большим TSV-файлом
Я столкнулся с этой проблемой раньше. Проблема в том, что для открытия файла в Excel вам обычно нужно загрузить весь файл в память. Это нормально, когда файл равен 50 или 500 тыс., Но когда он равен 5 ГБ, система не может загрузить его в память.
Чтобы работать с таким количеством данных, вам действительно нужно загрузить его в базу данных и запустить на нем запросы. Базы данных оптимизированы для работы с большими объемами данных (даже более 5 ГБ).
Трудная часть будет загружать эти данные в базу данных. Вам нужна программа, которая может анализировать ваш файл (читайте по очереди) и вставляйте каждое значение TSV в соответствующий столбец базы данных. Написание приложения для этого может быть лучше. Если вы являетесь пользователем Windows, вы можете использовать C# (http://www.microsoft.com/visualstudio/eng/products/visual-studio-2010-express) и MSSQL Express (http://www.microsoft.com/en-us/download/details.aspx?id=29062). Вот полезный ресурс для синтаксического анализа (Modify CSV Parser to work with TSV files C#). Вот ресурс для вставки строк в MSSQL (How to insert data into SQL Server)
Вы упомянули «TSV-файл» - вы пытались импортировать его в Access после переименования расширения в .txt? – pnuts