Эффективный импорт данных PostgreSQL DB

Question

Я только что разработал базу данных Pg и вам нужно выбрать способ заполнения моей БД данными, данные состоят из файлов txt и csv, но обычно могут быть любыми типами файлов, содержащих символы с разделителями, m программирование в java, чтобы данные имели одинаковую структуру (есть много разных типов файлов, и мне нужно найти, что представляет собой каждый столбец файла, чтобы я мог связать его с столбцом моей БД). Я думал о двух пути:

• Преобразование файлов в один тот же тип файла (JSON), а затем получить БД регулярно проверять файл в формате JSON и импортировать его содержимое.

• Непосредственно подключитесь к базе данных через JDBC, отправьте строки в БД (мне все еще нужно создать файл резервной копии, содержащий то, что было вставлено в БД, поэтому в обоих случаях создается и записывается файл).

Что бы вы выбрали с эффективностью времени? Я как бы соблазн использовать первый, так как было бы проще обрабатывать json-файл в БД. Если у вас есть другие предложения, которые также приветствуются!

Answer 1

JSON или CSV

Если у вас есть свобода преобразования данных либо в CSV или в формате JSON, CSV является один выбор. Это связано с тем, что вы сможете использовать COPY FROM для загрузки больших объемов данных сразу в postgresql.

CSV поддерживается COPY, но JSON нет.

Непосредственно вставлять значения.

Этот подход подходит, если вам нужно только вставить несколько (или даже несколько тысяч) записей, но не подходит для большого количества записей, потому что он будет медленным.

Если вы выберете этот подход, вы можете создать резервную копию с помощью COPY TO. Однако, если вам кажется, что вам нужно создать файл резервной копии с помощью java-кода. Выбор формата в формате CSV означает, что вы можете загружать навалом, как описано выше.