Медленная вставка на PostgreSQL с использованием JDBC

Question

Я работаю над системой, которая загружает данные из облачной системы в локальную базу данных (PostgreSQL, MySQL, ...). Теперь у меня проблема с производительностью PostgreSQL, потому что для ввода данных требуется много времени.

Число столбцов и размер данных могут отличаться. В примере проекта у меня есть таблица с ок. 170 столбцов. Существует один уникальный индекс - но даже после падения индекса скорость вставки не изменилась.

Я использую драйвер JDBC для подключения к базе данных, и я вставляю данные партиями по 250 строк (используя NamedParameterJdbcTemplate).

Мне потребовалось ок. 18 секунд для ввода данных на Postgres. Тот же набор данных на MySQL занял у меня всего лишь. Это огромная разница - откуда она взялась? Является ли драйвер Postgres JDBC медленным? Может ли он быть настроен каким-то образом, чтобы сделать его быстрее? Я что-то пропустил? Разница между Postgres и MySQL настолько велика. Любые другие идеи, как сделать это быстрее?

Я сделал образец проекта, который доступен на Github - https://github.com/varad/postgresql-vs-mysql. Все происходит в LetsGo class методом «run».

Answer 1

Кажется, что это сочетание Spring «ошибка» и водитель «ошибка» ,

Весна пытается определить тип данных столбца каждый раз, когда вызывается setValue(). Он делает это, вызывая PreparedStatementMetaData.getParameterMetaData()

Это, видимо, вызывает «подготовить» заявление будет отправлено в базу данных, которая сама по себе является довольно быстро (никогда не более 1мс на моем ноутбуке), но, как он вызывается для каждого столбца для каждая строка суммируется до большого количества времени (она вызывается для каждого значения, не равного нулю, что приводит к примерно 23 000 вызовов)

В некоторой степени это скорее ошибка Spring, а ошибка драйвера, поскольку не кэширование параметра мета данные на самом деле не имеют смысла (по крайней мере, на мой взгляд). Драйвер JDBC MySQL не поддерживает getParameterMetaData(), и Spring знает об этом, и поэтому эта «ошибка» не отображается с MySQL, потому что Spring никогда не вызывает этот метод.

Я не уверен, что поведение драйвера JDBC Postgres можно классифицировать как ошибку, но было бы неплохо, если бы драйвер выполнял кэширование этих метаданных после первого вызова.

Spring можно убедить не получить утверждение мета-данные через свойство spring.jdbc.getParameterType.ignore

Итак, положив:

System.setProperty("spring.jdbc.getParameterType.ignore", "true"); 

перед тем строку:

LetsGo letsGo = new LetsGo(); 

это поведение является отключен.

Имущество должно быть установлено до Весна инициализирована.

Когда я делаю это с вашим образцом проекта, вставка работает в 500 мс на моем ноутбуке.

---

Редактировать

После просмотра комментария относительно использования драйвера Postgres-NG я копал в источники «официального» водитель и водитель NG, а драйвер NG кэширует метаданные параметров после первого вызова, тогда как официальный драйвер не объясняет, почему использование драйвера NG намного быстрее (без отключения вызова весной)

Answer 2

попробуйте использовать драйвер pgjdbc-ng, а затем сравните ваши результаты.

Он доступен здесь: http://impossibl.github.io/pgjdbc-ng/

Answer 3

В строке подключения, добавьте следующее:

&useServerPrepStmts=false&rewriteBatchedStatements=true 

Answer 4

Надеюсь, вы используете пул соединений DB. Вы можете попробовать C3P0. Spring (JDBCTemplate) не обеспечивает реализацию пула соединений.