Многопоточный Python для DB Insert

Question

Привет, ребята, в настоящее время я пытаюсь перенести текущий db в другой, и к этому процессу, к сожалению, относится python. Я смог сделать это однопоточным, но невероятно медленно потребовалось несколько часов, чтобы закончить 1M-данные. Есть ли аналогичный метод в python, например, Java-исполнитель и фьючерсы?

отмечают, что user_list является кусок 1000/1M

for data in user_list: 
    q = """ insert into users(id,name,address,password) 
     Values({id},{name},{address},{password}) 
     """.format(id=data['id'],name=data['name'],address=data['address'],password=data['password']) 
    db.command(q) 

Я думаю, что это было бы гораздо быстрее, если я бегу к примеру 8 параллельных потоков вставляя 8 в то время вместо одной нити делает единственную вставку

Answer 1

Поскольку вы говорите в комментариях, что используете eastdb, посмотрите на SQL Batch.

Использование SQL BATCH не вставляет строки параллельно, но это позволит избежать взаимной поездки для каждой команды.

Вы также можете использовать SQL ПАРТИЮ из Python с использованием библиотеки pyorient:

https://github.com/mogui/pyorient#execute-orientdb-sql-batch

Для вставки данных параллельно вам нужно будет создать несколько соединений, один для каждого потока.