Как параллельно reIndex ElasticSearch

Question

Я пытаюсь reIndex ElasticSearch, я использовал API Scan и Bulk, но это очень медленно, как я могу параллельно выполнять процесс, чтобы сделать его быстрее. Мой питон код следующим образом:

actions=[] 
for hit in helpers.scan(es,scroll='20m',index=INDEX,doc_type=TYPE,params= 
    {"size":100}): 
    value= hit.get('_source') 
    idval = hit.get('_id') 
    action = indexAction(INDEX_2,TYPE_2,idval,value) 
    actions.append(action) 
    count+=1 
    if(count%200==0): 
     helpers.bulk(es, actions,stats_only=True,params= 
     {"consistency":"one","chunk_size":200}) 
     actions=[] 

Должен ли я сделать скан многоэтапный процесс, или я должен сделать несколько объемных процессов. Я бил блуждание, как ElasticSearch-Hadoop реализует это. Мой индекс имеет 10 узлов и 20 осколков.

Answer 1

На стороне поиска elastics стороны параллельны. Вы получаете хиты от каждого осколка. Но вы всегда можете добавить некоторые предложения в свой запрос и просто запускать несколько поисков одновременно. Например, диапазон дат или числовой/алфавитный диапазон могут работать для этого.

BTW. Поскольку вы используете python, ваш пробег может варьироваться, делая вещи одновременно с потоками. У меня был хороший опыт для обработки процессов вместо потоков с помощью python. Раньше были проблемы с, например, имеющий глобальную блокировку интерпретатора в python.