Перемещение документов из SOLR в elasticsearch

Question

Я работаю над перемещением всех документов в SOLR в elasticsearch с использованием кода Python с Pysolr.

С pysolr я могу получить доступ только к 499 документам, там есть способ получить доступ ко всему набору документов.

Answer 1

Доступ к документам можно получить в наборах 499 с использованием параметра смещения и размера в API pysolr, я нашел это после проверки Pysolr api более подробно. Пример кода приведен ниже:

limit = 499 
offset = 0 
while True: 
    kwargs = {'sort':'id DESC'} 
    response = source.search(q='projectid:774 AND source:FACEBOOK', start=offset, rows=limit, **kwargs ) 
    print(len(response.docs)) 

    offset = offset + limit 

    if len(response.docs) == 0: 
     break 

    # Do neccessary Operations 
    pass