поиска дубликатов значений полей в elasticsearch

Question

Использование elasticsearch 0.19.4 (я знаю, что это старый, но его то, что требуется в зависимости)

У меня есть поле «переваривать» в индексе elasticsearch - и я хотел бы выполнить запрос, который вернет мне все случаи, когда есть повторяющиеся значения дайджеста. Это можно сделать?

Для записей, имеющих повторяющиеся значения, я хотел бы вернуть другие значения, такие как «url», которые не могут быть дублированы.

Answer 1

Для этого можно использовать Terms Aggregation.

POST <index>/<type>/_search?search_type=count 
{ 
    "aggs": { 
     "duplicateNames": { 
      "terms": { 
       "field": "digest", 
       "size": 0, 
       "min_doc_count": 2 
      } 
     } 
    } 
} 

Это возвратит все значения поля digest, которые возникают, по крайней мере, 2-х документов. Я согласен, что это не соответствует вашему варианту использования, но это может помочь.