Документы автоматически удаляются в Elasticsearch после вставки

Question

Я создал индекс в Elasticsearch со следующими настройками. После вставки данных в индекс с использованием Bulk API число docs.deleted постоянно увеличивается. Означает ли это, что документы автоматически удаляются, если да, то что я сделал неправильно?

PUT /inc_index/ 
{ 
    "mappings": { 
    "store": { 
     "properties": { 
     "title": { 
      "type": "string", 
      "term_vector": "with_positions_offsets_payloads", 
      "store" : true, 
      "index_analyzer" : "fulltext_analyzer" 
     }, 
     "description": { 
      "type": "string", 
      "term_vector": "with_positions_offsets_payloads", 
      "store" : true, 
      "index_analyzer" : "fulltext_analyzer" 
     }, 
     "category": { 
      "type": "string" 
     } 
     } 
    } 
    }, 
    "settings" : { 
    "index" : { 
     "number_of_shards" : 5, 
     "number_of_replicas" : 1 
    }, 
    "analysis": { 
     "analyzer": { 
     "fulltext_analyzer": { 
      "type": "custom", 
      "tokenizer": "whitespace", 
      "filter": [ 
      "lowercase", 
      "type_as_payload" 
      ] 
     } 
     } 
    } 
    } 
} 

Выход "GET /_cat/indices?v" является таким, как показано ниже, "docs.deleted" непрерывно растет:

health status index pri rep docs.count docs.deleted store.size pri.store.size 
green open inc_index 5 1 2009877  584438  6.8gb   3.6gb 

Answer 1

Если объемные операции также включают в себя обновления для существующих документов (вставка/обновление для документов с тем же идентификатором) , то это нормально. В Elasticsearch, обновление является комбо операции удаления + вставок: https://www.elastic.co/guide/en/elasticsearch/guide/current/update-doc.html

И удаленные документы, которые вы видите есть документы отмеченных как удаленные. Когда происходит слияние сегментов Lucene, удаленные документы будут физически удалены с диска.