Геометрическая кластерная кластеризация с elasticsearch

Question

У меня есть несколько сотен тысяч документов в индексе elasticsearch с соответствующими широтами и долготами (хранится как типы geo_point). Я хотел бы иметь возможность создавать визуализацию карты, которая выглядит примерно так: http://leaflet.github.io/Leaflet.markercluster/example/marker-clustering-realworld.388.html

Итак, я думаю, что я хочу запустить запрос с ограничивающей рамкой (т. Е. Границы границ, на которые смотрит пользователь) и вернуть сводку кластеров в этой ограничительной рамке. Есть ли хороший способ достичь этого в elasticsearch? Возможно, новая стратегия индексирования? Что-то вроде geohash могло бы работать, но оно кластерировало бы вещи в прямоугольную сетку, а не на произвольные полигоны, основанные на плотности точек, как видно из приведенного выше примера.

---

@kumetix - Хороший вопрос. Я отвечаю на ваш комментарий здесь, потому что текст слишком длинный, чтобы добавить другой комментарий. Параметр geohash_precision будет определять максимальную точность, с которой агрегирование geohash сможет вернуться. Например, если для параметра geohash_precision установлено значение 8, мы можем запустить агрегирование geohash в этом поле с точностью не более 8. Это будет, согласно reference, возвращать результаты, сгруппированные в полях geohash размером примерно 38,2 м x 19 м. Точность 7 или 8, вероятно, была бы достаточно точной для отображения веб-карты, подобной той, которую я упомянул в приведенном выше примере.

Насколько geohash_precision влияет на внутренности кластера, я предполагаю, что этот параметр хранит строку geohash длиной < = geohash_precision внутри geo_point. Допустим, у нас есть точка в Статуе Свободы: 40.6892, -74.0444. Geohash12 для этого: dr5r7p4xb2ts. Установка geohash_precision в geo_point 8 будет внутренне хранить строки: д др DR5 dr5r dr5r7 dr5r7p dr5r7p4 dr5r7p4x

и geohash_precision 12 будет дополнительно внутренне хранить строки: dr5r7p4xb dr5r7p4xb2 dr5r7p4xb2t dr5r7p4xb2ts

, что приводит к меньшему количеству накладных расходов на хранение для каждой точки geo_point. Установка geohash_precision на значение расстояния (1 км, 1 м и т. Д.), Вероятно, просто сохраняет его при ближайшем значении точности длины строки geohash.

Примечание: Как рассчитать geohashes с помощью питона

$ pip install python-geohash 
>>> import geohash 
>>> geohash.encode(40.6892,-74.0444) 
'dr5r7p4xb2ts' 

Answer 1

В Elasticsearch 1.0, вы можете использовать новую Geohash Grid агрегацию.

Что-то вроде geohash может работать, но оно кластеризует вещи в прямоугольную сетку, а не на произвольные полигоны, основанные на плотности точек, как видно из приведенного выше примера.

Это правда, но агрегация сетки geohash хорошо обрабатывает разреженные данные, поэтому вам нужно всего лишь очков на вашей сетке, и вы можете достичь чего-то очень похожего на пример на этой карте.

Answer 2

Попробуйте это:

https://github.com/triforkams/geohash-facet

Мы используем его, чтобы сделать на стороне сервера кластеризацию, и это очень хорошо.

Пример запроса:

GET /things/thing/_search 
{ 
    "size": 0, 
    "query": { 
     "filtered": { 
      "filter": { 
       "geo_bounding_box": { 
        "Location" 
        : { 
         "top_left": { 
          "lat": 45.274886437048941, 
          "lon": -34.453125 
         }, 
         "bottom_right": { 
          "lat": -35.317366329237856, 
          "lon": 1.845703125 
         } 
        } 
       } 
      } 
     } 
    }, 
    "facets": { 
     "places": { 
     "geohash": { 
      "field": "Location", 
      "factor": 0.85 
     } 
     } 

    } 
}