Архитектура для поисковой системы на основе распределенного хранилища ключей/значений?

Question

Кто-нибудь знает какие-либо ссылки, документы, презентации или сообщения в блогах, которые описывают широкомасштабную полнотекстовую поисковую систему, основанную на распределенном хранилище ключей/значений?

Меня особенно интересует организация индекса. Что такое структура данных? Где и как хранятся словари и публикации? Каков рабочий процесс для обработки запросов? Как обрабатываются запросы таким образом, что нет необходимости тратить огромные объемы данных по сети?

Полагаю, что Блекко построен таким образом. Я хотел бы знать, что они, или их конкуренты, действительно сделали.

Answer 1

Мне неизвестно сообщение в блоге или статью, которая отвечает на ваш вопрос Точно. Тем не менее, вот некоторые ресурсы, которые, я думаю, имеют отношение к вашему вопросу, и я надеюсь, что они помогут вам решить вопрос.

Во-первых, лейтмотивы Джеффа Дина на эволюцию архитектуры Google,

• http://research.google.com/people/jeff/WSDM09-keynote.pdf
• http://www.cs.cornell.edu/projects/ladis2009/talks/dean-keynote-ladis2009.pdf

Далее, есть с открытым исходным кодом поисковой системы на верхней части КВ магазин под названием Lucandra - как следует из названия, Lucene на вершине Кассандры, оба являются проектами Apache.

• http://blog.sematext.com/2010/02/09/lucandra-a-cassandra-based-lucene-backend/

Для того, чтобы понять, как работает Lucandra, проверить реализацию и презентации, которые были сделаны, что говорить о том, как Lucene индексы данных Cassandra.

Аналогичным образом вы также можете увидеть, как сосуществуют Lucene и HBase.Вот ссылка на Apache фиксации/патч, который объединяет поиска слой, используя один на другой,

• http://mail-archives.apache.org/mod_mbox/hbase-issues/201104.mbox/%3C1865485299.35732.1302031145872.JavaMail.tomcat@hel.zones.apache.org%3E

Другая подобная статья для Redis

• http://playnice.ly/blog/2010/05/05/a-fast-fuzzy-full-text-index-using-redis/

Далее, проверьте эксплуатационные требования для масштабируемых поисковых систем

• http://www.ir.iit.edu/~abdur/publications/p435-chowdhury.pdf

Лаборатория СНГ имеет отличные научно-исследовательские работы по данной теме, что вы должны проверить,

• http://cis.poly.edu/westlab/publications.html

Для общих предположений поисковых систем, которые могут сделайте выше, вот ссылки на книги, которые помогут,

• http://ir.iit.edu/~ophir/pub.html
• http://www.search-engines-book.com/
• http://www.ir.uwaterloo.ca/book/
• http://nlp.stanford.edu/IR-book/information-retrieval-book.html

Answer 2

Google MapReduce, вероятно, вас очень заинтересовало бы.