Какую технологию использовать для агрегирования информации из Интернета?

Question

Какая технология использует такие компании, как SeoMoz, для объединения большого количества информации из Интернета и создания собственного индекса ссылок - то же самое касается Google и поисковых систем, я думаю! Я предполагаю, что это намного сложнее, чем PHP и завиток?

Answer 1

Возможно, вам понадобится использовать движок индекса поиска с открытым исходным кодом, такой как Solr. См. Эту вики: http://en.wikipedia.org/wiki/Apache_Solr