понимание базовой инфраструктуры программного обеспечения stackoverflow

Question

Интересно, что все базы данных/сочетание переполнения стека баз данных используются под ними, управляя обширной информацией профиля пользователя по различным вертикалям.

Как и в случае с социальными сетевыми сайтами, такими как twitter и facebook, Big Data managemnet выполняется через hadoop. Переполнение стека также обрабатывает такие большие объемы данных?

Как насчет индексации информации, является частью решений stackoverflow?

Будет действительно интересно понять решение, развернутое на всемирно известном техническом форуме.

Answer 1

Эта статья дает представление в каком StackOverflow-х архитектуры выглядит ок марта 2011 года: http://highscalability.com/blog/2011/3/3/stack-overflow-architecture-update-now-at-95-million-page-vi.html

На высоком уровне, его приложения .NET, который использует сервер MS SQL для базы данных, Redis для кэширования, HAProxy для нагрузки балансировки и целого ряда инструментов и размещенных на обоих серверах Windows и Linux-серверах (ubuntu + centos).

Это не похоже, что у них было какое-либо использование hadoop во время этой статьи, но это могло измениться. Они также могут делать что-то другое/настраиваемое для заданий типа map/reduce или вообще не нуждаются в подобном. С деликатесом SQL-серверы можно масштабировать довольно далеко, без необходимости опереться на «большие данные» игрушек. Это особенно актуально, если вы можете получить большую часть своих данных из своего слоя кеширования.