Масштабирование упражнений на практике

Question

Я пытался найти в Интернете некоторые упражнения для практических методов масштабирования (memchached, SQL Optimization, sharding dbs), но я мог найти только описания этих методов, а не какой-либо проект, на котором их можно было попробовать.

Эта ссылка с slides on scaling techniques, является интересной, поскольку она подводит итоги некоторых инструментов для достижения масштабируемости достаточно хорошо.

Существует ли сайт-проектор для такого рода мероприятий? Или, по крайней мере, некоторые упражнения (например, загружаемый сайт ASP.NET/PHP с очевидными замедлениями, проблемы параллелизма, тонкие ошибки) для людей, чтобы попытаться научиться бороться с этой проблемой?

Answer 1

Возможно, было бы интересно взломать Wordpress. Их кеширующие плагины заботятся о многих проблемах масштабирования, но было бы здорово написать собственный плагин или взломать источник, чтобы сократить SQL-запросы или кешировать статические страницы. Если вы что-то придумаете, убедитесь, что остальная часть сообщества знает!

Answer 2

Слайды Джорджа, безусловно, являются хорошей основой для работы. Обратите внимание, что он не говорит о конкретной технике или технологии; скорее он обсуждает более общие архитектурные и дизайнерские решения, которые помогут вашему шкале приложений в целом.

Я лично считаю, что такое высокоуровневое мышление было бы гораздо более ценным, чем индивидуальные методы оптимизации. Возможно, вы могли бы взять известное веб-приложение и взломать его до тех пор, пока он не масштабируется на нескольких машинах? Здесь может быть очень полезным кластер из дешевых, low-power EC2 machines. Быстрое использование существующего или нового приложения для правильной работы на нескольких машинах было бы фантастическим упражнением.

Контр-интуитивно, а не как можно больше работать на одной машине, я бы сказал, что было бы гораздо более образовательным, чтобы одно и то же приложение запускалось на нескольких машинах.

Как только у вас есть это, имеет смысл перейти на более конкретные улучшения, такие как отдельный статический контентный уровень, memcached, DB sharding, пакетные операции и так далее.

Что касается конкретных проектов для работы, как насчет клонирования Twitter, Flickr или The Pirate Bay. В прошлом у всех были проблемы с производительностью и масштабированием.

Answer 3

Я нахожу, что сайт High Scalability имеет некоторые интересные идеи.