распределенного хранения и обработки блобы платформы

Question

Пожалуйста, советы распределенной платформы или архитектура, которая позволяет иметь кластер узлов, который хранит и обрабатывает сгустки и имеет следующие ограничения и требование:

• Blobs должен быть обработан на в- летать, по просьбе клиента (желательно http). Время отклика должно быть меньше 100 мс. Алгоритм обработки BLOB занимает 30-50 мс (включая случайное считывание с 9 ТБ RAID5). Таким образом, платформа не должна содержать более 50 мс служебных данных.
• Оригинальный blob должен быть обработан на тем же физическим сервером, где он хранится. В противном случае сеть станет узким местом.
• Надежность должна достигаться за счет избыточности на сервере (с настраиваемым уровнем резервирования).
• При добавлении узлов в кластер платформа должна перераспределять капли на вновь добавленные серверы.
• Алгоритмы обработки блоха написаны на C#, их нужно просто повторно использовать, платформа должна это допускать.
• Платформа должна разрешать установку на частных серверах (облако не применяется).
• Отлично, если платформа оконная.

Answer 1

Антон, вы можете попробовать Microsoft HDInsight, но первое и второе ограничение слишком сильное (возможно).