Каков наилучший способ синхронизации больших объемов данных по всему миру?

Question

У меня есть много данных, чтобы синхронизировать более 4 или 5 сайтов по всему миру, около половины терабайта на каждом сайте. Это изменяется (добавляется или изменяется) примерно на 1,4 гигабайта в день, и данные могут меняться на любом из четырех сайтов.

Большой процент (30%) данных - это дублированные пакеты (возможно, упакованные JDK), поэтому решение должно включать способ сбора факта, что на локальной машине есть такие вещи, лежащие на локальной машине и захватить их вместо загрузки с другого сайта.

Контроль версий - это не проблема, это не кодовая база.

Мне просто интересно, есть ли там какие-либо решения (желательно с открытым исходным кодом), которые приближаются к такому веществу?

Мой детский скрипт с использованием rsync больше не режет горчицу, я хотел бы сделать более сложную, интеллектуальную синхронизацию.

Благодаря

Edit: Это должно быть UNIX на основе :)

Answer 1

Вы пробовали Unison?

У меня были хорошие результаты. Это, в основном, более разумный rsync, который, возможно, является тем, что вы хотите. Существует список сравнения инструментов синхронизации файлов here.

Answer 2

У вас есть много вариантов:

• Вы можете попробовать настроить реплицируется DB для хранения данных.
• Используйте комбинацию rsync или lftp и пользовательские скрипты, но это вас не устраивает.
• Использование Git операций РЕПО с макс сжатий и синхронизации между ними, используя скрипты
• Поскольку объем данных достаточно велик, и, вероятно, важно, сделать что-либо некоторые заказные разработки по нанять эксперта;)

Answer 3

Звучит как работа для BitTorrent.

Для каждого нового файла на каждом сайте создайте файл семпла bittorrent и поместите его в централизованный доступный в Интернете каталог.

Каждый сайт затем загружает (через bittorrent) все файлы. Это позволит вам использовать общий доступ к пропускной способности и автоматическое повторное использование локальной копии.

Актуальный рецепт будет зависеть от ваших потребностей. Например, вы можете создать 1 семестр bittorrent для каждого файла на каждом хосте и установить время модификации семенного файла таким же, как время модификации самого файла. Поскольку вы будете делать это ежедневно (ежечасно?), Лучше использовать что-то вроде «make» для (повторного) создания файлов семян только для новых или обновленных файлов.

Затем вы копируете все файлы семян со всех хостов в централизованное местоположение («tracker dir») с опцией «перезаписывать только если новый». Это дает вам набор семян торрента для всех новейших копий всех файлов.

Затем каждый хост загружает все файлы семян (опять же, с «перезаписывать при более новой настройке») и запускает загрузку bittorrent на всех из них. Это загрузит/перезагрузит все новые/обновленные файлы.

Rince и повторять, ежедневно.

BTW, не будет «загрузки из себя», как вы сказали в комментарии. Если файл уже присутствует на локальном хосте, его контрольная сумма будет проверена, и загрузка не будет выполнена.

Answer 4

Похоже, работа для Foldershare

Answer 5

Как о чем-то вдоль линий Global Filesystem Red Hat, так что вся структура разбита на каждом участке на несколько устройств, вместо того, чтобы все реплицируются в каждом месте?

Возможно, коммерческая сетевая система хранения данных, например, от LeftHand Networks (отказ от ответственности - я понятия не имею о стоимости и не использовал их).

Answer 6

Вы пробовали патч detect-renamed для rsync (http://samba.anu.edu.au/ftp/rsync/dev/patches/detect-renamed.diff)? Я сам не пробовал, но задаюсь вопросом, обнаружит ли он не только переименованные, но и дублированные файлы. Если он не обнаружит дублированные файлы, то, я думаю, можно было бы изменить патч, чтобы сделать это.

Answer 7

Отъезд супер гибкий .... это довольно круто, не использовали его в крупномасштабной среде, но на 3-узловой системе казалось, что он отлично работает.