Решение для синхронизации данных?

Question

Для некоторых проблем с безопасностью я в окружении, где сторонние приложения не могут получить доступ к моей БД. По этой причине у меня должен быть некоторый сервис/инструмент/скрипт (не знаю, что еще ... я открыт для наилучшего варианта, все еще читаю, чтобы посмотреть, что я буду делать ...) , который позволяет мне генерировать на регулярный (ежедневно, еженедельно, ежемесячно) некоторый файл csv со всеми новыми/измененными записями для определенного приложения.

Я должен быть в состоянии автоматизировать этот процесс, а также экспортировать в любой момент новый файл. Поэтому он должен отслеживать каждое приложение, которое записывает его по-прежнему.

Каждое приложение будет нуждаться некоторые данные в другом формате (CSV/XLS/SQL), также некоторые поля будут необходимы для некоторых приложений, а некоторые нет ... Он должен быть достаточно гибким ...

Что для меня лучший вариант? Создание некоторых пользовательских таблиц для каждого приложения? Основываясь на извлечении измененных данных?

Answer 1

Я думаю, что вам лучше всего здесь, если у вас есть доступ к серверу, чтобы вы могли настроить это, чтобы создать небольшую программу командной строки, которая может выполнить требуемую вам релятивистскую задачу. Языки, подобные жемчугу, хороши для такого рода вещей, которые я действительно верю.

После того, как у вас есть этот «инструмент», вы можете запланировать его через ОС сервера, чтобы запускать любое установленное количество времени. Либо задание расписания для сервера Windows, либо cronjob для Linux-сервера.

Вы также можете (без необходимости настраивать запланированное задание, если не хотите/не хотите), чтобы это маленькое приложение командной строки вызывалось через «CGI», это особый способ разрешить приложения на сервере будет выполняться по желанию веб-пользователя. Если вы включите это, я предлагаю вам добавить какую-то систему блокировки, чтобы ее можно было запускать только так часто и остановить ее пять раз подряд.

EDIT

Вы также можете просто посмотреть в репликации базы данных или добавление только для чтения пользователей. Это экономит много дыр вокруг. Попробуйте найти решение, в котором доза не будет разделена или дублируется. Вы можете настроить пользователей только для доступа к определенным частям системы баз данных определенными способами, такими как данные SELECT