База данных для репликации или простых данных передачи

Question

Я попытаюсь описать свою проблему выбора хороших технологий.

У меня есть много машин, которые хранят данные локально в базе данных. И есть одна клиентская машина со своей собственной базой данных. Мне нужно вытащить данные со всех машин и поместить в базу данных клиента. На данный момент я начал внедрять RPC, но я не знаю, хорошая ли его идея. Потому что мне нужно вручную заботиться о каждой таблице. База данных - это SQLite.

Что лучше. Выполнение некоторых вызовов RPC или поиск световой базы данных с репликацией? Может быть, NoSQL db, как MonoDB?

Answer 1

У меня есть аналогичная установка, где у меня есть несколько серверов, которые собирают различную статистику и хранят в базе данных sqlite3. Сочетание их очень просто. У меня есть скрипт python, который подключается к каждому серверу, загружает каждый файл базы данных во временную папку. Затем я открыть первую, и использовать ATTACH для каждого файла, а затем вставьте * для каждой таблицы, чтобы объединить во всех других базах данных в комбинированной базу:

conn = connect('/tmp/database1.sl3'); 
curs = conn.cursor(); 

mergeDatabases(curs, 8); 

def mergeDatabases(curs, j): 
    for i in range(2, j): 
      print "merge in database%d" %i 
      print "ATTACH '/tmp/database%d.sl3' AS foo%d;" %(i,i) 
      curs.execute("ATTACH '/tmp/database%d.sl3' AS foo%d;" %(i,i))  
      curs.execute("insert into db select * from foo%d.db;" %i) 
      curs.execute("insert into vars select * from foo%d.vars;" %i) 

      curs.execute("detach foo%d;" %i)