Контейнер для представления таблицы БД в памяти

Question

Предположим, у меня есть (MySQL) DB. Я хочу, чтобы автоматизировать процесс обновления этой базы данных с помощью приложения, что будет:

1. Import from DB 
2. Calculate updated data 
3. Export back updated data 

Время важно, я не хочу, чтобы импортировать то время как рассчет, на самом деле я не хочу никаких запросов, то ; Я хочу импортировать (а) таблицу (ы) в целом, , затем вычислить. Итак, мой вопрос: если строка представлена ​​экземпляром класса, то в какой контейнер я помещаю эти объекты?

A? Множество? Как насчет упорядоченного или неупорядоченного? Просто используйте то, что кажется лучшим для моего дела в соответствии с большими временами O? Любые специальные ловушки, чтобы попасть сюда? Разве этот случай не отличается от данных, «рожденных в памяти», поэтому единственные вещи, которые можно учитывать помимо накладных расходов, это «я хочу, чтобы поиск или вставка были быстрее»?

Возможно, лучший маршрут - использовать какой-то ORM, но, допустим, я не хочу.

Я видел, что некоторые приложения используют boost::unordered_set, и я подумал, если есть конкретная причина для ее использования ...

Я использую JDBC-подобный интерфейс, как разъем (libmysqlcpp).

Answer 1

Я не думаю, что контейнер, который вы должны использовать, можно угадать с таким количеством информации. В основном это зависит от размера данных, типа и алгоритма, который вы будете запускать.

Но моя главная забота о таком дизайне заключается в том, что он быстро задушит вашу сеть, вашу базу и базу данных. Если у вас есть большой стол, вы:

• выбрать все данные из таблицы
• извлечь все данные по сети
• процесса на вас часть машины (некоторые столбцы?) Или полноту данные
• передать данные по сети
• обновление ваших строк (или удалить/заменить возможно)

Почему вы не рассмотреть возможность работы непосредственно на mysq l сервер? Вы создаете свой user defined function, который работает с прямыми данными, сохраняя сеть и даже используя тот факт, что mysql построен для обработки гигантского количества данных, количество, которое контейнер с памятью не построен для обработки.