Какую технологию я должен использовать для своего проекта

Question

Я хочу получить информацию о том, какую технологию мне нужно использовать для написания моего приложения. Требование:

Данные: Главный стол и могут иметь миллионы строк. Данные не будут меняться в этой таблице (но строки добавляются каждый день), но будут и другие таблицы (таблицы транзакций), которые обновляются, вставляются/удаляются, и эти таблицы также будут иметь миллионы строк на основе обработки.

Обработка: В главной таблице есть столбец категорий строк. Мне нужно произвольно вывести строку из каждой категории и обработать ее. Время обработки будет меньше, но выбор случайных строк будет очень высоким, может быть в миллионах. Значит, мне нужно тянуть миллионы строк и обрабатывать каждый час. И мне нужно сохранить обработанные детали в других таблицах.

Можно ли использовать стол для улья с искрами? Я новичок в технологиях hadoop. Но я хочу написать очень масштабируемое приложение. Нужно ли создавать таблицу для каждой категории вместо отдельной основной таблицы? Можно ли поддерживать другие транзакционные таблицы в улье? есть ли альтернатива?

Спасибо миллиону за ваши входы!

Chintu

Answer 1

Если данные вписывается в РСУБД нет необходимости ехать в Hadoop/Спарк и много. Вы получите гораздо более сложное и, скорее всего, более медленное решение (из-за распространения, сериализации и т. Д.) По сравнению с использованием только SQL-кода

Теперь лучше решить вашу проблему и переписать, если и когда ваша проблема изменится в будущем