Когда данные достаточно велики, чтобы использовать Hadoop?

Question

Мой работодатель запускает кластер Hadoop, и поскольку наши данные редко превышают 1 ГБ, я обнаружил, что Hadoop редко необходим для удовлетворения потребностей нашего офиса (это не большие данные), но мой работодатель, похоже, хочет можно сказать, что мы используем наш кластер Hadoop, поэтому мы активно изыскиваем данные, которые нуждаются в анализе, используя наш большой причудливый инструмент.

Я видел несколько сообщений о том, что ничего, кроме 5 тб, не должно использовать хауоп. Каков магический размер, где Hadoop становится практическим решением для анализа данных?

Answer 1

Существует не что-то вроде волшебного размера. Hadoop - это не только количество данных, но и ресурсы и обработка «стоимости». Это не одно и то же одно изображение, которое может потребовать большого количества памяти и процессора, чем разбор текстового файла. И haoop используется для обоих.

Чтобы оправдать использование Hadoop вам нужно ответить на последующие вопросы:

• Является ли ваш процесс может работать в одной машине и завершить работу вовремя?
• Как быстро ваши данные растут?

Это не одно и то же одно время отчитываться 5TB, чтобы генерировать отчет, чем читать 1 ГБ десять раз в секунду от клиента, обращенного к API. Но если вы еще не сталкивались с такими проблемами раньше, очень вероятно, что вам не нужно использовать hadoop для обработки вашего 1GB :)