Как быстро SQOOP может переходить из РСУБД в Hadoop?

Question

Может кто-нибудь сказать мне, как быстро SQOOP может передать 2 миллиарда записей за один раз. И я знаю, что он должен быть быстрым, потому что sqoop запускается параллельно, где будут создаваться некоторые входы и некоторый файл Output на Hadoop. но я хочу знать детали скорости передачи данных MapReduce объемом 2 миллиарда записей за один раз.

Answer 1

Вам необходимо понять пункты, ответственные за более быструю передачу данных из РСУБД в Hadoop.

• Количество картопостроителей:

  Увеличение количества картографов увеличит вашу скорость, потому что она делит задачу на части и выполняет импорт параллельно.

• Сбалансированная нагрузка на Картостроители:

  Вам нужно разделить на столбец, который является однородным (предпочитают целое число). Это даст сбалансированную нагрузку всем картографам, и передача будет быстрее.

• Количество соединения с RDBMS:

  Вы не можете просто слепо увеличить количество картографов (например, 100 или более). Ваша РСУБД должна разрешать эти параллельные соединения, иначе это будет узким местом со стороны РСУБД.

• Используйте --Direct режим:

  Если прямой разъем обеспечивается sqoop для конкретной СУБД, вы должны использовать его. Это сделает передачу быстрее.

---

В двух словах, sqoop достаточно быстро, чтобы Tranfer миллиардов записи просто держать эти моменты в вашем уме во время записи команды импорта.