Sqoop экспорт в mysql очень медленно

Question

Я пытаюсь экспортировать некоторые данные в mysql, используя SQOOP. Хотя я указываю этот параметр --num-mappers 12, он выделяет только один обработчик для работы над этим заданием. И это очень медленно. Как я могу убедиться, Sqoop работа становится более картографами, а не 1.

Answer 1

Количество картографов определяется на основе этих критериев

• Размер файла в HDFS
• Формат файла и является ли она поддерживает расщепляющееся
• щепляемых и неразрываемым, если файл сжат

Выполнить эту команду hadoop fs -du -s -h <path_of_the_file>, чтобы получить размер файла. Также проверьте значения параметров min split size и max split size.