Amazon Elastic Map Сокращение Hadoop Вакансии

Question

Im new для веб-сервисов и карт Amazon Сократите штат. Моя основная проблема заключается в том, что я пытаюсь сделать академический проект, в основном, я обрабатываю большой кучу изображений, и мне нужно обнаружить в них определенный объект. После того, как мне понадобится Карта, заполненная объектами из ключа = averageRGB и значением = BufferedImage обнаруженного объекта. Мне удалось сделать это приложение однопоточным, и это не было проблемой. Мои вопросы: если я создаю карту, уменьшаю работу, могу ли я достичь Карты, упомянутой ранее? Если это возможно ... я могу использовать карту, чтобы что-то сделать с ней, прежде чем работа закончится, и я получу окончательные результаты? И последний вопрос ... Если я загружу свои образцы данных в одну папку в ведро S3, будет ли Elastic Map Reduce Amazon позаботиться о том, чтобы разделить эти данные на кластере и распараллелить процесс, или мне придется разделить данные самостоятельно кластер?

Извините мое невежество, но я не могу найти правильные ответы в сети.

Thanks

Answer 1

Да, вы можете использовать карту, как вы упомянули.

В редукторе снова вы получите карту для ключа, и там вы сможете делать больше вычислений до отправки окончательных результатов.

, когда вы загружаете данные в s3bucekt. Вы можете использовать путь как s3n для ввода. Также укажите путь s3bucket для сохранения вывода с помощью s3n

Когда вы предоставляете входной путь с использованием s3n, EMR автоматически загружает файлы на узлы EMR, разделяет их и распределяет по всем узлам. Для этого нам не нужно ничего делать.