Я следую the tutorial, чтобы переделать начальную модель, адаптированную к моей собственной проблеме. У меня около 50 000 изображений примерно в 100 папках/категориях.Начальная переподготовка тензорного потока: создание файлов с узкими местами
Запуск этого
bazel build tensorflow/examples/image_retraining:retrain
bazel-bin/tensorflow/examples/image_retraining/retrain --image_dir /path/to/root_folder_name
на Amazon EC2 g2.2xlarge Я надеялся, что весь процесс будет достаточно быстро (быстрее, чем на моем ноутбуке), но узкое место файлы создание занимает долго. Предполагая, что уже было 2 часа, и было создано всего 800 файлов, мне понадобится более 5 дней (!!), чтобы просто создать файлы ...
Предполагается, что это будет быстрее, чем этот ритм (~ 400 файлы узких мест, созданные за час) из-за GPU?
Как ускорить процесс?
Через 23 часа было проанализировано 12 000 изображений. Должен ли я ждать 5 дней? – Julian
Графические процессоры должны делать это быстрее, да, но у вас много изображений. Вы уверены, что тензорный поток распознает GPU? Несмотря на это, вы можете распараллелить это на многих машинах, поскольку значения узких мест зависят только от изображений. –
@AlexandrePassos на самом деле так: GPU не распознается базелем. Я потратил весь день, чтобы понять, как это исправить, и после выполнения некоторых проблем и решений (спасибо github tensorflow!) Мне удалось это сделать. Теперь рутм - 400 изображений в минуту вместо часа! – Julian