Я использую nvidia GTX1080 gpu (8GB) для запуска Inception model на тензорном потоке, когда я устанавливаю batch_size = 16 и image_size = 400, после того, как я запустил программу, мой ubuntu14. 04 будет автоматически перезагружаться.система автоматически перезагружается, когда модель тензорного потока слишком велика
Удостоверьтесь, что это не проблема блока питания. Я наблюдал странные периодические перезагрузки на моей машине разработки. Когда я увеличивал размер ввода (размер партии, больше NN), скорость перезагрузки также возрастала. Оказалось проблемой PSU. Быстрая проверка заключается в том, чтобы ограничить потребление энергии GPU и посмотреть, не исчезнет ли это поведение. Например, вы можете ограничить мощность до около 150 Вт с этой командой (вам нужен права SUDO):
sudo nvidia-smi -pl 150
Я отслеживал проблему вниз неисправный блок питания. Он имел достаточную емкость в соответствии со спецификацией, и ограничение потребления энергии графическим процессором за счет запуска «nvidia-smi -pl 150» вообще не помогло. Вероятно, он не мог справиться с потреблением энергии.
В любом случае, после того, как я сменил источник питания с «Corsair CX750 Builder Series ATX 80 PLUS» на «Cooler Master V1000», проблема исчезла. См. Подробности моего расследования в TensorFlow GitHub issue.
Изменение настроек мощности GPU будет работать, если у вас есть блок питания с достаточной мощностью (WATTS). Я ограничил мощность моего GPU (TITANX) макс. 200 Использование ВАТС,
sudo nvidia-smi -pl 200
ПРИМЕЧАНИЕ. Каждый GPU имеет ограничения по мощности, например. Предел мощности TITANX составляет от 125 Вт до 300 Вт. Поэтому не забудьте дать значение между этими ограничениями.
Возможно, вы захотите добавить значения batch_size и image_size, которые, похоже, вызывают проблему, чтобы получить соответствующие ответы. – fvu
Какова конфигурация системы? – titus
Тензорный поток должен вызывать ошибку Out Of Memory, а не перезагружать систему. – suiyuan2009