Tensorflow running slow on iOS

Question

Я запускаю camera iOS example, распределенный тензорным потоком, и он довольно медленный: 4-5 секунд на вывод на iPhone6, работающий по модели inception5h.zip.

Насколько я понимаю, это модель GoogleNet, которая имеет легкую взвешенность, а код iOS вытаскивает свой первый выходной уровень, который составляет примерно половину от размера полной модели. Я запускал ту же модель с интерфейсом python на моем macbook, который занимает 30 мс за вывод.

Так что мне интересно, почему это примерно в 150 раз медленнее работает с той же моделью на iOS, что и на macbook. Кажется, я делаю некоторые очевидные вещи неправильно.

Answer 1

Это еще недостаточно хорошо документировано, но вам нужно передать флаги оптимизации в скрипт компиляции, чтобы получить быструю версию библиотеки. Вот пример:

tensorflow/contrib/makefile/compile_ios_tensorflow.sh "-Os"

Это должно привести вашу скорость до много, неофициально я вижу второй или менее GoogLeNet на через 5S.