Визуализация DeepLearning CNN Layers

Question

Я столкнулся с экспериментальным использованием Deep Learning с использованием Tensorflow, https://github.com/asrivat1/DeepLearningVideoGames. Автор подготовил CNN для игры в понг. Для меня все выглядит просто, кроме визуализации, чтобы проиллюстрировать значение Q в слоях CNN. Вот видео youtube, https://www.youtube.com/watch?v=W9jGIzkVCsM. Любой может объяснить, как построены графики (отображение тепловой карты)?

Thx.

Answer 1

Я выкопал код и нашел this file от предыдущего коммита, но его больше нет в основной версии (странно).

Внутри вы найдете код для визуализации, важный lines является:

self.l1.imshow(np.reshape(np.rollaxis(c1, 2, 1),(20,20*32)),aspect = 6) 
self.l2.imshow(np.reshape(np.rollaxis(c2, 2, 1),(5,5*64)),aspect = 12) 
self.l3.imshow(np.reshape(np.rollaxis(c3, 2, 1),(3,3*64)),aspect = 12) 

Здесь они берут карту активации размера (20, 20, 32) и построить все активации. Они изменяются до (20, 20*32), чтобы построить все карты функций (всего 32) бок о бок. Чтобы он вписывался в экран, они используют соотношение сторон 6, которое сжимает изображение по горизонтали.

Чтобы подвести итог, они строят все карты функций бок о бок и сжимают его, чтобы вписаться в экран. Я бы посоветовал избежать изменения соотношения сторон и вместо этого использовать небольшие блоки для каждой активации (всего 32 блока) и, например, организовать блоки в формате 8x4.