Почему ожидается float4 выполнить float в префиксной сумме

Question

В OpenCL в действии Мэтью Скарпино комментирует, что переключение его префикс-суммы с 32-битного поплавка на 128-битный набор из 4 поплавков приводит к значительному улучшению производительности, почти в 4 раза Быстрее!

При запуске приложения CH10/уменьшения, то он будет выполняться как reduction_scalar и reduction_vector ядра. В дополнение к проверке результатов , он измеряет время, затраченное на выполнение каждого ядра. На моей системой получены следующие результаты:

redu_scalar: проверка прошла. Общее время = 489031

уменьшение_vector: проверка прошла. Не Общее время = 136157

Аналогичное требование сделано GPU Gems, ссылаясь на то, что, как представляется, конечно, проект из класса, который больше не доступен.

Мы используем метод, предложенный Дэвидом Lichterman, который обрабатывает восемь элементов на поток вместо двух загрузив два float4 элементов на поток, а не два поплавок элементов (Lichterman 2007).

http://http.developer.nvidia.com/GPUGems3/gpugems3_ch39.html

Одним из объяснений является то, что запросы памяти на резьб идет вверх, но это не имеет смысла для меня, как я ожидаю того же общее количество запросов к памяти выпускается, возможно, в результате чего того же общего представление.

В качестве альтернативы каждый варп выдает запрос, а затем переходит в режим сна. В случае float4 он просыпается в 4 раза больше данных, но в случае float данные не кэшируются, поэтому последующие потоки также должны будут спать и ждать новых данных. С другой стороны. Я ожидаю, что память будет транслироваться по мере того, как потоки внутри варпа пробуждаются.

Мне интересно, могут ли некоторые эксперты прослушивать и предоставить последовательное объяснение, объясняют, почему float4 выполняет значительно быстрее, чем float, с точки зрения доступа к памяти или вычисления.

Answer 1

В игре есть две вещи. Один из них более эффективно использует пропускную способность памяти, а другой - улучшенное отношение вычислений к транзакциям памяти с последующим улучшением скрытия задержек.

Для уточнения аспекта пропускной способности памяти, рассмотрит, например, случай GPU NVIDIA: аппаратные разработаны таким образом, что он может обеспечить 128 байт (от 128-байтового выравнивания сегмента а) в одной транзакции к деформироваться; это справедливо как для архитектур с кешем L1 (кэширование составляет 128 байт), так и в старых архитектурах без кеша. Следовательно, при использовании float s в более широком типе данных вы используете не более половины доступной полосы пропускания, без каких-либо причин.

Таким образом, только переключение с float на float2 будет более или менее удвоить пропускную способность, поскольку такое же количество операций с памятью будет загружать в два раза больше данных.Кроме того, для каждой транзакции рабочие элементы теперь будут иметь вдвое больше данных для работы: это облегчает скрытие латентности загрузок (вам нужно половину рабочих элементов, которые вам нужны, всего лишь float с).

Улучшение от float2 до float4 значительно менее резкое, но вы все равно увидите некоторые. Это связано с тем, что графические процессоры предназначены для загрузки 128-битных данных для рабочих элементов (подумайте о 4 проективных координатах или 4 цветовых компонентах (RGBA)). Аппаратно, это не более эффективно, чем загрузка 64-битных данных (вам обычно потребуется в два раза больше транзакций, чтобы фактически предоставить float4 с, чем вам необходимо было предоставить float2). Однако аппаратное обеспечение предназначено для ввода нагрузки 128-битных данных с помощью одной команды (что приводит к двум транзакциям за кулисами). Это более эффективно, особенно когда в цикле, поскольку это приводит к меньшему количеству итераций цикла для обработки одного и того же количества данных (помните, что в цикле следующая команда загрузки зависит от предыдущего увеличения индекса, поэтому вы эффективно избавившись от пары зависимых команд.)

Обратите внимание, что переход к float8 или float16 будет не улучшить ситуацию дальше, так как аппаратные средства не предназначен для тех типов данных (на GPU), а на самом деле эти виды нагрузок, в общем, разрушают коалесценцию или ухудшают использование кегля, что приводит к ухудшению производительности.