Как сохранить зависящие от входа горячие данные в регистрах при использовании SIMD-функций

Question

Я пытаюсь использовать встроенные функции Intel SIMD для ускорения программы запроса-ответа. Предположим, что query_cnt зависит от ввода, но всегда меньше, чем число регистров SIMD (т. Е. Для их хранения достаточно регистров SIMD). Поскольку запросы - это горячие данные в моем приложении, вместо того, чтобы загружать их каждый раз, когда это необходимо, я могу сначала загрузить их и всегда держать их в регистре?

Предположим, что запрошены float и AVX256 поддерживается. Теперь я должен использовать что-то вроде:

std::vector<__m256> vec_queries(query_cnt/8); 
for (int i = 0; i < query_cnt/8; ++i) { 
    vec_queries[i] = _mm256_loadu_ps((float const *)(curr_query_ptr)); 
    curr_query_ptr += 8; 
} 

Я знаю, что это не очень хорошая практика, так как есть потенциал накладных расходов загрузки/хранения, но, по крайней мере, есть небольшая вероятность, что vec_queries[i] могут быть оптимизированы таким образом, чтобы они могли быть хранится в регистрах, но я все еще думаю, что это не очень хорошо.

Любые лучшие идеи?

Answer 1

Из примера кода, который вы опубликовали, похоже, что вы просто используете memcpy переменной длины. В зависимости от того, что делает компилятор, и окружающего кода, вы можете получить лучшие результаты только от звонка memcpy. например для выровненных копий с размером, кратным 16B, точка безубыточности между векторным контуром и rep movsb может быть как минимум 128 байтов на Intel Haswell. Ознакомьтесь с руководством по оптимизации Intel для некоторых заметок о внедрении на memcpy и диаграмме размера против циклов для пары разных стратегий. (Ссылки в теге x86).

Вы не сказали, какой процессор, так что я просто предполагаю недавнюю Intel.

Я думаю, вы слишком беспокоитесь о регистрах. Нагрузки, попавшие в кеш L1, чрезвычайно дешевы. Haswell (и Skylake) может выполнять две __m256 нагрузки за такт (и магазин в том же цикле). До этого Sandybridge/IvyBridge может выполнять две операции памяти за такт, при этом максимум одного из них является хранилищем. Или в идеальных условиях (256 бит нагрузки/хранилища) они могут управлять 2x 16B, загруженными и 1x 16B, хранящимися за такт. Таким образом, загрузка/хранение векторов 256b дороже, чем у Haswell, но все же очень дешево, если они выровнены и горят в кеше L1.

Я упомянул в комментариях, что GNU C global register variables может быть возможностью, но в основном в смысле «это технически возможно в теории». Вероятно, вам не нужны несколько векторных регистров, предназначенных для этой цели на протяжении всего времени выполнения вашей программы (включая вызовы функций библиотеки, поэтому вам придется перекомпилировать их).

В действительности просто убедитесь, что компилятор может встроить (или хотя бы видеть при оптимизации) определения для каждой функции, которую вы используете внутри любых важных циклов. Таким образом, он может избежать необходимости проливать/перезаписывать векторные регистры через вызовы функций (так как ABI Windows и System V x86-64 не имеют регистров YMM (__m256), сохраненных в кодах).

См. Agner Fog's microarch pdf, чтобы узнать больше о микроархитектурных деталях современных процессоров, по крайней мере, о деталях, которые можно измерить экспериментально и настроиться.