Могут ли «неродные» указатели повредить производительность кеша?

Question

Насколько я могу судить, аппаратные предварительные считыватели будут, по крайней мере, обнаруживать и получать постоянные шаги через память. Кроме того, он может monitor data access patterns, что бы это ни значило. Что привело меня к удивлению, ли предварительные данные аппаратного обеспечения когда-либо основывали свои решения на фактических данных, хранящихся в памяти, или на основе поведения, которое демонстрирует программа?

Причина, по которой я прошу, состоит в том, что иногда я использую «неродные» указатели в качестве указателей. Простым примером этого будет предопределенный массив данных и небольшие целые числа, индексирующие этот массив вместо указателей. Если мне нужно хранить много таких «указателей», экономия в памяти может быстро складываться и, в свою очередь, косвенно улучшать производительность кеша, используя меньше памяти.

Но, насколько я знаю, это может помешать работе аппаратных префишеров. Или нет!

Я могу себе представить, реалистичный или нет, блок предварительной выборки, который анализирует строки кэша, которые входят в кеш-память L1 для собственных указателей-указателей и запускает их выборку в L2 или какую-то такую ​​вещь. В этом случае мой умный трюк экономии памяти внезапно кажется менее решительным.

Итак, что делают современные аппаратные prefetchers, действительно? Могут ли они быть сработаны «неродными» указателями?

Answer 1

Предварительная выборка связанных структур данных (LDS) по-прежнему является известной проблемой в компьютерной архитектуре. Я не знаком с каким-либо современным процессором, который на самом деле это делает, но теоретически это возможно. Там было несколько статей академии на протяжении многих лет, которые предлагают некоторые вариации в течение:

1. Выделенный HW, который может определять адреса типа значения в пределах принесенных строк кэша, и выдавать предварительную выборку по этим адресам.
2. Техника, основанная на компиляторе, где компилятор распознает зависимости структуры данных и вставляет предварительные выборки или другие подсказки.

Эти методы могут быть затронуты вашей техникой (первая будет бесполезной, вторая может работать, если компилятор достаточно умный).

Конечно, вам нужно будет фактически запускать на такой машине, так что это теоретически, и вам не придется менять свою практику, если она отлично работает для вас, но это показывает, что профилирование должно быть определенным для каждого микро-архитектуры и системы, и то, что помогает вам в одном случае, может быть менее эффективным на другом.
В целом - не просто доверяйте процессору делать или не выполнять некоторую оптимизацию (если только это не документировано), всегда проверяйте, получите ли вы ожидаемое поведение.

Кстати, обратите внимание, что даже если HW видит содержимое памяти, он все еще находится в виртуальном адресном пространстве - HW все равно должен будет сделать какой-то перевод на физический адрес, чтобы использовать его, поэтому в смысла там не должно быть никаких дополнительных накладных расходов.

Некоторые библиография:

• Compiler-Directed Content-Aware Prefetching for Dynamic Data Structures
• Dependence Based Prefetching for Linked Data Structures
• Guided Region Prefetching: A Cooperative Hardware/Software Approach

Answer 2

Аппаратный предварительный выборщик не видит указателей, он видит адреса памяти. Не важно, откуда пришел адрес, или какой тип он имел в написанной вами программе на C++. Он просто смотрит, на какой адрес процессор сказывается, чтобы читать или писать.

Так что нет, индексирование в массив не будет пугающей новой вещью, с которой CPU никогда не сталкивался раньше.