RDMA tranfer без памяти отображения

Question

У меня есть дополнительные процессы, которые должны обмениваться файлами по сети IB. Затем файлы будут использоваться другими процессами.

Технологический процесс заключается в следующем:

1. Создать файлы в/DEV/ГИМ
2. Изменение размера файлов соответственно
3. Карта файлов в процессе В.М.
4. Регистрация mmaped район с ibv_reg_mr
5. Инициировать RDMA для передачи данных

Оказалось, что узким местом в моей схеме является ib_reg_mr (я измерял отдельно регистрацию памяти 3Gb, занимая 1,78 секунды). Кажется, что он вызывает отображение области памяти в адресное пространство процессора. К сожалению, эта операция не требуется, поскольку принимающий процессор не использует эту память. Память должна отображаться и использоваться другими процессами позже.

Поэтому я подумал, что было бы разумно обойти измененные таблицы страниц для процесса приема, но я не смог найти, если это вообще возможно.

Не могли бы вы мне посоветовать, если есть способ инициировать передачу данных в области памяти без отображения его для обработки адресного пространства?

Answer 1

Насколько я знаю, нет никакого способа, чтобы зарегистрировать область памяти без его сопоставляется с таблицы страниц процесса. Во время регистрации страницы привязаны так, что отображение не изменяется, пока устройство обращается к страницам, и это требует сопоставления их с процессом. С помощью пейджинга по требованию вы можете отложить отображение страниц в процессе до тех пор, пока HCA фактически не использует их, но в конечном итоге они будут отображаться.

Answer 2

Вместо этого попробуйте FRWR (запрос на работу с быстрой памятью). Это API, который делает регистрацию памяти через ibv_post_send глагол - гораздо более быстрый способ:

http://lists.openfabrics.org/pipermail/general/2008-May/050235.html

http://lxr.free-electrons.com/source/include/rdma/ib_verbs.h?v=3.2#L734