Ограничения cudaHostAlloc

Question

У меня есть система под управлением Windows Server 2012. Система имеет 128 ГБ памяти и 6 графических процессоров Nvidia K10 с 8 ГБ памяти.

Я использую закрепленную память хоста для всех своих устройств (около 47 ГБ, 12 * 3,92 ГБ на устройство). Причина, по которой я хочу использовать закрепленную память, заключается в том, что мое приложение работает примерно 12-15 раз, так как я могу использовать переносы асинхронной памяти.

У меня есть память 3,92 ГБ на каждом устройстве. Если я использую cudaHostAlloc и пытаюсь выделить 3,92 ГБ, я получаю cudaErrorMemoryAllocation, когда пытаюсь выделить память хоста для второго устройства. Я использую cudaHostAlloc с флагом по умолчанию cudaHostAllocDefault.

Если вызов cudaHostAlloc с 3,79 ГБ (вместо 3,92), то все работает так, как ожидалось, поэтому я могу выделить 3,79 ГБ фиксированной памяти для всех 12 устройств.

Я не понимаю этого ограничения, и я попытался использовать VirtualAlloc, VirtualLock и cuMemHostRegister, но я столкнулся с той же проблемой при вызове cuMemHostRegister. Я убедился, что рабочего набора достаточно, и VirtualAlloc, VirtualLock комбо работает с указанным рабочим набором. cudaHostAlloc, похоже, не заботится о том, какой рабочий набор я использую. Рабочий набор по умолчанию работает до тех пор, пока я не пытаюсь использовать более 3,79 ГБ памяти на устройство с помощью cudaHostAlloc.

У кого-нибудь есть объяснение этого поведения?

Answer 1

Я думаю, проблема в том, что закрепленная память заблокирована. «Хранилище с блокировкой страниц - это ограниченный ресурс, поэтому распределение в памяти с блокировкой страниц начнется с ошибкой задолго до распределения в доступной для просмотра памяти. Кроме того, по , уменьшая объем физической памяти, доступной операционной системе для подкачки, потребляет слишком большая память с блокировкой страниц снижает общую производительность системы ». Вы можете найти более подробную информацию в 3.2.4 в руководстве по программированию Cuda