Архитектура распределителя памяти C++

Question

Мне нужно написать Hoard allocator для C++ под Linux. Хотя алгоритм довольно прост, я не понимаю, где (и как) хранить данные распределителя (например, кучи)

Вот как я его вижу: распределитель не является процессом, это набор функций, который любое приложение может использовать. У каждого приложения есть свои кучи.

1. Что происходит, когда приложение запускается?
2. И как распределитель узнает, что кучи уже созданы?
3. Как распределитель создает, хранит и уничтожает (при закрытии приложения) кучи?
4. Когда функция вызывается, как узнать, в каком потоке (или на каком процессоре) она работает?

Answer 1

1. Наверное, не так много происходит во время запуска приложения, если Распределитель не предназначен и подключил в код запуска приложения, чтобы превентивно запросить некоторую память от операционной системы.
2. Кучи на самом деле не созданы. Система выделения отключается и запрашивает операционную систему для некоторой памяти, когда она нуждается в ней - либо для ее первоначальной настройки, либо позже, когда ей необходимо дополнительно выполнить запрошенное распределение. В unix-подобных системах часто используемый системный вызов называется sbrk. (Строго говоря, в linux sbrk является библиотечной функцией для системного вызова brk - это может быть или не быть важным отличием для вас.)
3. Распределитель получает память из операционной системы, используя упомянутый выше вызов sbrk. После этого он сам справится с этой памятью. Когда приложение выходит, операционная система восстанавливает память - она ​​знает, что она раздавала через вызовы sbrk, поэтому она знает, какую память ему нужно вернуть.
4. Практически никогда не имеет значения, на какой поток или процессор работает данный код: если вы объясните, в чем заключается ваш вопрос, я попытаюсь ответить.

Answer 2

Что вы подразумеваете под «write Hoard allocator»? Кто-то уже написал этот распределитель. Вы пытаетесь использовать от C++? Внутренняя разработка Emery Berger's Hoard описана довольно подробно в белом документе Hoard: масштабируемый распределитель памяти для многопоточных приложений. Все, что не отвечает, всегда можно решить, прочитав источник или связавшись с автором. Я был бы удивлен, если нет списка рассылки.

Answer 3

Что происходит, когда приложение запускается?

Когда приложение запускается, распределитель инициализирует себя. Вы можете сделать это при первом вызове своего распределителя, если хотите.

И как распределитель узнает, что кучи уже созданы?

Я не уверен, что следую этому вопросу. Если вы говорите о кучах, которыми управляет код, который использует этот самый распределитель, он обнаруживает, что он создает записи отслеживания, когда он создает кучи. Если вы говорите о кучах в других процессах или создаете другие распределители, все равно, поскольку он не может использовать эти кучи в любом случае.

Как распределитель создает, хранит и уничтожает (при закрытии приложения) кучи?

Как правило, у вас есть низкоуровневый и высокоуровневый распределитель. Низкоуровневый распределитель просто получает необработанные куски памяти из операционной системы. Точный механизм специфичен для платформы. Высокоуровневый распределитель управляет кучами, и он получает память для хранения структур кучи из низкоуровневого распределителя.

Когда функция вызывается, как узнать, в какой строке (или на каком процессоре) она работает?

Вы можете узнать, какой поток содержит данные, зависящие от потока, или путем вызова функции «get thread ID» для конкретной платформы. Что касается процессора, он очень специфичен для платформы, и к моменту его получения информация может быть устаревшей. У большинства платформ есть такая функция - просто помните, что вы можете использовать ее только как оптимизацию (чтобы уменьшить конфликт блокировок или улучшить скорость атаки кеша). Критически, вы не можете использовать его для обхода блокировки, потому что поток может перемещаться из одного процессора в другой в любое время.

Честно говоря, распределение памяти, обеспечивающее хорошую производительность и переносимое по платформам, действительно является случаем тяжелого волшебства. Если вы не являетесь экспертом в этой области, маловероятно, что вы сможете разработать распределитель, обеспечивающий производительность и стабильность, необходимые для производственного приложения.