Ну, механизм компоновки, который поддерживает IE, называется Trident.
Используемый API рендеринга зависит от версии. Я считаю, что IE8 + использует DirectX 2D для большей части рендеринга.
Предыдущие версии (я полагаю, но не уверен) используют standard GDI+ drawing functions для рендеринга.
Почему вы не делаете небольшое приложение, использующее COM-компонент IE WebBrowser, а затем трассируете вызовы DLL, выполненные приложением?
Edit: Самый простой способ сделать приложение копира (и я не могу поверить, что я говорю это), чтобы сделать небольшое приложение VB6, добавить элемент управления Internet Explorer на форму, и есть кнопка который запускает одностраничную навигацию (используйте действительно простую страницу, желательно локальную, которую вы сделали сами). Запустите это приложение как exe (не в IDE), а затем прикрепите к нему профилировщик, например API monitor, или просто google 'win32 api trace'.
Почему вы хотите знать? Что бы это ни было, это внутренняя деталь реализации, которая может и будет изменяться с версии на версию. Если вы сообщите нам, что вы на самом деле пытаетесь выполнить, возможно, мы можем предложить лучший способ. Все, что вы делаете, не поддерживается. –