«Недостаточно памяти» ошибка Mechanize

Question

Я пытался соскрести некоторую информацию со страницы сайта постранично, в основном, вот что я сделал:

import mechanize 
MechBrowser = mechanize.Browser() 

Counter = 0 

while Counter < 5000: 
    Response = MechBrowser.open("http://example.com/page" + str(Counter)) 
    Html = Response.read() 
    Response.close() 

    OutputFile = open("Output.txt", "a") 
    OutputFile.write(Html) 
    OutputFile.close() 

    Counter = Counter + 1 

Ну, вышеуказанные коды в конечном итоге выбрасывая «Из Memory ", а в диспетчере задач это показывает, что скрипт израсходовал почти 1 ГБ памяти после нескольких часов работы ... как получилось ?!

Кто-нибудь скажет мне, что пошло не так?

Answer 1

Это не утечка памяти, а недокументированная функция. В принципе, mechanize.Browser() коллективно сохраняет всю историю браузера в памяти по мере ее поступления.

Если вы добавили звонок в MechBrowser.clear_history() после Response.close(), ему необходимо устранить неполадку.