Загрузка целевой ссылки html в текстовый файл (Beautiful Soup - Python3)

Question

Я совершенно не знаком с python и изучаю веб-обход.

Я пытаюсь загрузить отдельную целевую ссылку на текстовой странице.
До сих пор мне удалось извлечь все целевые URL-адреса, которые мне нужны, но не имеют представления о том, как загрузить все целевые HTML-тексты в текстовый файл.

Может кто-нибудь дать мне общую идею.

Answer 1

В пределах вашей петли доступа к URL-адресу ссылки используются запросы lib и записываются содержимое в файл. Что-то вроде:

link_data = requests.get(t.attrs['href']).text 
with open('file_to_write.out', 'w') as f: 
    f.write(link_data) 

Возможно, вы захотите изменить имя файла для каждой ссылки.