Может ли автоматизация веб-сайтов быть выполнена в Python?

Question

Я новорожденный программист, все еще программирующий из книги на моей Alt + Tab. Одна из первых программ, которые я хочу создать, - помочь моей маме в ее работе. Мне нужно знать, могу ли я использовать Python для его создания.

Необходимо:

1. Go онлайн и войти в с учетом/пасс.

2. Выполните поиск с определенными критериями (использование поисковой системы сайта)

3. Просмотреть все результаты и выбрать только самые новые из них.

4. Отсортировать их.

5. Сообщите мне, чтобы новые добавления были замечены в тот момент, когда они размещены на веб-сайте.

Из того, что я вижу, сайт говорит: .cgi в конце.

Я знаю, что python может подключаться, загружать текст со страницы и сортировать необходимую информацию, но может ли она войти в систему, использовать поисковую систему и выбрать нужные мне параметры?

Я не хочу пропускать свой учебный процесс, но я так серьезно отношусь к этому проекту. Я готов удержать Python и начать изучать язык, который может это сделать!

Я буду очень признателен за ваше руководство! Спасибо за ваше время!

AJ

Answer 1

Python так же способен сделать это, как и любой другой язык, однако вы будете хотеть смотреть на вещи, как httplib и понимать печеньем и запросов HTTP. Так что да, может.

Это станет вашим лучшим другом: http://docs.python.org/

Answer 2

Я думаю, вы должны взглянуть на проект Mechanize. Это автономный браузер на Python, так что вы можете легко представить формы и вещи такого характера и поддерживать сеанс. Затем вы захотите использовать lxml.html или BeautifulSoup для проверки документа (хотя сам механизм содержит некоторые инструменты для проверки документов).

Answer 3

Да, это возможно. В частности, вы захотите использовать что-то вроде mechanize для обработки веб-ролика.

Answer 4

Если я хорошо понимаю, идея вашей программы - сделать сеанс автоматического просмотра. Так что да, это возможно. Не важно, в каком запрограммированном веб-сайте (cgi, php и т. Д.). Все, что вам нужно, - отправить данные через post/get (например, настоящий браузер) и обработать возврат (regexp и т. Д.).

Успехов

Answer 5

Чтобы добавить блестящий список пакетов комментировали многие, вы можете использовать Selenium тоже.

Answer 6

Я хотел бы указать, что в зависимости от того, на каком сайте вы находитесь, может быть более эффективный способ (возможно, веб-сервис), чем очищать данные со страницы и работать с механизатором/селеном, чтобы делать то, что вы хотите. Если вы находитесь в Интернете, инструменты драйвера браузера - это молотки, и они будут получать винты в дереве, но иногда другой инструмент будет работать лучше.

Answer 7

Вы можете сделать это с большим удовольствием с помощью визуального инструмента irobotsoft. Проверьте быстрые демонстрации здесь: http://www.irobotsoft.com/help/, затем задавайте вопросы на своем форуме.