Webcrawler/Webposter bot?

Question

Я надеялся получить некоторую легкую информацию для своего приложения для средств массовой информации, и я хотел бы очистить некоторые веб-сайты. Я ранее строил веб-браузеры с Nokogiri и Evereverize gem (ruby).

Однако на этот раз я хотел бы получить информацию, которая сканируется и помещается на другой сайт (моя википедия). Я хочу иметь возможность войти на сайт и опубликовать полученную информацию. Кто-нибудь сделал это раньше или знал какой-то способ сделать это? Хотелось бы увидеть путеводитель по «размещению» на сайте с рубином, но я не боюсь попробовать python или какой-то другой язык.

Спасибо за любые предложения

Answer 1

Как вы знакомы с уже Ruby, мое предложение заключается в использовании Mechanize. Его довольно простой в использовании и всеобъемлющий для обработки сообщений и файлов cookie. Например, механизированный вызов для входа на сайт может быть примерно таким:

## Lets assume a is the Mechanize.new object. 

## requires for https sites 
a.agent.http.verify_mode = OpenSSL::SSL::VERIFY_NONE 

# its the login page and I am browsing it 
page = a.get('https://example.com/login/?next=%2F') do |login_page| 
    # I am posting the login credentials using the form 
    home_page = login_page.form_with(:action => "/login/?next=%2Flogin%2F") do |form| 
     form.email = email 
     form.password = password 
    end.submit 
end 

В Python его тоже похоже. Вы также можете использовать mechanize. Также он имеет другие библиотеки, такие как requests, urllib2 и т. Д., Которые очень просты в использовании. Более того, Python имеет огромное количество примеров в Интернете по сравнению с Ruby. Может быть, число разработчиков на Python слишком велико.

Answer 2

Mechanize является вашим другом, вы можете найти примеры на этом сайте: http://mechanize.rubyforge.org/EXAMPLES_rdoc.html