Автоматическая загрузка файлов с определенного сайта

Я - очень новый программист. На веб-сайте предоставляется множество zip-файлов, которые мне нужны. Он будет обновляться/загружать новые файлы ZIP за неделю. Что мне нужно сделать, так это написать программу/скрипт, чтобы делать автоматическую загрузку из Интернета в неделю. Например, это веб-ссылка http://www.google.com/googlebooks/uspto-patents-applications-yellowbook.html (вы можете видеть там много почтовых файлов)Автоматическая загрузка файлов с определенного сайта

поэтому мой вопрос:

Какой сценарий мне нужно написать (у меня не было опыта написания сценария, так что вы можете предложить?), Поэтому я могу программно скачать zip-файл?
Если первый вопрос был решен, то как мне заставить его загружать новый файл zip, загружаемый еженедельно?

Должен ли я использовать DOM ... unix? если да, я сделаю некоторые исследования по тату, чтобы заставить его работать.

источник

2011-02-08 DEN

Меняют ли имена почтовых файлов каждую неделю или они постоянны? –

DOM не имеет ничего общего с UNIX. – DoctorLouie

thx для ответа, drlouie и Michael ... http://www.google.com/googlebooks/uspto-patents-applications-yellowbook.html, как ссылка, вы можете видеть zip-файлы там .. имя будет быть изменен в зависимости от даты его загрузки. – DEN

Почему wget? Вы можете использовать HtmlAgilityPack для анализа веб-сайта и извлечения всех ссылок. Затем вы просто перебираете все URL-адреса и загружаете файл, используя C# на всем протяжении. Вы также можете открыть процесс wget из C#, если хотите.

С другой стороны, это можно легко сделать с помощью bash и sed/awk и grep в сочетании с wget.

В любом случае вам понадобится cron, чтобы планировать работу на еженедельной основе.

WebClient Client = new WebClient(); 
Client.DownloadFile("http://www.csharpfriends.com/Members/index.aspx", "index.aspx");

источник

2011-02-08 06:33:37

quandary, can cron работает в окнах? – DEN

Есть порт windows (cronw.sourceforge.net), но почему бы не просто использовать планировщик Windows, когда вы находитесь в Windows? –

Если вы работаете в Linux/UNIX, используйте «wget» в сценарии для загрузки файлов и «cron», чтобы запланировать сценарий загрузки.

источник

2011-02-08 06:12:58

Имена меняются каждую неделю - скрипинг экрана также будет задействован, чтобы получить список ссылок не будет? –

ya, справа. так что wget все еще может работать? – DEN

Возможно, вам нужно будет создать список URL-адресов, которые вы хотите сначала «wget». –

Я также очень эффективно использовать JSoup (http://jsoup.org/) в приложениях Java/Scala, чтобы очистить данные из веб-страниц.

источник

2011-02-11 07:38:26

Автоматическая загрузка файлов с определенного сайта

ответ

Смежные вопросы