Curl сохранить только если нет 404

Я пишу программу python для загрузки некоторых фотографий учеников в моей школе.Curl сохранить только если нет 404

Вот мой код: `

import os 
count = 0 
max_c = 1000000 
while max_c >= count: 
    os.system("curl http://www.tjoernegaard.dk/Faelles/ElevFotos/"+str(count)+".jpg > "+str(count)+".jpg") 
    count=count+1

Проблема заключается в том, что я только хочу так сохранить JPG, если изображение существует на сервере (не 404), а так как я не» t все имена изображений на сервере, я должен отправить запрос для всех изображений от 0 до 1000000, но не все изображения между 0 и 1000000 существует. Поэтому я хочу только сохранить изображение, если оно существует на сервере. Как это сделать (ubuntu)?

Спасибо заранее

источник

2012-01-06 Theadamlt

import urllib2 
import sys 

for i in range(1000000): 
    try: 
    pic = urllib2.urlopen("http://www.tjoernegaard.dk/Faelles/ElevFotos/"+str(i)+".jpg").read() 
    with open(str(i).zfill(7)+".jpg") as f: 
     f.write(pic) 
    print "SUCCESS "+str(i) 
    except KeyboardInterrupt: 
    sys.exit(1) 
    except urllib2.HTTPError, e: 
    print "ERROR("+str(e.code)+") "+str(i)

должен работать, 404 генерирует исключение

источник

2012-01-06 10:57:41 sleeplessnerd

Ugh, не используйте '+', как это, ее непитонический. Используйте '% s' и такие. – ismail

Я нахожу, что синтаксис% является громоздким, а «.format() не делает его лучше. Поэтому я даже не удосужился подчиниться богу, данному закону питоничности в небольших сценариях. – sleeplessnerd

yup, синтаксис «+» обескуражен в основном из-за проблем с производительностью и безопасностью; если ни одна из них не вызывает беспокойства, кого это волнует. –

-1

Самый простой способ, я думаю, было бы использовать wget вместо curl, который будет отбрасывать 404 ответов автоматически.

источник

2012-01-06 10:56:01 FatBusinessman

Я хотел бы предложить, используя библиотеку urllib предоставленной питона для вашей цели.

count = 0 
max_c = 1000000 
while max_c >= count: 
    resp = urllib.urlopen("http://www.tjoernegaard.dk/Faelles/ElevFotos/"+str(count)+".jpg") 
    if resp.getcode() == 404: 
     //do nothing 
    else: 
    // do what you got to do. 

    count=count+1

источник

2012-01-06 11:05:26 RanRag

Вы можете использовать "-f" ARG на провал бесшумно (без ошибок outputing HTTP), например:

локон -f site.com/file.jpg

источник

2012-11-02 19:10:58

спасибо, что ответили на реальный вопрос! работает угощение. –

Именно то, что я искал! –

Это старый, но я обнаружил, что в bash вы можете использовать --fail, и он будет молчал. Если страница является ошибкой, она НЕ будет загружаться ...

источник

2015-01-05 10:43:59 Rodrigo

Curl сохранить только если нет 404

ответ

Смежные вопросы