Как переопределить тайм-аут базы данных при импорте данных?

Question

Когда я нажимаю «загружать файлы данных» с сайта, он говорит, что файл будет доступен для 5 минут.

Если я попытаюсь импортировать файл в python, используя URL-адрес через 5 минут, я получу ошибку.

Поскольку я загружаю многолетние данные из более чем 900 сайтов, я не могу нажимать «загружать файлы данных» каждые 5 минут на каждый день каждого сайта.

Я хотел бы выяснить способ остановить ссылки от тайм-аута, и любые идеи очень ценятся!

P.S. Это специфическая ошибка, я получаю:

HTTP Status 404 -/база-браузер/открытый/ тип отчета Статус сообщение/база-браузер/открытый/ описание запрошенный ресурс (/ база-браузер/открытый /) недоступно. Apache Tomcat/5.5.27

PPS Если я никогда не нажал «файлы данных скачать», в первую очередь, я просто изменить дату в URL от 2015-02-01 до 2014-02-01, например, есть ли способ доступа к файлу?

Answer 1

Это не похоже на тайм-аут базы данных как таковой; похоже, у них есть скрипт, который создает временный файл, дает вам пять минут, чтобы загрузить его, а затем удаляет файл.

Очевидным решением было бы позвонить в

http://sid.stanford.edu/database-browser/retrieve?starttime=2015-02-01T00.00.00&endtime=2015-02-02T00.00.00&res=1000x200&TZ=GMT&mss=true&sss=true&goes=true&goesFlareStrength=C1.0 

(с соответствующими параметрами GET замещенными),

разобрать полученный HTML, чтобы увидеть, какие файлы он произвел (может быть 1 ко многим), затем возьмите файл/s перед тем, как он/они исчезнут.

Это может быть легко автоматизировано с помощью модулей requests и beautifulsoup4.

С другой стороны, почему бы вам не связаться с кем-нибудь и узнать, как лучше получить доступ к данным? Было бы намного удобнее просто попросить пару сгоревших DVD.