Производительность при загрузке тысяч изображений

Question

У меня есть функция, которая загружает тысячи изображений за раз от стороннего источника. Количество изображений может варьироваться от 2500 до 250 000 за каждый ход. Как вы можете себе представить, этот процесс занимает некоторое время, и я хочу оптимизировать все, что могу.

Как это работает, я беру список путей изображения, прокладываю через них петлю и запрашиваю изображение у третьего лица. В настоящее время, прежде чем я сделаю запрос, я делаю чек, чтобы увидеть, существует ли изображение на сервере ... если это так, оно пропускает этот образ ... если он этого не делает, он загружает его.

Мой вопрос: если кто-нибудь знает, замедляет ли проверка перед загрузкой процесс (или, возможно, ускоряет его)? Было бы более эффективно загружать файл и позволять ему переопределять уже существующие изображения, тем самым вырезая шаг проверки на существование?

Если у кого-либо еще есть советы по загрузке этого объема изображений, они приветствуются!

Answer 1

Реальный ответ зависит от трех факторов:
1: как часто вы сталкиваетесь с уже существующим изображением. Чем реже вы попали, тем менее полезной проверкой является. 2: Задержка места назначения. Является ли место назначения назначения локальным или далеко? если он находится в Индии с задержкой в ​​300 мс (и вероятной высокой потерей пакетов), проверка становится более дорогой относительно загрузки. Это значительно облегчается благодаря интеллектуальному потоку. 3: Ваша пропускная способность/пропускная способность от вашего источника до пункта назначения. Чем выше ваша пропускная способность, тем меньше выгружаете файл дважды.

Если у вас есть вероятность попадания менее 1% для уже существующих изображений, вы не получаете большую прибыль от проверки (max ~ 1%), но если 90% изображений уже существуют, вероятно, стоит проверить, даже если хранилище файлов назначения удалено/удалено. В любом случае это балансирующий акт, но если у вас есть достаточно высокий уровень попадания, чтобы спросить, скорее всего, будет полезно проверить, есть ли у вас файл.

Если изображения, которые у вас уже есть, не удаляются, лучшим способом сделать это, вероятно, будет сохранение базы данных загруженных изображений и проверка списка файлов для загрузки с этой базы данных.

Если это невозможно, поскольку изображения удаляются/переименовываются или что-то в этом роде, минимизируйте влияние проверки путем ее пронизывания. Разница в производительности между foreach и Parallel.ForEach для операций с высокой задержкой огромна.

И, наконец, 250 000 изображений может быть большим количеством данных, если они являются большими изображениями. Возможно, быстрее отправить физические носители (т. Е. Поместить данные на жесткий диск и отправить диск).

Answer 2

Выполнение

System.IO.File.Exists(pathName); 

намного дешевле, чем делать загрузку. Таким образом, это ускорит процесс, избегая времени для загрузки.