Загрузите файл с ftp-сервера, пока файл еще не загружен

Question

Мне нужно автоматизировать вытягивание (получение) файлов из большого разнообразия в разных службах FTP, распространяемых по разным доменам, и получать файлы на 24 часа в сутки.

Моя проблема заключается в том, что службы FTP, в общем, позволяют загружать файл, пока файл еще не загружен. This - одна из ссылок на проблему, которую можно найти в Интернете.

Это может привести к незаполненному загрузке файла.

Я пытаюсь воспроизвести ситуацию, используя сервер Windows и FTP-клиент FileZilla, и получил половину файла, как ожидалось, поэтому для предотвращения этого не было безопасного механизма. Так что, может быть, просто нет способа предотвратить это со стороны клиента.

Так что мой вопрос в том, есть ли какой-то якорь, что-то, что может проверить мой клиент, чтобы убедиться, что ftp-сервер уже является совокупностью файла.

Мне было трудно поверить, что протокол устарел, поскольку ftp не обеспечивает безопасный механизм, поэтому я должен что-то пропускать, или это по дизайну.

Обновление Я разрабатываю автоматизацию на C#, но любой технический совет может помочь. Решение нужно петь дураком, потому что это важно для бизнеса.

update2 Загрузка осуществляется разными клиентами, поэтому невозможно установить соглашение со всеми.

Update3 Этот вопрос похож на вопрос How to detect that a file is being uploaded over FTP, но имеет дополнительное ограничение, представленный на Update2.

Answer 1

Я создал следующее автоматизированное решение, основанное на материалах ответов на этом сообщении и других, для решения моей проблемы, как есть, что означает: вытягивать файлы с разных FTP-серверов из разных брендов в сценарий, где параллелизм очень нравится.

Использование сигнальных файлов или других механизмов, предлагаемых в этом сообщении, потребовало бы, чтобы клиенты-клиенты меняли способ взаимодействия с нами, поэтому это решение для большинства случаев, но не решение для моей конкретной проблемы.

Итак, мое решение было:

1. просканировать папку разбора имен файлов, данных и размер каждого файла.
2. отбросьте любой новый файл. Только если дата файла старше, чем несколько минут, считается загруженной. Повреждения могут привести к сбою этого правила, предотвращая параллелизм.
3. Переименуйте файл. Это не получается, выпрыгните. Этот метод, основанный на параллелизме, оказался на данный момент на 100% точным.
4. загрузить переименованный файл.
5. проверить размер перевода и посмотреть, соответствует ли атрибут размера (проверка паранойи)
6. удалите удаленный переданный файл с ftp-сервера.

Это решение позволяет интенсивно обследовать папки ftp.

Answer 2

Я считаю, что с клиентской стороны вы не можете многое сделать.

В лучшем случае вы можете повторно проверить размер файла через некоторое время и посмотреть, было ли оно изменено и какие шаги требуется для получения нового контента.

Answer 3

FTP не был разработан как протокол для обмена данными в реальном времени между двумя клиентами с использованием FTP-сервера. Клиенту не сообщается о каком-либо уведомлении, если файл, предназначенный для загрузки, все еще загружен и не является их указанием при перезаписывании файла, который кто-то в настоящее время загружает этот файл. Это не ошибка проектирования в протоколе FTP. Реальная проблема заключается в том, что вы пытаетесь использовать протокол с той целью, для которой он не был предназначен.

Answer 4

Так у вас есть такой сценарий:

[Publisher] --uploads file--> [FTP Server] --downloads file--> [You] 

У вас есть издатель, который при загрузке файлов на FTP-сервер, а также скачать с того же FTP-сервер. Также могут быть разные экземпляры FTP-сервера, один для загрузки и один для загрузки, глядя на тот же каталог, но это не сильно меняется.

Теперь, когда вы смотрите на тот же каталог, вы, загрузчик, видите файлы, как только создается запись в файловой системе - когда первые байты издателя могут даже оставаться в полете.

Есть три основных решения для этого:

• Дозорные файлы, написанные на FTP-сервер или плагин. Либо «$ originalFileName.lock», который существует во время загрузки файла, либо «$ originalFileName.done», который записывается, когда загрузка успешно завершена.
• Перемещение файлов в разные каталоги: FTP-сервер перемещает файлы из каталога загрузки, где издатель записывает в каталог загрузки, из которого вы читаете.
• Наименее стабильный: проверьте размер и время файла. Когда вы начинаете загрузку, помните временную метку и размер файла, который сообщает сервер FTP. Когда вы закончите загрузку файла, сравните свои значения с запоминающимися. Когда они не совпадают, возобновите загрузку с того места, где вы закончили, чтобы получить оставшиеся байты, объявление inifitum. Вы можете, например, определить «Файл успешно загружен, если он не вырос в размере в течение пяти минут», но это не очень удобно - и это может привести к тому, что вы подождите пять минут.