Мы работаем с большим количеством недвижимости, и, в то время как перестраивая процесс импорта данных, я столкнулся с интересной проблемой.Эффективный импорт данных?
Во-первых, как работает наша система (свободно говоря), мы запускаем процесс Coldfusion один раз в день, который извлекает данные, предоставленные поставщиком IDX через FTP. Они подталкивают данные к нам. Что бы они ни посылали нам, это то, что мы получаем.
На протяжении многих лет это оказалось довольно неустойчивым.
Я перестраиваю его с помощью PHP по стандарту RETS, который использует методы SOAP для извлечения данных, которые уже оказались намного лучше, чем у нас.
Когда речь заходит о «обновлении» существующих данных, моя первоначальная мысль заключалась в том, чтобы запрашивать только данные, которые были обновлены. Существует поле для «Модифицировано», в котором говорится о том, когда последнее обновление было обновлено, а код, который у меня есть, будет захватывать любые обновления, обновленные за последние 6 часов (дайте мне окно, если что-то пойдет не так).
Однако, я вижу, что многие разработчики недвижимости предлагают создавать «пакетные» процессы, которые проходят через все списки независимо от постоянно обновляемого статуса.
Это лучший способ сделать это? Или я в порядке, просто хватаю данные, которые, как я знаю, мне нужны? Для меня не имеет большого смысла делать больше обработки, чем необходимо. Мысли?
Извините, по запросу «Я имел в виду использование DMQL в моем запросе. Например, Query() -> SELECT -> (Modified | PhotoModified), который затем переводится с другой стороны, как «дайте мне листинг, в котором изменение или дата изменения фотографии ______», где _____ сегодня - 6 часов. Так что часть обработки на их конце, но я знаю, что вы имеете в виду. – Kevin