Как бы вы построили скрипт сравнения цен? Я знаю, что Amazon предлагает публичный API, но я видел эти два сайта: goodreads, bookdope, которые сравнивают цены на книги, извлекают цены с Walmart и другие веб-сайты, которые не предлагают API. Как вы получаете цены с сайтов, не имеющих API?Сценарий сравнения цен для продуктов
Я использую C# и ASP.NET MVC.
Если сайт не предлагает API, вам необходимо выполнить так называемый скрипинг экрана. Вы получаете HTML-страницу этой страницы, и ваша программа извлекает из нее информацию.
Это работает, но остерегайтесь проблем.
Компании, которым не нравится, что вы это делаете. Если бы они хотели, чтобы вы получили информацию, которую они предоставили бы API. Они могут даже обнаружить большое количество ударов из вашего конкретного местоположения и заблокировать вас.
Прежде всего, страница предназначена для чтения человеком в браузере. Они могут изменить его в любое время, и ваше приложение может потерпеть неудачу в результате.
Это экспресс для безумия Джон. Мы пробовали это 10 лет назад и с тех пор решили, что это очень плохая идея. Каждое тонкое изменение сайтов, которые вы [скрежет], потенциально приведет ваш сайт к крику и впечатляющей остановке. Я бы предложил сайтам позвонить и посмотреть, есть ли способ получить данные. Вы никогда не знаете, они могут быть готовы играть в мяч. – griegs
Действительно - Вот почему я сказал, что есть проблемы со скрипированием экрана. –