Лучшая практика - отслеживание удаленных данных (cURL, file_get_contents, cron, et al)?

Question

Я пытаюсь создать скрипт, который будет регистрировать данные, которые меняются каждые 1 секунду. Первоначальная мысль: «Просто запустите php-файл, который делает cURL каждую секунду из cron», - но у меня очень сильное чувство, что это неправильный путь.

. Вот мои характеристики: В настоящее время мне нужно собрать данные из базы данных и войти в базу данных - это число будет постоянно увеличиваться с течением времени, поэтому решение должно быть масштабируемым. Каждый сайт имеет данные, которые он выплескивает URL-адрес каждую секунду, но только сохраняет 10 строк на странице, и они могут иногда выплевывать до 10 строк каждый раз, поэтому мне нужно собирать эти данные каждую секунду, чтобы я получил все данные.

Поскольку я также буду писать эти данные в свою собственную БД, будет время ввода/вывода каждую секунду каждого дня в течение очень долгого времени.

Запрет магии, что является наиболее эффективным способом достижения этого?

это может помочь узнать, что данные, которые я получаю каждую секунду, очень малы, менее 500 байт.

Answer 1

Самый эффективный способ НЕ использовать cron, но вместо этого сделать приложение, которое всегда запускается и удерживать ручки для открытия и повторять запрос каждую секунду. Таким образом, они будут поддерживать связь почти навсегда, и повторные запросы будут очень быстрыми.

Однако, если целевые серверы не являются вашими или вашими друзьями, есть вероятность, что они не оценят ваши удары по ним.