В настоящее время я использую cronjob для запуска гусеничной машины каждую ночь, которая может работать только ночью. Но иногда я обнаружил, что данные будут огромными, и одной ночи не будет достаточно для ползания всего. Поэтому я должен убить этот процесс утром, как в 6:00 утра. Как я могу убить только убить процесс искателя с помощью cronjob?Убить задание задания cron
Зависит от того, что вы используете для обхода, но с StormCrawler, который работает непрерывно, вы можете выполнить одно задание cron, чтобы запустить обход, вызвав команду «storm jar ...», а еще один, чтобы убить его «убийством шторма». .. '. С Apache Nutch вы можете добиться того же, указав рабочие места hadoop, которые в настоящее время выполняются, и убейте его. Тем не менее, было бы чисто, чтобы текущая итерация заканчивалась и анализировала и индексировала сегмент до прекращения обхода. Опять же, это зависит от используемого вами искателя.