DCOS Кафка Развертывание Застрял Бродячей кластера

Я использую последнюю DCOS релиз (0.8.0) и вращают локальный бродячую кластер с 4-мя узлами частных агентов, один узел общественного агента, один ведущий и один ботинок машиныDCOS Кафка Развертывание Застрял Бродячей кластера

vagrant up m1 a1 a2 a3 a4 p1 boot

затем я установил Кафка с конфигурациями по умолчанию с помощью следующей команды:

dcos package install kafka

После анализа журналов марафон, похоже Mesos является снижение ресурс предлагает для Кафки, и поэтому не в состоянии развернуть все три брокеров , Я подозреваю, что проблема связана с несоответствием роли ресурсного предложения и желаемой роли кафки.

совокупная статистика кластера: CPU: 18 акций Память: 7GiB

Вот снимок журналов марафона:

s.offer.OfferEvaluator: Satisfying resource requirement: name: "cpus" type: SCALAR scalar { value: 1.0 } role: "kafka-role" reservation { principal: "kafka-principal" labels { labels { key: "resource_id" value: "" } } } 
with resource: name: "cpus" type: SCALAR scalar { value: 1.0 } role: "*" 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Reserves Resource 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Fulfilled resource: name: "cpus" type: SCALAR scalar { value: 1.0 } role: "kafka-role" reservation { principal: "kafka-principal" labels { labels { key: "resource_id" value: "f8468a5a-8166-4d5d-a594-f197a8b356cd" } } } 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.MesosResourcePool: Retrieving resource for reservation 
WARN [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Failed to satisfy resource requirement: name: "mem" type: SCALAR scalar { value: 2304.0 } role: "kafka-role" reservation { principal: "kafka-principal" labels { labels { key: "resource_id" value: "" } } } 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.MesosResourcePool: Retrieving resource for reservation 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Satisfying resource requirement: name: "cpus" type: SCALAR scalar { value: 0.5 } role: "kafka-role" reservation { principal: "kafka-principal" labels { labels { key: "resource_id" value: "" } } } 
with resource: name: "cpus" type: SCALAR scalar { value: 0.5 } role: "*" 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Reserves Resource 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Fulfilled resource: name: "cpus" type: SCALAR scalar { value: 0.5 } role: "kafka-role" reservation { principal: "kafka-principal" labels { labels { key: "resource_id" value: "37ba47a3-7c6e-47a2-972c-d35d130ae8df" } } } 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.MesosResourcePool: Retrieving resource for reservation 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Satisfying resource requirement: name: "mem" type: SCALAR scalar { value: 256.0 } role: "kafka-role" reservation { principal: "kafka-principal" labels { labels { key: "resource_id" value: "" } } } 
with resource: name: "mem" type: SCALAR scalar { value: 256.0 } role: "*" 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Reserves Resource 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Fulfilled resource: name: "mem" type: SCALAR scalar { value: 256.0 } role: "kafka-role" reservation { principal: "kafka-principal" labels { labels { key: "resource_id" value: "8f937e43-c80a-4434-a858-08e6bdb02cc2" } } } 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.MesosResourcePool: Retrieving resource for reservation 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Satisfying resource requirement: name: "cpus" type: SCALAR scalar { value: 1.0 } role: "kafka-role" reservation { principal: "kafka-principal" labels { labels { key: "resource_id" value: "" } } } 
with resource: name: "cpus" type: SCALAR scalar { value: 1.0 } role: "*" 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Reserves Resource 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Fulfilled resource: name: "cpus" type: SCALAR scalar { value: 1.0 } role: "kafka-role" reservation { principal: "kafka-principal" labels { labels { key: "resource_id" value: "b568cfaa-c216-4479-9853-5bc4e6ee2d9e" } } } 
INFO [2016-08-02 16:28:08,919] org.apache.mesos.offer.MesosResourcePool: Retrieving resource for reservation 
WARN [2016-08-02 16:28:08,919] org.apache.mesos.offer.OfferEvaluator: Failed to satisfy resource requirement: name: "mem" type: SCALAR scalar { value: 2304.0 } role: "kafka-role" reservation { principal: "kafka-principal" labels { labels { key: "resource_id" value: "" } } } 
WARN [2016-08-02 16:28:08,919] org.apache.mesos.scheduler.plan.DefaultStageScheduler: Unable to find any offers which fulfill requirement provided by block broker-0: [email protected][avoidAgents=[],colocateAgents=[],taskRequirements=[[email protected]],[email protected]179902f[executorInfo=executor_id { 
    value: "" 
} 
resources { 
    name: "cpus" 
    type: SCALAR 
    scalar { 
    value: 0.5 
    } 
    role: "kafka-role" 
    reservation { 
    principal: "kafka-principal" 
    labels { 
     labels { 
     key: "resource_id" 
     value: "" 
     } 
    } 
    } 
} 
resources { 
    name: "mem" 
    type: SCALAR 
    scalar { 
    value: 256.0 
    } 
    role: "kafka-role" 
    reservation { 
    principal: "kafka-principal" 
    labels { 
     labels { 
     key: "resource_id" 
     value: "" 
     } 
    } 
    } 
} 
command { 
    uris { 
    value: "https://downloads.mesosphere.com/kafka/assets/jre-8u91-linux-x64.tar.gz" 
    } 
    uris { 
    value: "https://downloads.mesosphere.com/kafka/assets/kafka_2.11-0.10.0.0.tgz" 
    } 
    uris { 
    value: "https://downloads.mesosphere.com/kafka/assets/1.1.9-0.10.0.0/overrider.zip" 
    } 
    uris { 
    value: "https://downloads.mesosphere.com/kafka/assets/1.1.9-0.10.0.0/executor.zip" 
    } 
    environment { 
    variables { 
     name: "JAVA_HOME" 
     value: "jre1.8.0_91" 
    } 
    } 
    value: "./executor/bin/kafka-executor -Dlogback.configurationFile=executor/conf/logback.xml" 
} 
framework_id { 
    value: "2601d122-2b59-4823-83f8-84351376d53c-0001" 
} 
name: "broker-0" 
,resourceRequirements=[[email protected], [email protected]]]] 
INFO [2016-08-02 16:28:08,919] com.mesosphere.dcos.kafka.plan.KafkaUpdateBlock: broker-0: changed status from: Pending to: Pending 
INFO [2016-08-02 16:28:08,920] com.mesosphere.dcos.kafka.scheduler.KafkaRepairScheduler: Missing brokerIds: [] 
INFO [2016-08-02 16:28:08,921] org.apache.mesos.offer.ResourceCleaner: 4 offers with 16 resources => 0 destroy and 0 unreserve operations 
INFO [2016-08-02 16:28:08,921] com.mesosphere.dcos.kafka.scheduler.KafkaScheduler: Accepted 0 of 4 offers: [] 
INFO [2016-08-02 16:28:08,921] com.mesosphere.dcos.kafka.scheduler.KafkaScheduler: Declining offer: 2601d122-2b59-4823-83f8-84351376d53c-O1343 
INFO [2016-08-02 16:28:08,921] com.mesosphere.dcos.kafka.scheduler.KafkaScheduler: Declining offer: 2601d122-2b59-4823-83f8-84351376d53c-O1344 
INFO [2016-08-02 16:28:08,921] com.mesosphere.dcos.kafka.scheduler.KafkaScheduler: Declining offer: 2601d122-2b59-4823-83f8-84351376d53c-O1345 
INFO [2016-08-02 16:28:08,921] com.mesosphere.dcos.kafka.scheduler.KafkaScheduler: Declining offer: 2601d122-2b59-4823-83f8-84351376d53c-O1346 
INFO [2016-08-02 16:28:14,928]

источник

2016-08-02 user1832287

Проблема была в том, что сообщалось о журналах: недостаточно памяти для планирования кафки с использованием настроек по умолчанию. Я смог развернуть kafka на DCOS-бродягу с конфигурацией брандмауэра по умолчанию и тремя агентами, используя следующую конфигурацию kafka:

{ 
    "brokers": { 
     "count": 1, 
     "mem": 512, 
     "disk": 1000 
    } 
}

источник

2016-08-11 17:43:43 user1832287

Рамки Кафка в ИДК 1.8 сохраняющий состояние обслуживания. Он специально разработан для распределения хранилища для каждого брокера и поддержания связи между экземпляром брокера и этим хранилищем (поэтому брокер-0 не повторно развернут на хост, у которого нет хранилища, первоначально выделенного для брокера-0). Мой опыт в том, что сообщения вокруг предложений ресурсов не очень ясны, когда ограничение хранения не выполняется. По умолчанию пакет будет запрашивать 5 ГБ выделенного хранилища для каждого брокера.

У меня нет большого опыта работы с бродягой, но может быть, что бродяга не предоставляет необходимую «доступность для хранения» для DC/OS, чтобы быть в состоянии выполнить запрос ресурса брокера.

источник

2016-08-02 18:01:36

DCOS Кафка Развертывание Застрял Бродячей кластера

ответ

Смежные вопросы