Как получить тему сообщения kafka с помощью CreatDirectStream?

Question

Я использую искровой залитый Kafk, и я пытаюсь получить тему Кафки сообщения с использованием этого подхода:

val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder, Tuple2[String, String]](ssc, kafkaParams, topics, (mmd: MessageAndMetadata[String, String]) => { (msg.topic, msg.message)}) 

Но Intellij не может импортировать kafka.message.MessageAndMetada. Я не смог найти этот импорт. Как получить тему? Есть ли другой способ получить его?

Целью этого является обработка сообщений из каждой темы по-другому, поэтому мне нужно знать тему для каждого сообщения.

Answer 1

Вы можете найти класс kafka.message.MessageAndMetada внутри kafka library, который предоставлен spark-streaming-kafka, поэтому, похоже, вам не хватает этой зависимости.