Ошибка предварительного предсказания с шаблоном классификации текста

Question

Я пытаюсь предсказать текстовое поле, основанное на других текстовых полях на предсказании. Я использовал справочник this. Я создал новое приложение, используя

pio app new MyTextApp 

и следовал за руководством до оценки с использованием источника данных, предоставленного в шаблоне. Все было в порядке до оценки. При оценке источника данных я получаю ошибку, как показано ниже.

[INFO] [CoreWorkflow$] runEvaluation started 
[WARN] [Utils] Your hostname, my-ThinkCentre-Edge72 resolves to a loopback address: 127.0.0.1; using 192.168.65.27 instead (on interface eth0) 
[WARN] [Utils] Set SPARK_LOCAL_IP if you need to bind to another address 
[INFO] [Remoting] Starting remoting 
[INFO] [Remoting] Remoting started; listening on addresses :[akka.tcp://sparkDriver@192.168.65.27:59649] 
[INFO] [CoreWorkflow$] Starting evaluation instance ID: AU29p8j3Fkwdnkfum_ke 
[INFO] [Engine$] DataSource: org.template.textclassification.DataSource@faea4da 
[INFO] [Engine$] Preparator: org.template.textclassification.Preparator@69f2cb04 
[INFO] [Engine$] AlgorithmList: List(org.template.textclassification.NBAlgorithm@45292ec1) 
[INFO] [Engine$] Serving: org.template.textclassification.Serving@1ad9b8d3 
Exception in thread "main" java.lang.UnsupportedOperationException: empty.maxBy 
at scala.collection.TraversableOnce$class.maxBy(TraversableOnce.scala:223) 
at scala.collection.AbstractTraversable.maxBy(Traversable.scala:105) 
at org.template.textclassification.PreparedData.<init>(Preparator.scala:152) 
at org.template.textclassification.Preparator.prepare(Preparator.scala:38) 
at org.template.textclassification.Preparator.prepare(Preparator.scala:34) 

Должен ли я редактировать любые файлы конфигурации, чтобы сделать эту работу? Я успешно провел тесты на данные movielens.

Answer 1

Так что это конкретное сообщение об ошибке возникает, когда ваши данные не читаются должным образом через класс DataSource. Если вы используете другой набор текстовых данных, убедитесь, что вы правильно отражаете любые изменения имен eventNames, entityType и соответствующих полей полей свойств в методе readEventData.

Метод maxBy используется для вытягивания класса с наибольшим количеством наблюдений. Если категория для маркировки «Карта» пуста, это означает, что не записано никаких классов, что, по сути, говорит о том, что у вас нет данных, которые подаются.

Например, я просто создал спам-детектор, используя этот движок. Моя электронная почта данные формы:

{"entityType": "content", "eventTime": "2015-06-04T00:22:39.064+0000", "entityId": 1, "event": "e-mail", "properties": {"label": "spam", "text": "content"}}

Чтобы использовать двигатель для этих данных я сделал следующие изменения в классе DataSource:

entityType = Some("source"), // specify data entity type eventNames = Some(List("documents")) // specify data event name

изменения

entityType = Some("content"), // specify data entity type eventNames = Some(List("e-mail")) // specify data event name

и

)(sc).map(e => Observation(
    e.properties.get[Double]("label"), 
    e.properties.get[String]("text"), 
    e.properties.get[String]("category") 
)).cache 

изменения:

)(sc).map(e => { 
    val label = e.properties.get[String]("label") 


    Observation(
    if (label == "spam") 1.0 else 0.0, 
    e.properties.get[String]("text"), 
    label 
) 
}).cache 

После этого, я в состоянии пройти через здание, подготовки и развертывания, а также оценки.