построение графика из потоковых данных с использованием искрового потока

Question

Я новичок в искры. Мне нужно построить граф совпадения (в твит-словах станут узлы, а если слова из одного и того же твита добавятся между ними) из потоковых данных, например твиттер-твитов. Можем ли мы использовать искровые потоки для построения графика твитер живого совпадения. Для этого варианта использования подразумевается искрообразование ?. Я не уверен, можно ли это сделать, используя искрообразование. Если нет, то какие альтернативы?

Answer 1

Частоту совместного возникновения можно рассматривать как график или матрицу смежности, но это большая разреженная гистограмма (количество частот) в пространстве продукта вашего списка слов. скорее всего, вы хотите обнаружить корреляцию движущегося окна, поэтому должны разработать структуру данных эскиза для отслеживания необычного увеличения или уменьшения скорости появления в потоке. например счетный цветной фильтр или подсчет минимального эскиза, применяемого к каждой паре слов - см. http://twitter.github.io/algebird/#com.twitter.algebird.CMSCounting