Агрегаты Titan DB

Question

Я хотел использовать Titan Db (Back Back Back: HBase) для выполнения агрегаций на графике. Данные, которые мы поддерживали. Мы стремимся хранить данные Data Warehouse в виде графика в Titan DB. Однако, агрегации занимают много времени, я использую один экземпляр титана. Следующие шаги: 1. Создание вершины графа -4.5lac, 4 ребра лака. 2. Создание индексов -vertex & край. 3. Включить кэширование базы данных.

Когда я пересекаю график на глубине 4, чтобы найти сумму, чтобы найти сумму около 8000 вершин на свойстве, я вижу, что в первый раз требуется ответ на запрос в течение 30 секунд. Последующие запросы до 3 минут (кеширование базы данных сбрасывается на 3 входа), которые обслуживаются менее чем за 1 сек. Но через 3 минуты снова потребуется 30 секунд для восстановления кеша и предоставления ответа. Имеет ли кто-нибудь подобный прецедент и какие-либо предложения относительно того, как я могу сделать титан быстрее для агрегации? Я ожидаю исполнения в реальном времени от титана.

Answer 1

Возможно, вы уже знаете это, но я опубликую то, что мы сделали, чтобы получить повышение производительности от Titan. Список здесь основывается на главе this главы Titan Docs.

1. Композитные индексы. Возможно, у вас есть это, но стоит упомянуть, поскольку они значительно ускоряют прямые поиски определенных вершин.
2. Vertex Centric Indices - Если у вас есть супер-узлы, они могут очень быстро устранить края, которые вам не нужны для перемещения.
3. Смешанные индексы - они отлично подходят для любой операции, для которой требуются числовые диапазоны или порядок, а Elasticsearch - очень мощный инструмент индексирования.

Если проблема не читать, но писать можно также попробовать bulk loading