marklogic 8 производительность запроса вниз после вставки большого количества xml-файлов в мою базу данных

Question

Я вставил 200000 xml-документ (приблизительно всего 1GB) в мою базу данных с помощью команды MLCP. Теперь я хочу запустить ниже поискового запроса по этой базе данных (с установкой индекса по умолчанию в admin api), чтобы получить все документы.

let $options := 
<options xmlns="http://marklogic.com/appservices/search"> 
    <search-option>unfiltered</search-option> 
    <term> 
    <term-option>case-insensitive</term-option> 
    </term> 
    <constraint name="Title"> 
     <range collation="http://marklogic.com/collation/" facet="true"> 
     <element ns="http://learning.com" name="title" /> 
     </range> 
    </constraint> 
    <constraint name="Keywords"> 
     <range collation="http://marklogic.com/collation/" facet="true"> 
     <element ns="http://learning.com" name="subjectKeyword" /> 
     </range> 
    </constraint> 
    <constraint name="Subjects"> 
     <range collation="http://marklogic.com/collation/" facet="true"> 
     <element ns="http://learning.com" name="subjectHeading" /> 
     </range> 
    </constraint> 
    <return-results>true</return-results> 
    <return-query>true</return-query> 
</options> 
let $result := search:search("**", $options, 1, 20) 
return $result 

Индекс Диапазон: -

 <range-element-index> 
     <scalar-type>string</scalar-type> 
     <namespace-uri>http://learning.com</namespace-uri> 
     <localname>title</localname> 
     <collation>http://marklogic.com/collation/</collation> 
     <range-value-positions>false</range-value-positions> 
     <invalid-values>ignore</invalid-values> 
    </range-element-index> 
     <range-element-index> 
     <scalar-type>string</scalar-type> 
     <namespace-uri>http://learning.com</namespace-uri> 
     <localname>subjectKeyword</localname> 
     <collation>http://marklogic.com/collation/</collation> 
     <range-value-positions>false</range-value-positions> 
     <invalid-values>ignore</invalid-values> 
    </range-element-index> 
      <range-element-index> 
     <scalar-type>string</scalar-type> 
     <namespace-uri>http://learning.com</namespace-uri> 
     <localname>subjectHeading</localname> 
     <collation>http://marklogic.com/collation/</collation> 
     <range-value-positions>false</range-value-positions> 
     <invalid-values>ignore</invalid-values> 
    </range-element-index> 

В каждом XML-документ subjectkeyword и значение заголовка, как быть

<lmm:subjectKeyword>anatomy, biology, illustration, cross, section, digestive, human, circulatory, body, small, neck, head, ear, torso, veins, teaching, model, deep, descending, heart, brain, muscles, lungs, diaphragm, c</lmm:subjectKeyword><lmm:title>CORTY_EQ07-014.eps</lmm:title> 

Но принимая много консоли времени даже запрос, говоря Слишком много элементов в render или Ошибка анализатора: не удается проанализировать результат. Слишком большой размер файла

Answer 1

На рисунке показано, что разбиение на страницы, безусловно, имеет ключевое значение, и мне любопытно узнать о ваших аспектах. Из вашего примера я представляю, что «Название» почти всегда уникально на ваших 200-килограммовых документах. : subjectKeyword-элемент кажется, что ему нужна небольшая постобработка, чтобы сделать его более полезным как фасет - это строка значений с разделителями-запятыми, что означает, что subjectKeyword будет почти всегда уникальным (я рекомендую поместить каждое из этих значений в отдельную элемент, который был бы намного полезный как фасет). И я предполагаю, что предметHeading в основном уникален.

Границы обычно полезны, если у вас ограниченный набор значений - например, для ноутбуков ограниченные комплекты включают производителя, размер монитора и ведра для ценового диапазона. Когда вы попадаете в сотни значений, полезность фасета уменьшается для пользователя - сколько пользователей действительно хотят сортировать сотни или тысячи значений, чтобы найти то, что они хотят? И в вашем случае мы, вероятно, говорим о десятках тысяч уникальных значений, если не 200k уникальных значений (особенно для «Title»). И - когда у вас есть много уникальных значений, время разрешения фасета займет больше времени.

Итак, прежде чем исследовать время разрешения фасета - какую проблему вы пытаетесь решить с помощью этих трех фасетов?

Не зная ничего больше, я бы отправил этот объект subjectKeyword во многие элементы, в каждом из которых есть одно ключевое слово, а затем поместите грань на этот элемент. В идеале у вас есть десятки ключевых слов, может быть, сотни, и решение этой грани должно быть очень быстрым.

Answer 2

Прежде всего, не пытайтесь получить все документы сразу. Это будет означать, что MarkLogic должен будет перейти на диск для каждого документа, обработать и сериализовать его, и, что не менее важно, клиентская сторона также должна получать и отображать. Последнее, вероятно, это бутылочная шее. Обычно это приложение пользователя показывает результаты поиска по 10 или 20 за раз. Другими словами: используйте разбиение на страницы.

Я также рекомендую бежать нефильтрованным для лучшей производительности.

HTH!