Я подумываю о том, чтобы копировать свой текстовый контент для поиска в BigQuery Google, а затем выполнять полнотекстовый поиск с использованием BigQuery API.Поддерживает ли Google BigQuery полнотекстовый поиск
Поддерживает ли Google BigQuery этот сценарий?
Я не мог найти «поиск» команды в Google BigQuery API: https://developers.google.com/bigquery/docs/reference/v2/
BigQuery поддерживает набор функций запроса RegEx и Струнные, что делает его пригодным для поиска текстовых запросов через строковые поля. Тем не менее, для каждой записи BigQuery существует ограничение на 64k на строку (и поле), поэтому может оказаться невозможным поддерживать полностью неструктурированный, неограниченный размер, поиск текста текста.
Целых возможности поиска текста в приложении App Engine, я хотел бы предложить, глядя на новый API поиска:
Сколько времени займет перф orm текстовый поиск против 1M записей с 10K каждый? Будет ли он использоваться с точки зрения конечного пользователя? –
Помните, что BigQuery возвращает агрегированные результаты по сравнению с табличным сканированием, поэтому полный поиск текста для очень общих значений приведет к возврату очень больших наборов данных. Что касается производительности, вы должны просто попробовать это самостоятельно в одном из наших общедоступных наборов данных. Набор данных publicdata: samples.wikipedia содержит более 300 000 000 строк. Соответствие RegEx: SELECT TOP (комментарий, 10), COUNT (*) FROM [publicdata: samples.wikipedia] WHERE (REGEXP_MATCH (комментарий, r '[Wisconsin]')); Вы также можете использовать «CONTAINS» SELECT TOP (комментарий, 10), COUNT (*) FROM [publicdata: samples.wikipedia] ГДЕ комментарий СОДЕРЖИТ «Бритни Спирс»; –
Это займет больше или меньше 1 секунды? –