Как искать строки, содержащие конкретные слова, а затем возвращать количество каждого слова?

Question

У меня есть 150 000 строк данных, которые я пытаюсь запросить в Google BigQuery.

Столбец Text содержит различные длины текста, из которых я хочу запросить конкретные ключевые слова.

Я получил по мере запроса ниже, который возвращает все строки, содержащие определенное ключевое слово (например, facebook):

SELECT Text From Data.Set_1 
WHERE Text CONTAINS 'facebook' 

Вопросы:

1) Как улучшить запрос так что он возвращает общее количество всех вхождений ключевого слова «facebook» через «Текст» в новый столбец?

2) Как увеличить масштаб до нескольких ключевых слов (facebook, cnn, bbc, twitter) и вернуть общее количество каждого ключевого слова, присутствующего в данных (например, facebook 42, cnn 54, bbc 88, twitter 49)?

Answer 1

для BigQuery Наследие SQL

SELECT 
    keyword, 
    COUNT(1) AS rows, 
    SUM(INTEGER((LENGTH(Text) - LENGTH(REPLACE(Text, keyword, '')))/LENGTH(keyword))) AS occurences 
FROM YourTable 
CROSS JOIN keywords 
WHERE Text CONTAINS keyword 
GROUP BY keyword 

Пример играть с

SELECT 
    keyword, 
    COUNT(1) AS rows, 
    SUM(INTEGER((LENGTH(Text) - LENGTH(REPLACE(Text, keyword, '')))/LENGTH(keyword))) AS occurences 
FROM (
    SELECT Text FROM 
    (SELECT 'facebookfacebookcnnbbccnn' AS Text), 
    (SELECT 'facebook' AS Text), 
    (SELECT 'cnn' AS Text) 
) AS words 
CROSS JOIN (
    SELECT keyword FROM 
    (SELECT 'facebook' AS keyword), 
    (SELECT 'cnn' AS keyword), 
    (SELECT 'bbc' AS keyword) 
) AS keywords 
WHERE Text CONTAINS keyword 
GROUP BY keyword 

Для BigQuery Стандартный SQL (см Enabling Standard SQL)

SELECT 
    keyword, 
    COUNT(1) AS `rows`, 
    SUM((LENGTH(Text) - LENGTH(REPLACE(Text, keyword, '')))/LENGTH(keyword)) AS occurences 
FROM YourTable 
JOIN keywords 
ON STRPOS(Text, keyword) > 0 
GROUP BY keyword 

Пример играть с

WITH keywords AS (
    SELECT 'facebook' AS keyword UNION ALL 
    SELECT 'cnn' AS keyword UNION ALL 
    SELECT 'bbc' AS keyword 
), 
words AS (
    SELECT 'facebookfacebookcnnbbccnn' AS Text UNION ALL 
    SELECT 'facebook' AS Text UNION ALL 
    SELECT 'cnn' AS Text 
) 
SELECT 
    keyword, 
    COUNT(1) AS `rows`, 
    SUM((LENGTH(Text) - LENGTH(REPLACE(Text, keyword, '')))/LENGTH(keyword)) AS occurences 
FROM words 
JOIN keywords 
ON STRPOS(Text, keyword) > 0 
GROUP BY keyword 

Answer 2

Вы можете использовать производную таблицу, чтобы включить все слова, которые вы ищете, а затем использовать агрегацию для подсчета совпадений:

SELECT w.keyword, COUNT(s.Text) 
From (SELECT 'facebook' as keyword UNION ALL 
     SELECT 'cnn' 
    ) w LEFT JOIN 
    Data.Set_1 s 
    ON s.Text CONTAINS w.keyword 
GROUP BY w.keyword; 

ли Примечание: Это не особенно эффективно. Производительность должна быть примерно линейной по числу ключевых слов.