BigQuery COUNT (значение DISTINCT) vs COUNT (значение)

Question

Я нашел ошибку/ошибку в bigquery. Мы получили таблицу на основе данных Банка Статистика по starschema.net:clouddb:bank.Banks_token

Если я выполнить следующий запрос:

SELECT count(*) as totalrow, 
count(DISTINCT BankId) as bankidcnt 
FROM bank.Banks_token; 

И я получаю следующий результат:

Row totalrow bankidcnt  
1 9513 9903  

Моя проблема в том, что если у меня есть 9513row, как я могу получить 9903row, что на 390 раз больше, чем строка в таблице.

Answer 1

В BigQuery, COUNT DISTINCT является статистической аппроксимации для всех результатов больше, чем 1000.

Вы можете предоставить необязательный второй аргумент, чтобы дать порог, при котором используются аппроксимации. Поэтому, если вы используете COUNT (DISTINCT BankId, 10000) в своем примере, вы должны увидеть точный результат (поскольку фактическое количество строк меньше 10000). Обратите внимание, однако, что использование большего порога может быть дорогостоящим с точки зрения производительности.

Смотрите полную документацию здесь: https://developers.google.com/bigquery/docs/query-reference#aggfunctions

---

UPDATE: 2017

С BigQuery #standardSQL COUNT(DISTINCT) всегда точен. Для приблизительных результатов используйте APPROX_COUNT_DISTINCT(). Зачем кому-то использовать приблизительные результаты? See this article.

Answer 2

Я использовал EXACT_COUNT_DISTINCT(), чтобы получить точный уникальный счет. Это чище и более общее, чем COUNT (DISTINCT значения, п> NumRows)

Найдено здесь: https://cloud.google.com/bigquery/query-reference#aggfunctions