Лучший способ анализа и проверки всех данных базы данных

Question

Один из наших клиентов хочет сделать проверку каждой записи базы данных в каждой таблице. Проблема в том, что наша база данных имеет в настоящее время десятки таблиц (более 50), и каждая таблица уже имеет тысячи записей.

Основная проверка, которую наш клиент хочет сделать, - проверить каждую таблицу, в которой столбцы имеют нулевые значения. Наш клиент предполагает, что, если пользователи платформы будут заполнять только основные входы, это может означать, что пользователи не в полной мере используют доступные входы на платформе.

Что было бы лучшим способом удовлетворить это требование?

Я уже думал об этом статистически например:

• Table1 имеет 30 записей со следующими пустыми столбцами (COLUMN1, COLUMN2, Column3)
• 30% из таблиц базы данных имеют записи с нулевым значениями

Answer 1

Я знаю, что это действительно не отвечает на поставленный вами вопрос, но я думаю, что просто проверка «нулевого» - это начало требования, но вряд ли это будет конец.

В большинстве проектов, которые я сделал с большим количеством данных, мы создали структуру проверки, которая имела бизнес-логику для каждой таблицы и каждое поле в каждой таблице.

Например, мы обнаружили, что многие записи включали ложные адреса электронной почты, поэтому мы написали сценарий для их проверки (действительно простая вещь, проверяющая, что домен существует, и не является одним из «test.com», «aaa.com», «qwerty.com» и т. д.). Мы также поняли, что у нас появились фиктивные телефонные номера, поэтому мы проверили, что номера телефонов совпадают, очевидно, с готовым номером (123-456789).

Это боль в задней части, но если бизнес хочет понять качество данных, это единственный способ сделать это.

Мы закончили тем, что написали десятки небольших SQL-скриптов, каждый из которых выплюнул список «подозрительных» записей, с причиной (-ами) для их подозрения. Это было некрасиво, но было легко расширить, легко запускать, дало бизнесу достаточно информации для принятия решений.