Централизация данных и отчеты для уверенности в качестве — Mindbox: персонализированный автоматический маркетинг на основе данных

Чтобы что-то улучшать, нужно централизовать данные. Без этого отчетность неполная, триггеры неинтересные. Наши клиенты доверяют нам свои данные и, когда происходит централизация, возникает два вопроса: Данные правильно обработались? А дубли? Как проверить, что все хорошо? Что мы сделали: Выработали схему обработки учли безопасность рассмотрели около 50 сложных случаев Разработали отчеты по качеству данных Выводим по всей базе и по каждому импорту отдельно Показываем количество дублей, похожих Вычисляем опечатки в именах и отчествах, невалидные контакты, некорректные сочетания имени и пола Для каждого потребителя храним полную историю изменения его личных данных В чем сложность централизации? Приведем несколько примеров: Человек авторизовался на сайте […]

Источник: Централизация данных и отчеты для уверенности в качестве — Mindbox: персонализированный автоматический маркетинг на основе данных

 

Явный косяк в организации базы. Толково продуманная структура просто не позволит вписать дублированные данные на этапе проверки, не позволит внести данные по форинкеям. Более того, в ходе таких проверок выявляются некие вещи интересные службе безопасности (вроде паспортов с переклеенными фотографиями, липовых ИНН).

На старой работе иногда возникали задачи несколько иного рода- вот есть два sybase ase сервера, связанные репсервером. Большие таблицы- как добиться того, чтобы их объединить, чтобы залить на второй сервер таблицу с основного?

BCP не годится- сервера работают в режиме 24/7, часть записей уже есть, отвалится по дупликейтам. Оттранкетить и залить тоже не позволят, времени на это не дадут.

Иногда использовался такой вот метод- таблицы подписывались, включалась автокоррекция и на исходном, записи апдейтились по одной, поле само в себя. Таблица неспешно ДОПОЛНЯЛАСЬ, в рабочее время, наживую, без утраты работоспособности комплексов.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *