Calidad de datos
Mejorando la imagen
En la operación diaria de cada negocio, a cada minuto se toman decisiones, la mayoría de éstas en base a información del negocio, mientras más utilizamos esta información disponible y menos la intuición, más seguros podemos estar de tomar la decisión acertada.
Es aquí donde surgen las dudas ¿Es una fuente única con la que todos en la compañía tomamos una decisión? , ¿Existe un sistema formal que apoye el proceso de toma de decisiones en la empresa? ¿Existen otras fuentes de información disponibles para validar las existencias de inventarios, los precios de los productos, los pedidos de los clientes, los gastos de un centro de costos, las ventas netas de la compañía?
El primer paso para tener una administración basada en información es tener una sola fuente o un único punto de consulta o reporting. Una vez logrado esto, debemos asegurarnos que esta fuente única de información tenga la información correcta, expresado de otra forma, que la información de nuestro sistema refleje la realidad de lo que está pasando en la empresa. Es aquí donde toman parte los procesos de calidad de datos.
Calidad de datos se refiere a los procesos, técnicas, algoritmos y operaciones encaminados a mejorar la calidad de los datos existentes en empresas y organismos. Generalmente se refiere al mejoramiento de la calidad de los datos de personas, ya que éstos probablemente son los datos que más tienden a degradarse y cuya falta de calidad más impacta en la productividad de las organizaciones.
Los problemas de calidad de datos existen, en diferentes medidas, en todas las organizaciones. Por lo general la baja calidad obedece, no a una mala gestión, sino a la ejecución normal de los procesos asociados con el manejo de información en la organización.
¿Qué dificulta controlar la calidad de estos datos?
- Los cambios continuos y las rápidas implementaciones de sistemas.
- La falta de conocimiento de la situación real.
- La falta de conciencia sobre la importancia del tema.
A través de técnicas de evaluación y corrección se intenta lograr:
- Ahorrar costos directos:evitando tener información duplicada y por lo tanto evitar el envío duplicado de informes a un mismo cliente.
- Potenciar acciones de marketing y gestión: la normalización mejora el análisis de datos y permite segmentaciones precisas para que las acciones de marketing y su gestión ganen en precisión y eficacia.
- Mejorar la captación y fidelización de clientes: con los datos correctos, se mejoran los ratios de respuestas y el cliente se siente plenamente identificado con la empresa.
- Mejorar la imagen corporativa: el cliente sólo recibe el envío que le corresponde, una sola vez y con sus datos correctos.
- Mejorar el servicio: identificación más rápidamente del cliente que llama a un Call Center, reduciendo los tiempos de espera y, dejando tiempo al operador para centrarse en el mensaje de negocio.
De todas las dimensiones de la calidad de datos, la más visible e importante, se podría decir, es la de exactitud de los datos; ya que es la más tangible de tratar, la más fácil de mejorar, por ende la que obtiene resultados en el menor tiempo; usualmente no requiere reingeniería de procesos ni reestructuración de la organización.
Cabe aclarar en este punto que no se puede lograr la calidad total, pero si se puede mejorar la calidad al punto que la información sea adecuada para la toma de decisiones.
Los procesos de la calidad de datos (Data Profiling y Data Cleansing)
Estos procesos incluyen la implementación de herramientas y métodos para la exploración, conocimiento y normalización de fuentes de información empresarial.
Data Profiling – Proceso de evaluación de los datos
Estos procesos proveen una amplia comprensión sobre que contienen esos sistemas fuentes en cuanto a estructura y contenido de datos. Estas soluciones permiten documentar cualquier sistema fuente antes de encarar un proyecto de integración de datos minimizando los riesgos y costos de los mismos.
Consiste en la aplicación de técnicas analíticas a repositorios de datos con el propósito de determinar el contenido actual, la estructura y la calidad de los datos actuales. Éstas son técnicas esenciales para evaluar o diagnosticar la calidad de una base de datos.
Metodología del Data profiling:
- Análisis de elementos: Se analizan los tipos, longitudes, rangos, valores discretos, formatos, etc. para determinar si son válidos (se requiere una definición de validez)
- Análisis de la estructura: Consiste en identificar dependencias, sinónimos, claves primarias y foráneas (verificar reglas de integridad).
- Verificación de reglas del negocio: Consiste en analizar conjuntos de valores con una regla específica que aplica para varios datos.
- Análisis estadístico: Se aplica en casos donde no se puede aplicar una regla concreta y complementa a los análisis anteriores, determina si los resultados son razonables o ilógicos.
El proceso de data profiling, si se realiza correctamente, es una técnica efectiva que contribuye significativamente a mejorar la calidad de los datos de la organización, por lo que debe ser una competencia central de tecnología en la empresa (core competency technology)
Data Cleansing – Proceso de limpieza de datos
Con data cleansing se realiza una implementación de una metodología confiable de calidad de datos que soluciona desde problemas técnicos a esquemas complejos de negocios. Se implementan soluciones de Normalización, Deduplicación y Enriquecimiento de datos. El proceso de data cleansing permite identificar datos incompletos, incorrectos, inexactos, no pertinentes, etc. y luego substituir, modificar o eliminar estos datos sucios.
Métodos más utilizados:
- Análisis: El análisis en la limpieza de datos, es realizado para la detección de errores de sintaxis.
- Transformación de Datos: La Transformación de Datos permite al trazar un mapa de datos, en el formato esperado. Esto incluye conversiones de valor o funciones de traducción así como normalización de valores numéricos.
- Eliminación de duplicados: La detección de duplicados requiere un algoritmo para determinar si los datos contienen representaciones dobles de la misma entidad.
- Método Estadístico: Incluye analizar los datos usando promedios, desviación estándar, rangos, o algoritmos de cluster, este análisis se realiza por expertos que identificar errores. Aunque la corrección de datos sea difícil ya que no saben el valor verdadero, pueden ser resueltos poniendo los valores a un promedio u otro valor estadístico.
Estas técnicas de calidad de datos permiten optimizar su base de datos y hacer más efectivas sus estrategias de negocio. Para desarrollar eficazmente, por ejemplo, sus planes de marketing, basándose en información precisa sobre sus clientes actuales y potenciales. Aplicando buenos procesos de calidad de datos logrará mejorar sus procesos y afianzar la relación actual con sus clientes, al mejorar su servicio e imagen corporativa.
Nexbas provee servicios de calidad de datos a través de su solución de servicios NB QUALITY.
Más información en https://www.nexbas.com/nbquality.html
