En todo camino hay charcos: mejorando la inteligencia corporativa con un plano de control de datos

«Tenemos más de 150 aplicaciones que se escribieron en diferentes plataformas», dijo un director senior de una empresa de biotecnología en una conversación reciente con analistas de IDC. “Esto dificulta el intercambio de datos en toda la empresa; comprender dónde se encuentran los datos, cuál es su propósito, cómo se ven y cómo clasificarlos, es todo difícil «. Al describir su iniciativa para superar estas y otras dificultades de datos, este director senior habló sobre el descubrimiento de una gran cantidad de datos obsoletos, lo que contribuyó a los desafíos de separar las señales del ruido y garantizar que se utilicen los datos correctos para impulsar la inteligencia empresarial.

Una gran mayoría de ejecutivos que invierten en inteligencia quieren ser más ágiles que sus competidores, tener inteligencia que permita a todos en la organización idear e innovar, y permitir que la organización aprenda del pasado y acelere hacia el futuro. En nuestras conversaciones con altos ejecutivos, un tema que surge una y otra vez es que tener control sobre los datos es fundamental para cualquier organización que desee competir en la economía digital actual.  

Los datos a menudo se han comparado con el agua y, al igual que el agua, los datos son un recurso sin el cual nosotros, tanto las empresas como las personas, no podemos sobrevivir ni prosperar. Necesitamos datos para impulsar nuestras acciones. Necesitamos datos para elevar el nivel de inteligencia empresarial. Y necesitamos datos para mejorar la alfabetización en datos de todos. Pero también podemos ahogarnos y perder el control de los datos.

En una llamada reciente con una empresa de fabricación, su vicepresidente de TI a cargo de los datos inició la conversación diciendo «tenemos un problema de acumulación de datos». Mientras mis colegas analistas de mercado y yo pensábamos en el comentario, nos dimos cuenta de que los charcos son una gran analogía para las realidades de los entornos de datos modernos. ¿Alguna vez ha encontrado charcos distribuidos uniformemente o dos charcos con exactamente la misma circunferencia, profundidad y claridad del agua? Los charcos no suelen estar conectados entre sí, pero quizás lo estaban, antes de que se hicieran más pequeños debido a la evaporación … en nubes. Alguna vez encontró una nube que se ve exactamente igual que la otra … podríamos seguir y seguir con esta analogía.

Dar sentido a todos los datos es difícil en un entorno de datos moderno, donde los datos están altamente distribuidos, son diversos y dinámicos. ¿De qué otra manera podemos explicar los resultados de una investigación reciente de IDC sobre la cultura de datos empresariales, en la que la mitad de las personas dijeron que están abrumadas por la cantidad de datos, mientras que al mismo tiempo el 44% dice que no tienen suficientes datos para respaldar la decisión? ¿haciendo? La situación se ve agravada por las demandas de una nueva generación de trabajadores nativos de datos distribuidos por toda la empresa que utilizan datos independientemente de sus funciones o nivel de formación formal.

Una fuerza laboral más distribuida, diversa y dinámica que utiliza datos distribuidos, diversos y dinámicos ha dado lugar a soluciones de protección, inteligencia e ingeniería de datos distribuidas, diversas y dinámicas. Esto ha resultado en entornos de datos complejos y la necesidad de tener un mayor control sobre ellos. Como dijo un director de datos en una conversación reciente con nuestro equipo: «Me contrataron para proporcionar un nuevo nivel de disciplina para nuestro estado de datos y nuestras capacidades de inteligencia empresarial».

La única certeza es que la complejidad solo aumentará con el tiempo y los profesionales de datos necesitan estrategias y un lenguaje común para describir y diseñar una solución.

Han surgido términos como plataforma de datos , tejido de datos y malla de datos para describir las carteras de herramientas que ofrecen capacidades destinadas a resolver los desafíos del entorno de datos moderno. Sin embargo, el término plataforma se usa en exceso y es ambiguo, y aunque el tejido y / o la malla ayudan a describir las características entrelazadas de los entornos de datos modernos, estos términos solo se refieren a los datos y no abordan la funcionalidad de la ingeniería, la inteligencia y la protección de datos. La Asociación de Gestión de Activos de Datos ( DAMA.org)) define cuatro tipos de actividades de gestión de datos: planificación, control, desarrollo y operaciones. La actividad que mejor se alinea con muchas de las capacidades que brindan los proveedores de software de integración e inteligencia de datos es el control para administrar los datos en un plano distribuido . En IDC definimos la tecnología para llevar a cabo estas cuatro actividades como un plano de control de datos.

El plano de control de datos es una capa arquitectónica que se asienta sobre un conjunto de actividades de datos de un extremo a otro (por ejemplo, integración, acceso, gobernanza y protección) para administrar y controlar el comportamiento holístico de las personas y los procesos en el uso de datos distribuidos, datos diversos y dinámicos. El término plano de control de datos agrega las características funcionales faltantes de una estructura o malla, y da cuenta de la noción de datos distribuidos en un plano de entornos de nube híbrida. Tiene tres capas como se muestra en esta figura.

La capa de inteligencia aprovecha los metadatos comerciales, técnicos, relacionales y operativos para brindar transparencia de los perfiles de datos, clasificación, calidad, ubicación, linaje y contexto, lo que permite a las personas, los procesos y la tecnología contar con datos confiables y confiables. La inteligencia sobre los datos, la ingeniería de datos y el uso de datos se recopila en el plano de datos distribuidos y los canales de consumo.

La capa de gobernanza del plano de control de datos es un conducto para el control y la supervisión de las actividades de ingeniería e inteligencia de datos. Un controlador de datos aprovecha la capa de inteligencia de datos y el motor de políticas para controlar la accesibilidad, el movimiento, la usabilidad y la protección de los datos. Un motor de políticas contiene, como mínimo, las reglas de interacción para los datos y las tolerancias aceptables para la deriva y el cambio de datos. La observabilidad se refiere a monitorear y probar continuamente los datos para determinar cómo y cuándo los datos se desvían y cambian dentro de las tuberías.

Las capacidades en la capa de ingeniería de datos se han asociado históricamente con la integración de datos, pero estamos viendo movimientos y términos ligeramente diferentes que se utilizan en entornos de datos modernos. La ingestión y la transformación están reemplazando a ETL, la virtualización de datos en memoria está federando datos y la replicación es una de las muchas fuentes de transmisión de datos.

El plano de datos distribuidos incluye bases de datos transaccionales y de aplicaciones, bases de datos analíticas que incluyen almacenes de datos, lagos de datos, canalizaciones de transmisión de datos y datos obtenidos de terceros, ya sea mediante replicación o acceso en tiempo real a través de API.

Si su organización está compitiendo en la economía digital, es posible que tenga flujos de datos, lagos o almacenes, y probablemente muchos charcos de datos. Muchos usuarios, y de hecho administradores, de datos tienden a pensar en los diversos elementos de datos e inteligencia en términos discretos y pueden no ver las relaciones entre todos los componentes arquitectónicos. La adopción de un plano de control de datos puede generar claros beneficios comerciales, incluida una mejor calidad, disponibilidad y seguridad de los datos, y una inteligencia empresarial mejorada.

Traducción del artículo original de IDC
https://blogs.idc.com/2021/04/22/every-path-has-its-puddles-improving-enterprise-intelligence-with-a-data-control-plane/
ABRIL 22 DE 2021