Smart Data and Deep Data para sobrevivir al exceso de datos

6 minutes

No hace falta explicar mucho sobre la sociedad del exceso de datos e información en la que vivimos. La cantidad de información que nuestra sociedad genera es difícil de cuantificar. Una estimación que suele aparecer reiteradamente en medios y escritos especializados sostiene que creamos más datos cada año, que la que ha sido producida en toda la historia humana anterior. Por lo tanto, el crecimiento sobrelineal de datos es tan grande, que las habilidades de filtrado y síntesis de información se están volviendo cada vez más necesarios. Esto es lo que los economistas llaman la ley de bienes complementarios; cada vez más datos, cada vez más necesaria y urgente las tareas de filtrado, resumen y síntesis de datos.

De todo esto, lo que no me deja de sorprender es que cuando escucho hablar sobre la “sociedad del conocimiento”, en pocas ocasiones nos dentangamos a pensar si esta sociedad nos está haciendo más sabios o si por el contrario, esto se está volviendo más complejo. Por ello, en este artículo voy a reflexionar sobre cuatro elementos asociados a este debate del “¿más o menos sabios?”, a saber: 1) Diseño del conocimiento: pirámide DIKW; 2) Conocimiento útil; 3) Generación de datos; 4) Filtrado de datos. Comencemos.

1) Diseño del conocimiento: pirámide DIKW

La especialización, fragmentación y dispersión del conocimiento han producido un incremento de datos que va en paralelo a una menor comprensión del mundo. Ahora todo nos resulta más complejo, a pesar de que existen más datos e información que nunca. ¿Extraña paradoja no? Bueno, no tanto.

El problema es que el dato por si solo nos aporta poco. Ejemplos de datos que las empresas almacenan y disponen:

  • 2.000 visitantes únicos en mi tienda online
  • 1.000 nuevos usuarios en mi aplicación
  • 10% nuevos clientes en mi exposición
  • 24 conversiones de las campañas de captación
  • Un 37% de mis estudiantes han superado el examen
  • 3.000 € de incremento del tamaño de la transacción media de ticket de compra

A estos datos les falta contexto, les falta circunstancias, que como nos enseñaban en el colegio, dan sentido y significado a comprender los hechos. Estas circunstancias (momentos temporales, espacio, lugares, fuente, dispositivo/canal, tendencia/perspectiva, etc.), son las que permiten que el dato se pueda poner en valor, sea habilitador para la toma de decisiones estratégicas en una organización. Es decir, ese contexto es el que le da inteligencia al negocio.

La puesta en valor de datos necesita mecanismos y rutinas para reducir su cantidad y complejidad. Y los datos solo son de valor cuando son introducidos en contextos de relevancia. Datos que permitan descubrir conocimiento a una organización, lo que se ha venido a denominar el método “Data Science”. Un método que está para quedarse, y que ya algunos vemos como el cuarto paradigma de descubrimiento científico para el diseño y obtención de conocimiento.

El cuarto paradigma de generación de conocimiento: Data Science (Fuente: http://www.slideshare.net/TechnetFrance/rec201-mstechdaysfinal130213033305phpapp02-19779391)
El cuarto paradigma de generación de conocimiento: Data Science (Fuente: http://www.slideshare.net/TechnetFrance/rec201-mstechdaysfinal130213033305phpapp02-19779391)

Por lo tanto, en las organzaciones, lo primero que debemos pensar es en pasar del dato al conocimiento, a la sabiduría. En definitiva, en escalar rápidamente del dato aislado hacia el conocimiento, a través de las circunstancias/contexto. Lo que se ha venido a denominar la pirámide del conocimiento: Data – Information – Knowledge – Wisdom.

2) Conocimiento útil

Pongamos sobre la balanza dos elementos: “lo que como sociedad sabemos” vs. “todo lo que como sociedad debemos saber“. Fíjense en el matiz. En otras épocas, en otras sociedades, nuestros antepasados sabían bastante menos que lo que sabemos ahora. Pero no importaba; resultaba más que suficiente. Con la revolución neolítica, saber poner en valor las herramientas metálicas para sobrevivir mejor. Con la primera revolución energética (fuego), manejo del mismo para una mejor alimentación. Con la revolución industrial, hacer más con menos, automatizar trabajos y un poco de métodos y procedimientos para complementar el ser humano a las máquinas.

Pero con la revolución digital (la madre de todas las revoluciones por haber alterado tanto el sistema de transmisión de conocimiento como los mecanismos de producción), esto ya no se cumple. Ahora el coste marginal de distribucción y producción de información es tan bajo, que no crece a volúmenes gigantescos. En las revoluciones anteriores, tenían un conocimiento inmediato y de primera mano. Sabían y ponían en valor el conocimiento. Ahora, sabemos que hay conocimiento, sabemos quién tiene ese conocimiento, pero no nosotros en primera persona; recurrimos a él, está a nuestro alcance, pero nosotros en concreto no sabemos.

Esto no sé si es bueno o malo, pero sí por lo menos da que pensar. Ya no se trata tanto de memorizar, sino de tener habilidades de poner en valor conocimiento que disponen otros. Ya no se trata tanto de saber cosas, sino de saber aplicar conocimientos.

Esto es lo que llamo yo el enfoque intensivo o extensivo. Creo que con esto del Big Data se nos ha ido un poco de las manos; hemos querido abarcar mucho (enfoque extensivo), sin luego profundizar en cada uno de ellos. Por ejemplo, muchas Bases de Datos de cliente, que tienen millones de ellos. Pero, en muchas ocasiones, me he encontrado con Bases de Datos de clientes inactivos, fallecidos o incluso desaparecidos. ¿Es esto útil? No, pero lo guardamos, por si las moscas. y Ahí es donde hemos perdido el “enfoque intensivo”. Es decir, profundizar en cada registro, en lugar de querer abarcar muchos registros.

Esto es el Deep Data que incluía al comienzo del artículo. En la era de la complejidad, fundamental. La facilidad de acceso, conexión, disponibilidad de datos no es una oportunidad per se; ésta, debe ser trabajada y bien gestionada.

3) Generación de datos

Hoy en día nuestra capacidad para el “Data sensing“, es mayor que nunca. En realidad, esta capacidad, todos los organismos biológicos la hemos tenido siempre. La selección natural no deja de ser un proceso que ha dejado a los “mejores mineros de datos“. Los que mejor entendíamos, interpratábamos el mundo, a partir de la observación y supervivencia, mejor nos ha ido.

Con la aparición de la revolución digital, estas capacidades quedan extraordinariamente magnificadas. Seguimos usando datos de eventos para tomar decisiones. Sin embargo, las organizaciones debemos nadar mejor en este universo de datos. Debemos disponer de herramientas de observación que solo nos generan datos que realmente son útiles. Ese contexto, esas circunstacias que dan sentido, dan significado a los datos. El Smart Data.

El problema es que las organizaciones, en la gran mayoría de las ocasiones, no disponen de estas herramientas de observación. Por lo tanto, los datos que generan, no son luego puestos en valor. Nos estamos empeñando en divulgar las bondades del Big Data, sin haber todavía diseñado y puesto en valor instrumentos de observación al alcance de todas las compañías. En un país, como España, de PYMEs, todavía esto es más importante que en otros países.

Por lo tanto, últimamente, señalo mucho este punto. Hablo de la datos que sean relevantes desde el punto de vista práctico para la sostenibilidad futura de muchas cadenas de valor y muchos modelos de negocio, los dos elementos críticos para la supervivencia de una organización. Aquí, es donde suelo hablar del paradigma Garbage-In-Garbage-Out: si no disponemos de datos de calidad, por muy bueno que sea nuestro modelo analítico de procesamiento de datos, obtendremos también basura a la salida. Mejoremos la generación de datos para que mejore el rendimiento global del sistema.

Paradigma Garbage In-Garbage Out (Fuente: http://www.fourthandfourteenth.com/2014/12/garbage-in-garbage-out.html)
Paradigma Garbage In-Garbage Out (Fuente: http://www.fourthandfourteenth.com/2014/12/garbage-in-garbage-out.html)

4) Filtrado de datos

Comentaba al inicio que el trabajador del futuro, en una sociedad del exceso de datos e informacción, es un diseñador de la información, una persona que abre caminos en el laberinto de la información que tenemos. Las organizaciones deben acostumbrarse a filtrar todas las informaciones que son importantes para su día a día y reformular procedimientos y métodos de trabajo sobre la base de este mecanismo de trabajo.

El “Data Mining” tiene básicamente dos objetivos: informar y predecir. Informar de lo que ha ocurrido en el pasado es algo que, más o menos, podemos hacer con las herramientas estadísticas que hemos utilizado hasta ahora (básicamente la paramétricas y univariante). Pero ahora esto es mucho más complejo. Y es cuando debemos dar el salto hacia los modelos analíticos. De ahí, que para que esto realmente resulte eficiente, necesitamos dos habilidades clave:

  • Buscar y quedarse con la “información buena”: cuando alguien, aún hoy, me dice que “No sé algo“, me pongo muy nervioso. De hecho, en muchas ocasiones, mi respuesta suele ser el enlace que una búsqueda bien elaborada en Google genera. Es decir, que lo que tenemos que saber es cómo localizar la información, y saber filtrar entre la buena. Las habilidades de filtrado y búsqueda de información son más críticas que nunca.
  • Relacionar esta nueva “información buena” con la “buena que ya antes teníamos”: esta información con la que nos hemos quedado, ahora debemos relacionarla con la que ya teníamos. De ahi que las habilidades analíticas que comentábamos en el artículo anterior resulten tan importantes.

La cantidad de datos que hay a nuestra disposición debe ser reelaborado. Manejado. Mejorado. Poner en relación datos, hechos, opiniones para obtener una imagen coherente de la realidad. Y ahí, los modelos analíticos son fundamentales. Expresiones matemáticas que nos permitan modelizar los hechos que nos rodean. En definitiva, Smart Data and Deep Data para que las organizaciones se adapten bien a este mundo tan rico en datos e información.

Autor: alrayon

Lecturer and Researcher at Deusto University. Somehow, a stranger that loves both technology and economics, a sinergy that will conquer the world.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *