¿Cómo saber si la información que manejo es Big Data?

¿Cómo saber si la información que manejo es Big Data?

El volumen de datos que actualmente manejan las organizaciones tiende a crecer de forma tan acelerada y de gran manera, que se vuelve difícil de explorar la data con las herramientas de gestión de bases de datos tradicionales. Entre algunas de las dificultades podemos nombrar es el almacenamiento, la búsqueda, el intercambio, el análisis y la visualización de la información. En la gestión de estos grandes volúmenes de datos el Big Data es un elemento clave, porque utiliza tecnologías heterogéneas y complementarias y para el manejo de dato utilza Hadoop, NoSQL, Column oriented DB y SQL Databases, con poderosas herramientas de visualización. 

.

Big Data
 IMPORTANTE

No porque manejes grandes volúmenes de información, quiere decir que estas trabajando con Big Data.

Big Data

Las 5V del Big Data 

 La pandemia ha marcado un antes y un después en los hábitos de nosotros como consumidores y también acelero la transformación digital de muchas empresas a nivel mundial.

 Ahora muchas compañías si desean seguir escalando en sus negocios, quieren tomar sus datos, agruparlos, gestionarlos y analizarlos,  para crear nuevas estrategias que sean medibles, acertadas y basadas en datos.

Para conocer si la información que estas manejando es Big Data, debe contener estas cinco dimensiones:

Volumen: Cantidad de datos masivos recolectados multiples fuentes.

Variedad: Datos generados en tiempo real y procesados con la misma velocidad.

Velocidad:  Datos estructurados y no estructurados, tablas, imágenes, videos, audios, base de datos etc.

Veracidad: Calidad y confiabilidad de los datos.

Valor: Los datos deben proporcionar un valor o beneficio a la empresa.

Sabías que la mayoría de los autores coinciden en situar el origen del Big Data en Google!!

 

Relacionado

Subscribe & Follow

Disfruta de mi Newsletter

Inscríbete de forma gratuita a mi newsletter y podrás recibir cada mes en tu correo electrónico, información resumida acerca de mis últimos posts.

¿Y qué es un Data Lake? 🤨

¿Y qué es un Data Lake? 🤨

Un Data Lake es un repositorio o sistema de almacenamiento para grandes cantidades de datos de cualquier tipo, almacenados en su formato nativo y utilizado principalmente por especialistas en datos (estadísticos, científicos de datos o analistas) para la extracción de conocimiento mediante tecnologías de bajo costo que mejoran la exploración de datos dentro de una empresa y que contiene un conjunto de datos que pueden ser estructurados, semiestructurados o no estructurados.

El Data Lake va más allá del Data Warehouse superando las limitaciones de espacio. A las empresas los almacenes de datos ya se hayan empezado a quedar pequeños, creando así la necesidad de buscar nuevas formas donde guardar su información a un precio más accesible, para estos complejos problemas surge la solución del Data Lake.

  IMPORTANTE

El Data Lake es un repositorio que almacena grandes cantidades de datos, donde los datos pueden ser estructurados,  semiestructurados o no estructurado.

^

ventajas de un data lake

 1.- Permite centralizar todos los datos en un mismo lugar, sea cual sea su origen. 

2.- Es posible que la fuente original del dato esté obsoleta o se haya desactivado, pero su contenido puede seguir siendo valioso para el análisis. Con este sistema se puede acceder a dicha información.

3.- Todos los datos que llegan al sistema pueden ser normalizados y enriquecidos.

4.- Los datos se preparan de acuerdo con las necesidades del momento, lo que reduce notablemente los costes y los tiempos.

5.- Cualquier usuario autorizado puede acceder a la información y enriquecerla desde cualquier lugar, lo que ayuda a la organización a reunir con más facilidad los datos necesarios para tomar decisiones.

^

capacidades de un data lake

1.- Capturar y almacenar datos sin procesar a escala a un bajo costo.
2.- Almacenar muchos tipos de datos en el mismo repositorio.
3.- Realizar transformaciones en los datos.
4.- Definir la estructura de los datos en el momento en que se utilizan, evitando el esfuerzo complejo y costoso de modelado e integración de datos.
5- Realizar nuevos tipos de procesamiento de datos.
6.- Realizar análisis de un solo sujeto basados en casos de uso muy específicos.

 

 

Data lake y sus datos

Relacionado

¿Es Excel una base de datos?

¿Es Excel una base de datos?

Antes de definir: ¿Si Excel es un base de datos o no?, vamos a definir ¿Qué es una base de datos?, veamos las definiciones de algunos autores reconocidos como C. J. Date, Adoración de Miguel,...

Habilidades Blandas: Manejo de la frustración

Habilidades Blandas: Manejo de la frustración

Desde hace 7 años comencé la aventura de mudarme del país donde nací y enfrentarme a nuevos retos a nivel laboral y personal, que por cierto no ha sido nada fácil.  Desde que salí de mi país el...

¿Qué es la computación en la nube?

¿Qué es la computación en la nube?

La computación en la nube es el uso de una red de servidores remotos conectados a internet para almacenar, administrar y procesar datos, servidores, bases de datos, redes y software, bajo demanda....

Subscribe & Follow

Disfruta de mi Newsletter

Inscríbete de forma gratuita a mi newsletter y podrás recibir cada mes en tu correo electrónico, información resumida acerca de mis últimos posts.

Usar Big Data y Analítica para cambiar la forma de hacer negocios.

Usar Big Data y Analítica para cambiar la forma de hacer negocios.

La tecnología de Big Data se debe utilizar para generar un nuevo estilo de trabajo con datos. No es hacer Big Data para cambiar mi Dashboard, que antes lo hacia con la información del Data Warehouse y ahora lo hago desde un Data Lake, porque no estoy generando transformación, simplemente estoy actualizando tecnología.

Se usa Big Data y analítica para cambiar la forma de hacer negocios.  Un ejemplo sería que hace  15 años en Latinoamérica era imposible pensar, que se podía abrir una cuenta de ahorros o entregarle una tarjeta de crédito a un cliente sin verle la cara. 

Detrás del proceso de abrir una cuenta o entregar una tarjeta de crédito a un cliente de forma no presencial, existen una serie de automatizaciones de procesos y una serie de algoritmos que me indican si ese cliente es la persona que dice ser, si cumple con el nivel de riesgo requerido, para la apertura de una cuenta o entrega de tarjeta  y cuanto se le puede otorgar de límite de crédito. 

Big Data
 IMPORTANTE

No es solo pensar en la tecnología, sino:

1.- ¿ Cómo cambio mis procesos de negocio?  y

2.- ¿Cómo a esos procesos de negocio transformados, los apoyo con tecnología de Big Data?

^

el CLIENTE AL CENTRO

Para el proceso de transformación digital, el cliente tiene que ser el centro y estructurarse alrededor de él. Sin embargo existen muchas empresas que tienen el cliente al centro, pero están estructuradas por productos.

Resulta que también hay que cambiar las estructuras organizacionales y analizar, como respondo actualmente a las necesidades del cliente, para que las estrategias de datos y analíticas puedan tener éxito. 

Las estrategias en si misma sin transformar el negocio,  no tienen buena perspectiva de éxito.

^

Quitarle la responsabilidad de análisis de información a las aplicaciones

Toda la información manejada en los sistemas operacionales (Sistemas de Ventas, CRM, Sistemas de Facturación entre otros), se extrae y se lleva a una capa de datos, con este proceso de extracción se ayuda a romper los Silos de Información, que existen dentro de las empresas.

Mientras la responsabilidad de  analítica y entendimiento de los datos se hace en la capa de datos, donde también se procesan algoritmos y esta basada en tecnología de Big Data.   

^

la estrategia deL NEGOCIO y la estrategia de datos

El equipo encargado de organizar las estrategias para el negocio, tiene que tener cultura de data driven, porque van a tomar los insumos de los dashboards o modelos, basados en tecnología de big data y  ejecutar sus estrategias.

Cuando los algoritmos, modelos o la inteligencia artificial están listos, le toca al equipo del negocio creer y validar que eso funciona, siempre tendrán que modificar algún porcentaje de su forma de hacer las cosas, para poder adoptar esas prácticas a la toma de decisiones, aplicación de estrategias basada en datos e implantación de modelo artificial dentro de su flujo de trabajo.

Te invito a que analices ¿Cómo los proyectos de transformación digital, han cambiado el flujo de trabajo dentro de tu empresa?.

 

Relacionado

¿Por qué necesitamos la visualización de información?

¿Por qué necesitamos la visualización de información?

Porque hoy en día normalmente al realizar las extracciones de los diferentes sistemas de las empresas, se nos presentan archivos llenos de datos,  pero que realmente nos dicen muy poco. Es bastante difícil de entender en la imagen de números, que se esconde detrás de...

¿Es Excel una base de datos?

¿Es Excel una base de datos?

Antes de definir: ¿Si Excel es un base de datos o no?, vamos a definir ¿Qué es una base de datos?, veamos las definiciones de algunos autores reconocidos como C. J. Date, Adoración de Miguel, Piattini, Elmasri y Navathe:  "Una base de datos es un conjunto de datos...

Habilidades Blandas: Manejo de la frustración

Habilidades Blandas: Manejo de la frustración

Desde hace 7 años comencé la aventura de mudarme del país donde nací y enfrentarme a nuevos retos a nivel laboral y personal, que por cierto no ha sido nada fácil.  Desde que salí de mi país el cambio ha sido una constante en mi vida diaria, la flexibilidad es mi...

Escucha Activa en mi cargo de Analista Business Intelligence

Escucha Activa en mi cargo de Analista Business Intelligence

Actualmente tengo el cargo de Analista Business Intelligence, entre mis funciones está:  programar en Phyton, realizar las cargas en la nube de AWS, modelamiento de datos, diseñar las big tables, realizar minería de datos, entender en negocio para buscar posibles...

¿Qué es la computación en la nube?

¿Qué es la computación en la nube?

La computación en la nube es el uso de una red de servidores remotos conectados a internet para almacenar, administrar y procesar datos, servidores, bases de datos, redes y software, bajo demanda. En lugar de que las organizaciones tengan que hacer grandes inversiones...

¿Cómo saber si la información que manejo es Big Data?

¿Cómo saber si la información que manejo es Big Data?

El volumen de datos que actualmente manejan las organizaciones tiende a crecer de forma tan acelerada y de gran manera, que se vuelve difícil de explorar la data con las herramientas de gestión de bases de datos tradicionales. Entre algunas de las dificultades podemos...

Subscribe & Follow

Disfruta de mi Newsletter

Inscríbete de forma gratuita a mi newsletter y podrás recibir cada mes en tu correo electrónico, información resumida acerca de mis últimos posts.