Las anomalías de datos pueden tener un impacto significativo en el campo de la ciencia de datos, lo que genera conclusiones incorrectas o engañosas. Por ejemplo, un solo valor atípico puede afectar significativamente la media de un conjunto de datos, lo que lo convierte en una representación imprecisa de los datos. Además, las anomalías de datos pueden afectar el rendimiento de los algoritmos de aprendizaje automático, ya que pueden hacer que el modelo se ajuste al ruido en lugar del patrón subyacente en los datos.

Identificar y manejar las anomalías de los datos es crucial por varias razones: 

Calidad de datos mejorada: identificar y manejar anomalías de datos puede mejorar significativamente la calidad de los datos, que es esencial para un análisis de datos preciso y confiable. Al abordar las anomalías de datos, los analistas pueden reducir el ruido y los errores subyacentes.

Toma de decisiones mejorada: la toma de decisiones basada en datos se basa en un análisis de datos preciso y confiable para tomar decisiones. Al identificar y manejar anomalías de datos, los analistas pueden garantizar que sus hallazgos sean más confiables, lo que lleva a decisiones mejor fundamentadas y resultados mejorados.

Rendimiento optimizado del aprendizaje automático: las anomalías de datos pueden afectar significativamente el rendimiento de los algoritmos de machine learning, ya que pueden hacer que el modelo se ajuste al ruido en lugar del patrón subyacente en los datos. Al identificar y manejar anomalías de datos precisas, los analistas pueden optimizar el rendimiento de sus modelos de máquina confiables.

Los tipos de anomalías de datos que un sistema de detección de anomalías puede descubrir se dividen en uno de dos tipos generales: no intencionales e intencionales.

Las anomalías involuntarias son puntos de datos que se desvían de la norma debido a errores o ruido en el proceso de recopilación de datos. Estos errores pueden ser sistemáticos o aleatorios, originados por problemas como sensores defectuosos o errores humanos durante la introducción de datos. Las anomalías involuntarias pueden alterar el conjunto de datos, lo que dificulta obtener información estratégica precisa.

Por otro lado, las anomalías intencionales son puntos de datos que se desvían de la norma debido a acciones o eventos específicos. Estas anomalías pueden proporcionar información valiosa sobre el conjunto de datos, ya que pueden resaltar ocurrencias o tendencias únicas.

Por ejemplo, un pico repentino en las ventas durante una temporada festiva podría considerarse una anomalía intencional, ya que se desvía del patrón de ventas típico, pero se espera debido a un evento real.

En términos de datos de negocio, existen tres anomalías principales de datos de series temporales: anomalías de puntos, anomalías contextuales y anomalías colectivas.

Las anomalías de puntos, también conocidas como valores atípicos globales, son puntos de datos individuales que existen lejos del resto del conjunto de datos. Pueden ser intencionales o no intencionales y pueden resultar de errores, ruido o ocurrencias únicas.

Un ejemplo de anomalía de punto es un retiro de cuenta bancaria que es significativamente mayor que cualquiera de los retiros anteriores del usuario.   

Las anomalías contextuales son puntos de datos que se desvían de la norma dentro de un contexto específico. Estas anomalías no son necesariamente valores atípicos cuando se consideran aisladas, sino anómalas cuando se ven dentro de su contexto específico.

Por ejemplo, considere el uso de energía en el hogar. Si hay un aumento repentino en el consumo de energía al mediodía, cuando normalmente no hay miembros de la familia en casa, la anomalía sería contextual. Es posible que este punto de datos no sea un valor atípico en comparación con el consumo de energía por la mañana o por la noche (cuando las personas suelen estar en casa), pero es anómalo en el contexto de la hora del día.

Las anomalías colectivas implican un conjunto de instancias de datos que juntos se desvían de la norma, aunque las instancias individuales pueden parecer normales.

Un ejemplo de este tipo de anomalía sería un conjunto de datos de tráfico de red que muestra un aumento repentino del tráfico de varias direcciones IP al mismo tiempo.

El uso de un sistema de detección de anomalías para detectar anomalías de datos es un aspecto crítico del análisis de datos, lo que garantiza que los hallazgos sean precisos y confiables. Se pueden utilizar varios métodos de detección de anomalías para crear un sistema de detección de anomalías:

La visualización es una herramienta poderosa para detectar anomalías de datos, ya que permite a los científicos de datos identificar rápidamente posibles valores atípicos y patrones en los datos. Al trazar los datos usando gráficos y gráficos, los analistas pueden inspeccionar visualmente el conjunto de datos para cualquier punto inusual o de tendencias.

Las pruebas estadísticas pueden ser utilizadas por científicos de datos para detectar anomalías de datos comparando los datos observados con la distribución o el patrón esperado.

Por ejemplo, la prueba Grubbs se puede utilizar para identificar valores atípicos en un conjunto de datos comparando cada punto de datos con la desviación media y estándar de los datos. Del mismo modo, la prueba de Kolmogorov-Smirnov se puede utilizar para determinar si un conjunto de datos sigue una distribución específica, como una distribución normal.

Los algoritmos de aprendizaje automático se pueden utilizar para detectar anomalías de datos aprendiendo el patrón subyacente en los datos y luego identificar cualquier desviación de ese patrón. Algunos de los algoritmos de detección de anomalías ML más comunes incluyen:

• Árboles de decisión: un tipo de árbol de decisión, el bosque de aislamiento, es un método de aprendizaje conjunto que aísla anomalías seleccionando al azar una característica y luego seleccionando aleatoriamente un valor dividido entre los valores máximos y mínimos de la característica seleccionada.
  
  
• Máquina vectorial de soporte de una clase (SVM): una SVM de clase es un método de algoritmo de clasificación capacitado solo en las instancias "normales", cuyo objetivo es crear un límite que abarque los datos normales. Las instancias que caen fuera de este límite se consideran anomalías.
  
  
• k-Vecinos más cercanos (k-NN): k-NN es un algoritmo simple que clasifica un punto de datos basado en la mayoría de la clase de sus vecinos más cercanos. Las instancias que tienen significativamente menos vecinos de la misma clase pueden considerarse anomalías.
  
  
• Naive Bayesian: estos métodos funcionan definiendo la probabilidad de que ocurra un evento en función de la presencia de factores contribuyentes y la detección de relaciones con la misma causa principal.
  
  
• Autocodificadores: un tipo de red neural que utiliza datos con marca de tiempo para pronosticar patrones de datos e identificar anomalías que no se alinean con los datos históricos. 
  
  
• Factor de valor atípico local (LOF): LOF es un algoritmo basado en la densidad que mide la desviación de densidad local de un punto de datos con respecto a sus vecinos. Los puntos con una densidad significativamente menor en comparación con sus vecinos se consideran valores atípicos.
  
  
• clustering de k-means: k-means es una técnica de agrupamiento que analiza la distancia media de los puntos de datos sin etiquetar y luego ayuda a agrupar los mismos en grupos específicos. 

Un algoritmo de detección de anomalías puede aprender a identificar patrones y detectar datos anómalos mediante diversas técnicas de entrenamiento de aprendizaje automático. La cantidad de datos etiquetados, si los hay, en el conjunto de datos de entrenamiento de un equipo de datos determina cuál de las principales técnicas de detección de anomalías utilizarán: no supervisada, supervisada o semisupervisada.

Con técnicas de detección de anomalías no supervisadas, los ingenieros de datos entrenan un modelo proporcionándole conjuntos de datos sin etiquetar que utiliza para descubrir patrones o anomalías por sí mismo. Aunque estas técnicas son mucho más usadas debido a su aplicación más amplia y relevante, requieren conjuntos de datos masivos y potencia informática. El aprendizaje automático no supervisado se encuentra con mayor frecuencia en escenarios de aprendizaje profundo, que dependen de redes neuronales artificiales.

Las técnicas supervisadas de detección de anomalías utilizan un algoritmo que se entrena en un conjunto de datos etiquetado que incluye instancias normales y anómalas. Debido a la falta de disponibilidad general de los datos de capacitación etiquetados y a la naturaleza inherente no equilibrada de las clases, rara vez se utilizan estas técnicas de detección de anomalías. 

Las técnicas semisupervisadas maximizan los atributos positivos tanto de la detección de anomalías no supervisada como de la detección supervisada de anomalías. Al proporcionar un algoritmo con alguna parte de los datos etiquetados, se puede capacitar parcialmente. Luego, los ingenieros de datos utilizan el algoritmo parcialmente entrenado para etiquetar un conjunto de datos más grande de forma autónoma, denominado "pseudoetiquetado". Suponiendo que resulten fiables, estos puntos de datos recién etiquetados se combinan con el conjunto de datos original para ajustar el algoritmo.

Encontrar la combinación adecuada de aprendizaje automático supervisado y no supervisado es vital para la automatización del aprendizaje automático. Idealmente, la gran mayoría de las clasificaciones de datos se realizarían sin interacción humana de manera no supervisada. Dicho esto, los ingenieros de datos aún deberían poder alimentar algoritmos con datos de capacitación que ayudarán a crear líneas base habituales para el negocio. Un enfoque semisupervisado permite escalar la detección de anomalías con la flexibilidad necesaria para establecer reglas manuales relativas a anomalías específicas.

Los modelos de detección de anomalías se utilizan ampliamente en las industrias de banca, seguros y comercio de acciones para identificar actividades fraudulentas en tiempo real, como transacciones no autorizadas, lavado de dinero, fraude con tarjetas de crédito, reclamos de declaraciones de impuestos falsas y patrones comerciales anormales.

En ciberseguridad, un sistema de detección de intrusos (IDS) utiliza la detección de anomalías para ayudar a identificar actividades inusuales o sospechosas en el tráfico de red, lo que indica posibles amenazas o ataques de seguridad como infecciones de malware o acceso no autorizado.

Se utiliza en el sector sanitario para identificar condiciones inusuales de los pacientes o anomalías en los datos médicos, lo que ayuda a detectar enfermedades, controlar la salud de los pacientes y tratarlos con mayor eficacia.

En la fabricación, los algoritmos de detección de anomalías, junto con la visión artificial, se emplean para identificar defectos en productos o embalajes mediante el análisis de imágenes de cámaras de alta resolución, datos de sensores y métricas de producción.

Se utiliza para supervisar el rendimiento de los sistemas informáticos y mantener el buen funcionamiento de las operaciones mediante la identificación de patrones inusuales en los registros de los servidores y la reconstrucción de fallos a partir de patrones y experiencias pasadas para predecir posibles problemas o fallos.

La detección de anomalías ayuda a predecir fallas de equipos o necesidades de mantenimiento en industrias como la aviación, la energía y el transporte. Los sensores impulsados por IoT se utilizan para recopilar datos de equipos industriales, identificar desviaciones y predecir fallos futuros.

Se utiliza para monitorear los patrones de consumo de energía e identificar anomalías en el uso, lo que puede conducir a una gestión de energía más eficiente y a la detección temprana de fallas de equipos.

En el comercio electrónico, la detección de anomalías se aplica para identificar actividades fraudulentas, como reseñas falsas, apropiaciones de cuentas o comportamientos de compra anormales.

Las empresas también utilizan modelos de detección de anomalías para identificar patrones inusuales en el comportamiento de los clientes, lo que ayuda a detectar fraudes, predecir la pérdida de clientes y mejorar las estrategias de marketing.