Inteligencia Artificial y salud. Un caso práctico

Con el propósito de entender mejor los temas relativos a algoritmos de decisión ID3 y de La Inteligencia artificial ,  he preparado este documento que hace un repaso global  y  situa al lector en contexto: Inteligencia Artificial y salud. caso práctico.

En la era actual de la información, la evolución del análisis de datos ha experimentado una transformación radical, pasando de la estadística tradicional a enfoques más avanzados como el Big Data, la ciencia de datos y la inteligencia artificial. En este artículo, exploraremos cómo estas disciplinas emergentes han remodelado la forma en que analizamos y procesamos la información, y cómo han influido en la toma de decisiones en diversos campos.

Desde sus inicios, la estadística tradicional ha sido una herramienta fundamental para comprender y extraer conocimientos a partir de datos mediante la aplicación de métodos matemáticos y probabilísticos. Sin embargo, con la explosión de la información digital y la creciente complejidad y volumen de los datos, la estadística por sí sola ya no era suficiente para abordar los desafíos emergentes en el análisis de datos.

El advenimiento del Big Data trajo consigo la necesidad de abordar problemas de escala y velocidad en el análisis de datos, lo que llevó al desarrollo de infraestructuras de almacenamiento y procesamiento distribuido, así como algoritmos paralelos y soluciones de análisis en tiempo real. Esta revolución en la gestión de datos abrió las puertas a la ciencia de datos, una disciplina interdisciplinaria que combina técnicas de estadística, informática y visualización de datos para extraer conocimientos y patrones ocultos en grandes conjuntos de datos.

A medida que la ciencia de datos evolucionó, la inteligencia artificial (IA) y el aprendizaje automático (ML) surgieron como métodos fundamentales para analizar y modelar datos complejos y de alta dimensionalidad. Estas técnicas permiten a las máquinas aprender de los datos y adaptarse a nuevas situaciones, lo que resulta en modelos predictivos y sistemas autónomos que pueden abordar problemas cada vez más sofisticados.

Definiciones:

a.) Inteligencia Artificial:

b.) El Machine Learning:

El aprendizaje automático o aprendizaje automatizado o aprendizaje de máquinas es el subcampo de las ciencias de la computación y una rama de la inteligencia artificial. Cuyo objetivo es desarrollar técnicas que permitan que las computadoras “aprendan” a través de procesos que se conocen procesos de entrenamiento.

De forma más concreta, se trata de crear programas capaces de generalizar comportamientos a partir de una información suministrada en forma de ejemplos.

Es, por lo tanto, un proceso de inducción del conocimiento. En muchas ocasiones el campo de actuación del aprendizaje automático se solapa con el de la estadística computacional, ya que las dos disciplinas se basan en el análisis de datos. Sin embargo, el aprendizaje automático también se centra en el estudio de la complejidad computacional de los problemas.

Muchos problemas son de clase NP-hard, por lo que gran parte de la investigación realizada en aprendizaje automático está enfocada al diseño de soluciones factibles a esos problemas. El aprendizaje automático puede ser visto como un intento de automatizar algunas partes del método científico mediante métodos matemáticos.

c.) El Deep learning

 Aprendizaje profundo (en inglés, deep learning) por su parte es un conjunto de algoritmos de la clase del aprendizaje automático que modela abstracciones de alto nivel en datos usando arquitecturas compuestas de transformaciones no lineales múltiples.

El aprendizaje profundo es parte de un conjunto más amplio de métodos de aprendizaje automático basados en asimilar representaciones de datos. Una observación (por ejemplo, una imagen) puede ser representada en muchas formas (por ejemplo, un vector de pixels), pero algunas representaciones hacen más fácil aprender tareas de interés (por ejemplo, “¿es esta imagen una cara humana?”) sobre la base de ejemplos, y la investigación en esta área intenta definir qué representaciones son mejores y cómo crear modelos para reconocer estas representaciones.

Varias arquitecturas de aprendizaje profundo, como redes neuronales profundas, redes neuronales profundas convolucionales, y redes de creencia profundas, han sido aplicadas a campos como visión por computador, reconocimiento automático del habla, y reconocimiento de señales de audio y música, y han mostrado producir resultados de vanguardia en varias tareas.

 

El Big Data

Recientemente con la masificación del uso de computadores y del INTERNET los datos tambien tienen un comportamiento  exponencial.   Los datos se utilizan en las Organizaciones para tomar decisiones, pero por el volumen de los mismos,  cada dia se requieren de mas y mejores herramientas .  Idealmente los datos deberían tambien ayudarnos no sólo a gestionar las Organizaciones sino que tambien a predecir  fenómenos a futuro.   Hablemos entonces de lo  que se conoce como el  “BIG DATA” o macrodatos :

El termino de BIG DATA tiene una serie de características inherentes que han ido evolucionando con el pasar del tiempo,

y que pasaron de ser las 4 “V”  hasta llegar a las 8  “V” en la actualidad.

 

Ahora bien, Nuestros datos deben poder generar información y eventualmente conocimiento según se establece en la conocida pirámide de la  información:  (Datos, información , conocimiento y sabiduría)   Estos datos dentro de las Organizaciones irán siguiendo un proceso que inicialmente podría ser menos automatizado y que sigue un ciclo similar a este :

No hace muchos años que en este marco conceptual de información , conocimiento y sabiduría surge el concepto de Business Intelligence, el cual se define como “El conjunto de estrategias, aplicaciones, datos, productos, tecnologías y arquitectura técnicas, los cuales están enfocados a la administración y creación de conocimiento sobre el medio, a través del análisis de los datos existentes en una organización o empresa.

Pero conforme se han ido desarrollando digitalmente las Organizaciones, el BIG DATA también ha venido evolucionando  y es ahí donde vemos como el BIG DATA para ese procesamiento masivo de información utiliza las técnicas del “machine Learning” para dejar de ser un repositorio de datos históricos sin valor,  para convertirse en una herramienta  poderosa de investigación

Modelo experimental en salud, utilizando machine learning 

iremos presentando paso a paso un modelo que hemos construido a través del tiempo con técnicas de web scraping sobre repositorios públicos y que luego gracias a las herramientas de machine learning hemos construido en un ambiente para predicción en línea.

En realidad es un modelo muy simple que contiene únicamente 7 variables y un total de 2000 casos y que hemos creado para fines puramente didácticos .  Empecemos describiendo el set de datos

dentro de las características demográficas del modelo se incluyen: Sexo, Edad, Presencia de Hipertensión Arterial , Diabetes , Alcoholismo, tabaquismo y Obesidad.  Los pacientes habían sido clasificados de previo por haber sufrido o no cardiopatías (infartos, isquemias, etc.).

Es de esperar que entre estos dos grupos de pacientes (  sanos y enfermos ) exista un  desbalance , que de paso es normal en los modelos de datos en salud, pero  resulta perjudicial  porque el algoritmo terminaría aprendiendo de ese sesgo hacia los pacientes sanos o los enfermos .   Nuestro caso muestra un desbalance entre las clases que queremos predecir  de aprox: (1:1.172) , o sea que de los pacientes que tienen cardiopatia y los que no tienen existe una desproporción que tendremos que corregir con algun mètodo. El mas sencillo,  es considerar ese desajuste en los parámetros del algoritmo. Sin embargo existen otras técnicas más sofisticadas para corregir ese desbalance entre las clases y que podemos ver en este artículo escrito  previamente.

El modelo en detalle:

Un modelo de análisis de datos eficiente y efectivo es fundamental para abordar esta tarea. En este contexto, herramientas como Jupyter Notebooks y lenguajes de programación como Python han ganado popularidad debido a su facilidad de uso y capacidad para manejar grandes conjuntos de datos.

Jupyter Notebooks es una aplicación web de código abierto que permite crear y compartir documentos interactivos que contienen código en vivo, ecuaciones, visualizaciones y texto narrativo. Los usuarios pueden ejecutar y modificar el código en tiempo real, lo que facilita la experimentación y la iteración rápida en el análisis de datos. Jupyter Notebooks es compatible con múltiples lenguajes de programación, siendo Python uno de los más populares y ampliamente utilizados en la comunidad de ciencia de datos.

Python es un lenguaje de programación de alto nivel, de propósito general y fácil de aprender, que se ha convertido en una de las principales herramientas en el ámbito de la ciencia de datos. Su sintaxis clara y legible, junto con una amplia gama de bibliotecas y paquetes específicos para el análisis de datos, como NumPy, pandas, matplotlib y scikit-learn, hacen que Python sea una opción poderosa y flexible para realizar análisis de datos complejos.

Al combinar Jupyter Notebooks con Python, los científicos de datos pueden desarrollar y documentar eficientemente sus modelos de análisis de datos, proporcionando un entorno interactivo y colaborativo que facilita la exploración y comunicación de resultados. Este enfoque permite a los profesionales y las organizaciones extraer información valiosa de sus datos, impulsando la innovación y el crecimiento en diversas industrias.

Vamos entonces al ejercicio y vayamos viendo poco a poco los distintos bloques del programa que hemos hecho utilizando precisamente Jupyter Notebooks.   Si quiere instalar Júpiter notebook en su computador puede seguir el siguiente tutorial.

Siguiendo una  secuencia estructurada

 

Ahora de seguido procedemos a leer nuestro set de datos y a realizar las transformaciones requeridas

Subdivisión de los datos en subconjunto  de prueba y de entrenamiento:

El proceso de entrenamiento de datos es una etapa esencial en el desarrollo de modelos de Minería de datos, donde se utiliza un conjunto de datos para ajustar los parámetros del modelo y mejorar su rendimiento. Este proceso implica la división de los datos en subconjuntos para entrenamiento, prueba y validación, con el fin de garantizar que el modelo generalice bien a datos no vistos previamente y evitar el sobreajuste.

1. Conjunto de entrenamiento: Es el subconjunto de datos utilizado para entrenar y ajustar los parámetros del modelo. Este conjunto es el más grande de los tres y se utiliza para que el algoritmo de aprendizaje “aprenda” a partir de ejemplos con soluciones conocidas.
2. Conjunto de validación: Se utiliza para evaluar el rendimiento del modelo durante el proceso de entrenamiento y ajustar hiperparámetros, como la tasa de aprendizaje o la profundidad de un árbol de decisión. La validación permite seleccionar la mejor configuración del modelo y evitar el sobreajuste al no utilizar el conjunto de prueba en esta etapa.
3. Conjunto de prueba: Es un subconjunto independiente de datos que se utiliza para evaluar el rendimiento del modelo final. Al no haber sido utilizado durante el entrenamiento ni la validación, el conjunto de prueba proporciona una estimación imparcial de cómo el modelo se desempeñará en datos no vistos previamente.

La división de los datos en conjuntos de entrenamiento, validación y prueba es crucial para obtener modelos precisos y confiables. Al separar los datos de esta manera, se garantiza que el modelo se ajuste adecuadamente a los datos de entrenamiento y se evita el sobreajuste, lo que resulta en un modelo que se desempeña bien con datos nuevos y desconocidos.

 

 

Aplicación de los algoritmos:

En esta etapa, se seleccionan y aplican diferentes algoritmos para construir modelos que puedan extraer patrones y relaciones significativas de los datos. El propósito de esta etapa es encontrar el algoritmo que mejor se adapte al problema en cuestión y produzca el mejor rendimiento en términos de precisión, generalización y eficiencia computacional.

Existen varios tipos de algoritmos de aprendizaje automático que se pueden aplicar según la naturaleza del problema y los objetivos del análisis:   yo he realizado una clasificaciòn de orden didactico para favorecer su entendimiento, y es la que se presenta en la parte inicial de este artículo.   y que resume los diferentes tipos de algoritmos en dos grandes categorías los algoritmos tradicionales y los algoritmos modernos

 

dentro de los algoritmos tradicionales tenemos los algoritmos supervisados y los no supervisados.

Dentro de los algoritmos supervisados tenemos:

1. Algoritmos de clasificación: Estos algoritmos tienen como objetivo predecir una variable categórica o de clase a partir de un conjunto de características. Ejemplos de algoritmos de clasificación incluyen regresión logística, árboles de decisión, máquinas de vectores de soporte (SVM), K-vecinos más cercanos (KNN) y redes neuronales.
2. Algoritmos de regresión: Estos algoritmos buscan predecir una variable continua en función de un conjunto de características. Algunos ejemplos de algoritmos de regresión son regresión lineal, regresión polinomial, árboles de decisión de regresión y redes neuronales.

 

Y dentro de los algoritmos no supervisados se describen:

1. Algoritmos de clustering: Estos algoritmos tienen como objetivo agrupar o segmentar los datos en grupos homogéneos basados en características similares. Ejemplos de algoritmos de clustering incluyen K-means, DBSCAN y agrupamiento jerárquico.
2. Algoritmos de reducción de dimensionalidad: Estos algoritmos se utilizan para reducir la cantidad de características en los datos, eliminando redundancias y ruido, lo que facilita el análisis y la visualización. Ejemplos de algoritmos de reducción de dimensionalidad son el análisis de componentes principales (PCA), t-SNE y autoencoders.
3. Algoritmos de aprendizaje reforzado: Estos algoritmos permiten a un agente aprender a tomar decisiones basadas en recompensas y penalizaciones a través de interacciones con su entorno. Ejemplos de algoritmos de aprendizaje reforzado incluyen Q-learning, Deep Q-Networks (DQN) y Proximal Policy Optimization (PPO).

Machine Learning Moderno

 

En nuestro caso aplicaremos inicialmente el algoritmo de regresión logística el cual también es un algoritmo de clasificación y que por tanto puede ser de utilidad dentro del modelo que estamos desarrollando.

Como se puede observar el rendimiento de ste algoritmo sobfre nuesto subconjunto der datos es  malo (menos al 80% )  y por tanto estaría descartado de momento.

Algoritmo de arboles decisorios (segunda opción )

Ajustes complejos

 

 

Tome nota de los 3 parámetros (hiperparametros)  que serà necesario “ajustar”

min_samples _split:  Es el número de muestras antes de dividirse el árbol en una nueva rama

min_samples _leaf:  Es el número de muestras minino que debe tener cada hoja al final = 5 par este caso tratandose de que son muy pocos casos

max_depth:  Es el número de niveles que tendrá nuestro  el árbol = 2 par este caso, tratándose de que son muy pocos casos

class_weight:   se refiere al desbalance que hubiese que corregir por desbalance entre las clases en nuestro caso 1:1.72 ( como se había observado antes)

Resultado inicial

Si hemos hecho todo bien,  el resultado que tendremos será similar a este:

 

Veamos como el primer punto de división lo constituye la edad (a la izquierda irían los jóvenes y a la derecha los mayores) recordemos que hemos re-codificado la variable edad por eso vemos valortes enteros que van de 1 a 4

Las métricas de evaluación:

Las métricas de evaluación son herramientas cuantitativas utilizadas para medir el rendimiento y la precisión de los algoritmos de aprendizaje automático, tanto en problemas de clasificación como de regresión. Estas métricas son esenciales para evaluar la efectividad de un modelo y ajustar sus parámetros para mejorar su rendimiento.

 

Con el propósito de profundizar en las técnicas para la evaluación de los algoritmos presentamos a continuación como es que se manipulan los datos en las subcategorías de entrenamiento y prueba a través del uso de la librería scikit learn con el propósito de aplicar posteriormente las técnicas de evaluación y conocer finalmente la precisión del algoritmo sobre nuestros datos

 

 

 

Veamos de forma práctica cómo incorporamos estas métricas de evaluación dentro de nuestra Jupyter Notebook

Ajuste de hiperparámetros

La etapa de ajuste de hiperparámetros permite encontrar la configuración óptima que mejora el rendimiento del modelo y evita el sobreajuste. En el caso de un árbol de decisión, los hiperparámetros son parámetros que no se aprenden directamente durante el entrenamiento, pero afectan el proceso de construcción del árbol y su estructura. Algunos ejemplos de hiperparámetros en un árbol de decisión incluyen la profundidad máxima del árbol, el número mínimo de muestras requeridas para dividir un nodo y el número mínimo de muestras en un nodo hoja.

Cross validation

Hay otros métodos que utilizamos para mejorar la precisión de los algoritmos y no tanto para evaluarlos una de ellas es la La validación cruzada:

La validación cruzada (cross-validation)  es una técnica utilizada para evaluar el rendimiento de un modelo de aprendizaje automático en diferentes subconjuntos de datos de entrenamiento y validación. Esto permite obtener una estimación más precisa y robusta del rendimiento del modelo en datos no vistos. El método más común de validación cruzada es el k-fold cross-validation, donde los datos se dividen en k subconjuntos (folds) y el modelo se entrena y evalúa k veces, utilizando cada fold como conjunto de validación en una iteración y el resto como conjunto de entrenamiento., una técnica que usa  la división del conjunto de datos en subconjuntos de entrenamiento  en varios subconjuntos. Otra técnica  de cross validation incluyen es  el rid Search: Que es un método de búsqueda exhaustiva que evalúa múltiples combinaciones de parámetros para encontrar la mejor configuración de hiper parámetros para el modelo

Optimizando el modelo

 

Aa partir de estos cambios podemos generar un nuevo árbol optimizado con un valor de precisión muchísimo más alto que el obtenido originalmente  sin ajustar.

Modelo final ajustado

Una vez finalizado el análisis del modelo, incluyendo la selección de atributos, el entrenamiento, y la validación cruzada , con el ajuste de hiperparámetros, es importante evaluar el rendimiento del modelo final utilizando el conjunto de prueba. Para ello, se emplean métricas de evaluación como la matriz de confusión, el reporte de clasificación y la precisión final

1. Matriz de confusión: La matriz de confusión es una tabla que muestra la distribución de las predicciones del modelo en comparación con las verdaderas etiquetas de clase. Los elementos diagonales de la matriz representan las predicciones correctas, mientras que los elementos fuera de la diagonal indican errores de clasificación. La matriz de confusión permite calcular métricas adicionales como la precisión, el recall, la tasa de verdaderos positivos (sensibilidad) y la tasa de verdaderos negativos (especificidad).
2. Reporte de clasificación: El reporte de clasificación es un resumen de las métricas de evaluación del modelo para cada clase, incluyendo precisión, recall, F1-score y soporte. La precisión mide la proporción de predicciones correctas para una clase específica, el recall evalúa la proporción de casos verdaderos de esa clase identificados correctamente, y el F1-score es una medida armónica que combina precisión y recall. El soporte indica el número de casos verdaderos de cada clase en el conjunto de prueba. El reporte de clasificación ayuda a identificar las clases en las que el modelo tiene un rendimiento superior o inferior y a detectar posibles desequilibrios de clase.

Etapa de Predicción:

La etapa de predicción es la fase final en el proceso de análisis de datos, en la cual se aplica el modelo entrenado y optimizado con los algoritmos a un conjunto de datos nuevos e independientes. Durante esta etapa, el modelo utiliza el conocimiento adquirido durante el entrenamiento para generar predicciones o estimaciones de las etiquetas o valores objetivo desconocidos. La predicción es esencial para poner en práctica los resultados del análisis, permitiendo tomar decisiones basadas en los patrones y relaciones aprendidas por el algoritmo, y así abordar aplicar el conocimiento adquirido a nuevos pacientes.  Veamos ahora cómo se realizó este último proceso

 

Predicciòn en línea:

El resultado final totalmente integrado es este:

El código del modelo – modelo experimental para la predicción de cardiopatía

El presente artìculo sobre:  Inteligencia Artificial y salud. Caso práctico . Fue escrito por el Dr. Juan Ignacio Barrios A.  El doctor Barrios Arce es médico y cirujano especialista en informática médica tiene un máster en Business Intelligence y es experto en Big Data y ciencia de datos, cursa estudios en Barcelona sobre inteligencia artificial y  colabora como profesor invitado de la cátedra de ingeniería biomédica de la Facultad de física en la Universidad de Barcelona y es también faculty member de la Universidad de Rochester en los Estados Unidos de Norteamérica