Google chat-GPT para consultas de salud

Presentación de MedPaLM

Si bien ChatGPT parece estar por todas partes sin casos de uso reales, Google Research y DeepMind introdujeron recientemente MedPaLM, un modelo de lenguaje grande de código abierto para fines médicos.

Se compara con MultiMedQA, un punto de referencia de preguntas y respuestas médicas de código abierto recientemente introducido. Combina HealthSearchQA, un nuevo conjunto de datos de respuesta libre de preguntas médicas buscadas en línea, con seis conjuntos de datos de respuesta de preguntas abiertas.

Cómo evaluar el desempeño de Google chat-GPT para consultas de salud ?

El punto de referencia también incorpora metodología para evaluar las respuestas del modelo humano a lo largo de varios ejes, incluida la realidad, la precisión, el daño potencial y el sesgo.

MedPaLM proporciona conjuntos de datos para preguntas de opción múltiple y para respuestas más largas a preguntas planteadas por profesionales médicos y no profesionales. Estos comprenden los conjuntos de datos de temas clínicos para MedQA, MedMCQA, PubMedQA, LiveQA, MedicationQA y MMLU. Además, se agregó un nuevo conjunto de datos de consultas médicas curadas y buscadas con frecuencia llamado HealthSearchQA para mejorar MultiMedQA.

El conjunto de datos de HealthsearchQA, que consta de 3375 preguntas frecuentes de los consumidores, se seleccionó utilizando diagnósticos médicos a modo de semilla , incorporando a la vez síntomas relacionados. A todos los usuarios que ingresaron las frases semilla se les mostraron las preguntas frecuentes disponibles públicamente que se recuperaron utilizando los datos semilla y fueron creadas por un motor de búsqueda.

PaLM al rescate

Los investigadores desarrollaron este modelo en PaLM, un LLM de 540 mil millones de parámetros, y su variación ajustada por instrucciones Flan-PaLM para evaluar LLM utilizando MultiMedQA.

Flan-PaLM logra el rendimiento de SOTA en temas clínicos de MedQA, MedMCQA, PubMedQA y MMLU combinando pocas «inyecciones» de datos , con cadena de pensamiento (CoT) y técnicas de autoconsistencia, superando con frecuencia muchas líneas de base sólidas de LLM por un amplio margen.

FLAN-PaLM se desempeña más del 17% mejor en el conjunto de datos MedQA de preguntas USMLE que el SOTA anterior. Sin embargo, la evaluación humana identifica brechas significativas en las respuestas de Flan-PaLM. 

El modelo resultante que aborda este problema es Med-PaLM, que afirma tener un buen desempeño en comparación con Flan-PaLM.

Sin embargo se dice que aún necesita superar el juicio de un experto médico humano.

Evaluación comparativa de los resultados

Por ejemplo, un grupo de médicos determinó que el 92,6% de las respuestas Med-PaLM estaban a la par con las respuestas generadas por el médico (92,9%), mientras que solo el 61,9% de las respuestas Flan-PaLM

Consecuencias negativas

Además, al igual que Flan-PaLM, el 5,8% de las respuestas Med-PaLM se evaluaron como potencialmente contribuyentes a consecuencias negativas, comparables a las respuestas generadas por los médicos (6,5%),

Solamente  el 29,7% de las respuestas de Flan-PaLM sí lo fueron.

Echa un vistazo al artículo completo aquí.

El juego de atención médica de Google

En el evento Google for India 2022, Google anunció una colaboración con Apollo Hospitals en India .para mejorar uso los  modelos de aprendizaje profundo en areas disgnósticas 

Otras asociaciones de salud de Google incluyen Aravind Eye Care System, Ascension, Mayo Clinic, Rajavithi Hospital, Northwestern Medicine, Sankara Nethralaya y Stanford Medicine, entre otros.

Google no es el primer gigante tecnológico en aventurarse en la solución de atención médica impulsada por IA. Microsoft también está trabajando estrechamente con el equipo de OpenAI para emplear Google chat-GPT para consultas de salud  y asi facilitar la colaboración entre empleados y médicos y mejorar la eficiencia de los equipos de atención médica.

Otros competidores avanzan en este campo

En noviembre de 2022, Meta AI también introdujo Galactica, el programa generado por IA que afirmaba que apoyaría a los investigadores académicos mediante la generación de revisiones exhaustivas de la literatura y entradas Wiki sobre cualquier tema; sin embargo, falló debido a resultados poco confiables.

Casi al mismo tiempo, Meta AI lanzó CICERO fusionando el procesamiento del lenguaje natural y el razonamiento estratégico. Es el primer agente de IA que se desempeña a nivel humano en el complejo juego de lenguaje natural «Diplomacy«.

Jugando contra humanos en el sitio web, el agente de IA mostró este rendimiento de SOTA al superar los puntajes promedio.

Además, estuvo entre el 10% superior de los jugadores que participaron en múltiples juegos.