Ganar un exámen, no es ganar en la consulta:

Ganar un exámen, no es ganar en la consulta:

lo que el último estudio de Nature Medicine dice (y oculta) sobre la IA clínica

Por Dr. Juan Ignacio Barrios Arce · Barcelona, 2026 *

En diciembre de 2025, un grupo de investigadores del NYU Langone Health y la Universidad de Texas en Austin sometió a una prueba «incómoda» a las dos herramientas de inteligencia artificial clínica más populares del momento —OpenEvidence y UpToDate Expert AI— enfrentándolas a tres modelos de lenguaje generalistas: GPT-5.2, Gemini 3.1 Pro y Claude Opus 4.6. El resultado, publicado en Nature Medicine en junio de 2026, es contraintuitivo y merece una lectura cuidadosa: los modelos de propósito general ganaron en las tres evaluaciones. Las herramientas especializadas, construidas específicamente para medicina y dotadas de recuperación documental sobre fuentes clínicas curadas, quedaron por detrás. Y, para añadir sal a la herida, rindieron al mismo nivel que el resumen automático de búsqueda de Google.

Es tentador titular esto como «la IA generalista derrota a la IA médica» y cerrar el caso. Pero ese titular es a la vez correcto y profundamente engañoso. Hay dos preguntas escondidas detrás de estos números, y conviene separarlas: primero, ¿qué significa realmente «ser mejor» cuando hablamos de un sistema que va a sentarse al lado de un médico? Y segundo, si la recuperación documental sobre fuentes de máxima calidad es el ingrediente que supuestamente diferencia a estas herramientas, ¿por qué demonios las hizo perder?

El problema de confundir el examen con el ejercicio

La primera tentación, casi un reflejo en quien lleva +30 años en informática médica, es desconfiar de los benchmarks. Y con razón. El primer escalón del estudio fueron 500 preguntas tipo MedQA, el formato del examen de licenciatura estadounidense: opción múltiple, respuesta cerrada, una sola correcta. Gemini acertó el 97,4%, una cifra que en un ser humano significaría un examen perfecto y en una máquina significa, sobre todo, que el examen ya no discrimina nada.

El problema de fondo de estos exámenes es doble. Por un lado, la contaminación de datos: MedQA es público, lleva años circulando, y es razonable sospechar que fragmentos del banco de preguntas acabaron en los corpus de entrenamiento de los modelos. Acertar una pregunta que ya viste no es razonar, es recordar. Los propios autores lo admiten como limitación. Por otro lado, y más importante, el formato mismo es una ficción clínica: ningún paciente llega a la consulta ofreciendo cuatro opciones etiquetadas de la A a la D, con la garantía de que una es correcta. La medicina real es de respuesta abierta, con información incompleta, donde la pregunta difícil no es «¿cuál de estas cuatro?» sino «¿qué le falta a esta historia para que yo entienda qué pasa?».

Hasta aquí, la tesis escéptica se sostiene sola. El problema es que el estudio se anticipó a ella.

El golpe en la mandíbula: también ganan en lo real

El tercer escalón de la evaluación es el que convierte este paper en algo más que otra tabla de benchmarks. Los autores construyeron el Real Clinical Queries (RCQ): 100 consultas reales y anonimizadas que médicos del NYU Langone habían dirigido a una instancia de IA durante la práctica asistencial cotidiana. Doce clínicos, sin saber qué modelo había generado cada respuesta, las puntuaron a ciegas en cuatro dimensiones —corrección clínica, completitud, seguridad y claridad— produciendo 1.800 anotaciones manuales. Este benchmark no está contaminado: las consultas nunca estuvieron en internet, nunca pudieron filtrarse a ningún corpus de entrenamiento.

Y aquí los modelos generalistas volvieron a ganar. Emergieron dos niveles de rendimiento estadísticamente separados: arriba, los tres frontier (Gemini 3,62; GPT 3,54; Claude 3,52 sobre 4, sin diferencias significativas entre ellos); abajo, las herramientas clínicas y el resumen de Google (OpenEvidence 3,24; UpToDate 3,17; Google AI 3,27). Ajustando por la indulgencia de cada evaluador, las herramientas clínicas tenían entre un 49% y un 87% menos de probabilidad de recibir una nota alta que Gemini.

Esto desactiva el argumento fácil. No se trata de que la IA médica «razone mejor pero examine peor», ni de que los benchmarks estén amañados a favor de los generalistas: en la prueba más parecida a la consulta real, libre de contaminación y juzgada por médicos humanos a ciegas, los frontier siguieron ganando. Cualquier artículo que ignore este dato está construido sobre arena.

Así que la pregunta honesta no es «¿por qué los tests engañan?», sino otra más interesante: ¿por qué un modelo generalista, sin acceso garantizado a fuentes médicas verificadas, supera a uno diseñado para consultarlas?

La paradoja del dato sucio: por qué a veces el volumen le gana a la curaduría

Aquí entra un principio de ciencia de datos que resulta contraintuitivo para cualquiera formado en medicina, donde la calidad de la fuente es dogma. La intuición clínica dice: una herramienta que bebe de UpToDate —revisado, jerarquizado, basado en evidencia— debería superar a un modelo entrenado con el vertedero indiscriminado de internet. La práctica del aprendizaje automático dice lo contrario, y conviene entender exactamente por qué, porque el «por qué» marca también el límite del fenómeno.

Un modelo de frontera se entrena sobre corpus de un tamaño que desafía la intuición: billones de tokens, mal curados, llenos de errores, foros, repeticiones y basura. Pero el conocimiento médico consolidado —que la insuficiencia cardíaca con fracción de eyección reducida se beneficia de IECA, que la cefalea en trueno obliga a descartar hemorragia subaracnoidea— aparece en ese corpus miles de veces, expresado de mil formas distintas, desde mil ángulos. Esa redundancia masiva tiene una propiedad estadística valiosa: el ruido aleatorio se promedia hasta cancelarse, mientras la señal verdadera, al repetirse, se refuerza. El modelo no memoriza una fuente; destila una representación robusta del consenso médico a partir de su aparición repetida en fuentes heterogéneas.

La curaduría perfecta paga un precio por su calidad: cubre menos terreno. Una base como UpToDate es profunda pero acotada. El corpus sucio del frontier es de calidad media-alta pero cubre prácticamente todo el espacio del conocimiento médico cotidiano. Y para la medicina de rutina —que es justo lo que mide el RCQ— la cobertura amplia con calidad media-alta gana a la cobertura estrecha con calidad máxima. De ahí la frase, casi un koan, que vertebra este apartado: tener más datos, aunque algunos sean malos, a veces es una ventaja real.

Pero solo a veces. Y el resto del artículo es dibujar exactamente dónde deja de serlo.

Los tres límites del dato sucio

El principio «más volumen vence a más datos verificados» se sostiene sobre dos supuestos frágiles, y se rompe en tres frentes que el propio estudio, leído «despacito» , deja entrever.

Primero, cuando el ruido deja de ser aleatorio y pasa a ser sesgado. El promediado solo cancela ruido independiente de la señal. Si el corpus contiene errores sistemáticos —una creencia médica obsoleta repetida masivamente, o contenido envenenado deliberadamente— el volumen no los diluye: los amplifica. No es especulación abstracta: varios de los mismos autores de este estudio demostraron en 2025 que los modelos médicos son vulnerables a ataques de envenenamiento de datos, donde una cantidad ínfima de contenido malicioso inyectado en el entrenamiento basta para corromper las respuestas. El dato sucio aleatorio es inocuo; el dato sucio dirigido es veneno.

Segundo, en la cola larga de la distribución. El argumento del volumen funciona porque la medicina de rutina es de alta frecuencia: las patologías comunes aparecen tantas veces en el corpus que su señal emerge limpia. Pero en enfermedades raras, presentaciones atípicas o subespecialidades profundas, la señal verdadera aparece tan pocas veces que el ruido la tapa. El propio paper lo concede de forma explícita: las tareas médicas profundamente subespecializadas pueden favorecer la adaptación específica de dominio. El RCQ, construido con 100 consultas de la práctica habitual, mide sobre todo el centro de la distribución —exactamente donde el frontier es más fuerte— y casi no toca esa cola larga donde la curaduría debería recuperar su ventaja.

Tercero, y es el verdadero misterio del estudio: cuando el problema no es de conocimiento sino de actualidad. Hay un tipo de pregunta donde el frontier no puede ganar por volumen: la guía clínica publicada esta semana, el fármaco aprobado ayer, la alerta de seguridad de hace tres días. Nada de eso está en su corpus de entrenamiento, congelado en el pasado. Es precisamente el terreno donde la recuperación documental en tiempo real —el RAG— debería arrasar. Y no lo hizo. Eso nos lleva a la pieza técnica central.

Qué es realmente un RAG, y por qué falló ?

RAG son las siglas de Retrieval-Augmented Generation, generación aumentada por recuperación. La idea, elegante sobre el papel, nace para resolver tres defectos crónicos de los modelos de lenguaje: que alucinan (inventan con aplomo), que tienen una fecha de corte de conocimiento, y que no pueden citar de dónde sacan lo que dicen. El RAG promete arreglar los tres de un golpe: en vez de que el modelo responda solo desde su memoria interna, primero recupera documentos relevantes de una base externa y confiable, y luego genera la respuesta condicionada con base en esos documentos.

Conviene entender el mecanismo por partes, porque el fallo puede ocurrir en cualquiera de ellas.

Anatomía de un pipeline RAG

Un sistema RAG tiene cuatro etapas, y cada una tiene un punto donde puede fallar:

1. Indexación (offline). La base documental —digamos, todo UpToDate— se trocea en fragmentos (chunks) y cada fragmento se convierte en un vector numérico mediante un modelo de embeddings, que captura su significado semántico. Estos vectores se almacenan en una base de datos vectorial. La decisión de cómo trocear es ya crítica: fragmentos demasiado grandes diluyen la relevancia; demasiado pequeños pierden contexto. Una tabla de dosis pediátricas partida por la mitad es información mutilada.

2. Recuperación (online). Cuando llega la consulta del médico, se convierte también en vector y se buscan los fragmentos más cercanos en el espacio vectorial —típicamente por tecnicas como la  similitud de coseno—. Aquí aparece el primer gran problema: la similitud semántica no es lo mismo que la relevancia clínica. Un fragmento puede parecerse mucho a la pregunta y ser inútil, o incluso contradictorio con lo que el caso concreto necesita.

3. Aumentación. Los fragmentos recuperados se insertan en el contexto del modelo junto a la pregunta original, normalmente con un prompt que instruye: «responde basándote en estos documentos». El modelo ahora ve la pregunta y el material recuperado a la vez.

4. Generación. El modelo produce la respuesta. Y aquí está la trampa  mas grande: el modelo debe integrar lo recuperado con su conocimiento interno, y esos dos pueden entrar en conflicto.

Las variantes, de la más simple a la más sofisticada

No todos los RAG son iguales, y la familia ha crecido mucho:

• RAG naïve. El pipeline básico de cuatro pasos descrito arriba. Recupera k fragmentos por similitud y genera. Simple, frágil, y probablemente cercano a lo que muchas herramientas comerciales usan en el fondo.
• RAG con reordenamiento (re-ranking). Recupera un conjunto amplio de candidatos y luego un segundo modelo, más caro pero más fino, los reordena por relevancia real antes de pasarlos al generador. Mitiga el problema de que la similitud vectorial es tosca.
• RAG con recuperación híbrida. Combina la búsqueda semántica (vectores) con la búsqueda léxica clásica (tipo BM25, que busca coincidencia de términos). Útil en medicina, donde un nombre de fármaco o un código exacto importa y la búsqueda puramente semántica los difumina.
• RAG con consulta transformada. Antes de recuperar, un modelo reescribe o expande la pregunta del usuario —corrige ambigüedades, añade sinónimos, la descompone en subpreguntas—. Una consulta mal formulada recupera basura; este paso intenta blindar la entrada.
• RAG agéntico / iterativo. El sistema no recupera una sola vez: razona, recupera, evalúa si lo recuperado basta, y vuelve a recuperar si hace falta, en un bucle. Es lo más parecido a cómo un médico busca: una primera ojeada, una hipótesis, una segunda búsqueda dirigida.
• GraphRAG. En vez de una base plana de fragmentos, construye un grafo de conocimiento con entidades y relaciones (fármaco→interacciona con→fármaco), y recupera sobre esa estructura. Promete capturar relaciones que la similitud plana pierde.

Tipos de RAG en medicina . JBARRIOS

Por qué la promesa no se cumplió

El estudio no puede diseccionar las arquitecturas de OpenEvidence o UpToDate Expert AI porque son cajas negras propietarias —ni sus modelos base, ni sus pipelines de recuperación son públicos, una limitación metodológica que los autores subrayan—. Pero la literatura, incluida la de los propios autores, ofrece el mecanismo más probable del fracaso, y es demoledor para la fe ingenua en el RAG: recuperar puede empeorar la respuesta.

El fenómeno tiene nombre. Los autores lo estudiaron en un trabajo previo titulado,  «los modelos de lenguaje médicos se distraen con facilidad». Cuando el recuperador entrega material irrelevante, tangencial o parcialmente contradictorio, no es información neutra que el modelo pueda ignorar: es ruido inyectado directamente en el contexto, en el peor momento posible, compitiendo por la atención del modelo con la señal verdadera que ya tenía en su memoria. Existe incluso un trabajo dedicado a medir este tira y afloja —se llama «ClashEval»— entre el conocimiento interno del modelo y la evidencia externa recuperada: ¿a quién hace caso el modelo cuando ambos discrepan? Demasiadas veces, a la fuente externa equivocada.

La ironía es exquisita. El frontier, sin RAG, responde desde una representación destilada y robusta del consenso médico. La herramienta clínica, con RAG, contamina esa representación con fragmentos recuperados de calidad y relevancia variable, y el resultado neto es peor. La curaduría de la fuente no garantiza la curaduría de la recuperación: UpToDate puede ser impecable y aun así el recuperador puede traer el fragmento equivocado de ese texto impecable.

Los datos cualitativos del estudio respaldan esta lectura. OpenEvidence obtuvo la peor nota en claridad —su debilidad era comunicar, no saber—, con respuestas frecuentemente desorganizadas, contenido clínico incompleto y omisiones críticas para la seguridad. En la taxonomía de errores del estudio, OpenEvidence acumuló 52 fallos frente a los 8 de Gemini, concentrados precisamente en «contenido clínico incompleto» (15), «omisión crítica de seguridad» (12) y «desorganizado / difícil de seguir» (13). UpToDate, por su parte, rechazó responder al 19% de las consultas —frente al 1-3% de los demás—, una cautela que en un examen puntúa cero igual que un error.

El matiz que impide el triunfalismo

Sería un error leer este estudio como un certificado de defunción del RAG, y los propios autores tienen el cuidado intelectual de no hacerlo. Tres advertencias deben acompañar cualquier titular.

Una: este es una instantánea de un campo que se mueve a una velocidad brutal, no un ordenamiento permanente. La ventaja de los frontier refleja, en buena medida, la inversión y la velocidad de iteración descomunales que reciben hoy. Si el escalado de los modelos generales encuentra su techo —y hay señales de que podría—, el valor relativo del ajuste de dominio, la recuperación curada y la optimización con el clínico en el bucle podría volver a subir.

Dos: las herramientas clínicas jugaron con desventaja metodológica. Carecen de API pública, así que fueron consultadas a mano por navegador, lo que limitó la muestra e introdujo variables ocultas —prompts internos, comportamientos de recuperación y formatos que los investigadores no controlaban—. No es una excusa que anule el resultado, pero sí lo matiza.

Tres, y es la advertencia que más me interesa como hilo de todo lo anterior: el RCQ mide el centro de la distribución, no su cola. Cien consultas de práctica rutinaria capturan justo el terreno donde el dato sucio de alto volumen brilla. No miden bien la enfermedad rara, la subespecialidad profunda, ni —sobre todo— la pregunta cuya respuesta correcta se publicó después de la fecha de corte del modelo. En ese territorio, el RAG bien construido no solo debería ganar: es la única arquitectura que puede hacerlo, porque es la única que mira fuera de su propia memoria congelada. El estudio no demuestra que el RAG sea inferior; demuestra que este RAG, en este terreno, no aprovechó su única ventaja estructural.

Conclusión: qué tarea, no qué tecnología

La pregunta «¿es mejor la IA generalista o la especializada?» está mal planteada. La pregunta correcta es «¿mejor para qué tarea?».

Para la medicina cotidiana de alta frecuencia —la inmensa mayoría de las consultas— un modelo de frontera, alimentado por un volumen de datos tan colosal que el ruido se cancela y el consenso emerge, es hoy difícil de batir, y este estudio lo documenta con rigor. Pero ese mismo principio estadístico que le da la victoria contiene la semilla de su límite: falla cuando el ruido es dirigido en vez de aleatorio, falla en la cola larga donde la señal escasea, y falla ante lo que se publicó ayer. Son exactamente los tres terrenos donde la recuperación documental, bien diseñada, tiene algo único que ofrecer.

El futuro probablemente no sea ni el frontier desnudo ni el RAG ingenuo, sino sistemas híbridos que sepan cuándo recuperar y cuándo callar el recuperador y confiar en la memoria destilada del modelo —la decisión que, hoy, ninguna de las dos herramientas evaluadas parece estar tomando bien—. Y, transversal a todo: la necesidad de que estas evaluaciones las haga gente independiente, con consultas reales, no los propios fabricantes con sus propios benchmarks. Que el estudio venga de un hospital y no de una empresa de IA no es un detalle. Es, quizás, su hallazgo más importante.

Referencia: Vishwanath K, Alyakin A, Ghosh M, et al. General-purpose large language models outperform specialized clinical AI tools on medical benchmarks. Nature Medicine (2026). https://doi.org/10.1038/s41591-026-04431-5

Sobre el autor:    El Dr. Juan Ignacio Barrios , es Médico y cirujano Especialista en informática médica.   Tiene maestrías En Big Data y  ciencia de datos, en Business Intelligence, y en  Inteligencia artificial.  Colabora como Profesor invitado En las cátedras del grado y posgrado en ingeniería biomédica de la Universidad de Barcelona.   También es consultor De organizaciones Y empresas Del ámbito publico y privado.   También es faculty member de la Universidad de Rochester,  en los Estados Unidos de Norteamérica.