loading . . . Sermas GPT, la IA de la Comunidad de Madrid para enfermedades raras, aún no ha pasado la validación de un comité médico <div class="entry-meta uk-visible@m">
<span class="byline c-article__author"> <a class="author vcard" href="https://www.newtral.es/author/marilin-gonzalo/" rel="author" title="Entradas de Marilín Gonzalo">Por Marilín Gonzalo</a><br/><a class="c-article__author__firma" href="https://www.newtral.es/firmas/tecnologia/">Algoritma</a></span><br/><span class="posted-on"><time class="entry-date c-article__date published updated" datetime="01-03-2024">01 marzo 2024</time></span><span class="span-reading-time rt-reading-time"><span class="rt-label rt-prefix"> | </span> <span class="rt-time"> 8</span> <span class="rt-label rt-postfix"> min lectura</span></span></div><ul class="tags-links c-pills uk-visible@m"><li><a class="c-pills__item" href="https://www.newtral.es/tag/chatgpt/" rel="tag">ChatGPT</a></li><li><a class="c-pills__item" href="https://www.newtral.es/tag/inteligencia-artificial/" rel="tag">Inteligencia Artificial</a></li><li><a class="c-pills__item" href="https://www.newtral.es/tag/salud-publica/" rel="tag">Salud pública</a></li></ul>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN" "http://www.w3.org/TR/REC-html40/loose.dtd">
<p>Tras casi 6 meses desde su puesta en marcha, Sermas GPT, el sistema experimental de Inteligencia Artificial (IA) que pueden usar los médicos madrileños para ayudarles a diagnosticar enfermedades raras que presenten los pacientes <strong>sigue pendiente de ser validado por un comité de ética médica</strong>. Los hospitales escogidos para hacerlo son el San Joan de Deu, el Ruber Internacional y otro del Servicio Madrileño de Salud (SERMAS) que aún no ha sido designado. El que tenían previsto no pudo hacerlo por exceso de trabajo. </p><div class="c-nwtpubli-desktop" id="Banner_1"></div><div class="c-nwtpubli" id="Mobile_1"></div><p>Según apunta el Servicio Madrileño de Salud (SERMAS) en la misma herramienta al abrirla, Sermas GPT es un “proyecto piloto”, “una herramienta experimental”. Lo que ha instalado para sus médicos no es una aplicación abierta desarrollada específicamente para objetivos médicos, sino un servicio similar a ChatGPT (basado en GPT-4) que funciona a través de una API que hace llamadas al mismo modelo detrás del popular chatbot de OpenAI, desarrollado por esta empresa sobre los servidores de Microsoft (Azure). </p><p>Las implicaciones pueden ser muy diferentes, ya que al igual que ChatGPT, su modelo <strong>no ha sido entrenado con bases de datos médicas específicas</strong>. Un estudio hecho por investigadores del Cohen Children’s Medical Center encontró que <a class="broken_link" href="https://www.axios.com/2024/01/03/ai-fails-diagnosing-childrens-cases">8 de cada 10 diagnósticos</a> hechos por ChatGPT en casos pediátricos eran incorrectos.</p><figure class="wp-block-image size-full"><img alt="sermas gpt madrid" class="wp-image-534844 lazyload" data-sizes="(max-width: 864px) 100vw, 864px" data-src="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3.png?x95607" data-srcset="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3.png 864w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3-300x164.png 300w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3-768x419.png 768w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3-224x122.png 224w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3-226x123.png 226w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3-850x463.png 850w" decoding="async" height="471" src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" width="864"/><noscript><img alt="sermas gpt madrid" class="wp-image-534844" decoding="async" height="471" sizes="(max-width: 864px) 100vw, 864px" src="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3.png?x95607" srcset="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3.png 864w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3-300x164.png 300w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3-768x419.png 768w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3-224x122.png 224w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3-226x123.png 226w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-3-850x463.png 850w" width="864"/></noscript><figcaption class="wp-element-caption"><em>Captura de pantalla del aviso emergente para los médicos que usan Sermas GPT </em></figcaption></figure><p>Además, expertos consultados por Newtral explican que para llevar una herramienta como esta a la práctica en pacientes hay muchas validaciones que presentar. “Las pruebas médicas para determinar la adecuación de una herramienta determinada en un entorno médico no están hechas”, dice <strong>Lorena Jaume-Palasí</strong>, eticista y experta en IA y en filosofía del derecho. Y esto, a pesar de que están pilotando esta IA no en un entorno de estudio, sino de forma amplia para todos y no restringida. “Así no se trabaja en la ciencia ni en la medicina, al contrario, es extremadamente peligroso”, asegura. <section class="related-section-in-content">
<a href="https://www.newtral.es/deepfakes-desinformacion/20241022/"><article data-link="https://www.newtral.es/deepfakes-desinformacion/20241022/"><div class="related-section-in-content__post"><div class="related-img">
<img alt="Deepfakes desinformación" class="c-carousel-card__img wp-post-image lazyload" data-sizes="(max-width: 548px) 100vw, (max-width: 767px) 50vw, (max-width: 1440px) 20vw, 480px" data-src="https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-672x672.jpg?x95607" data-srcset="https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-672x672.jpg 672w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-150x150.jpg 150w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-224x224.jpg 224w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-336x336.jpg 336w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-480x480.jpg 480w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-48x48.jpg 48w" decoding="async" height="672" object-fit="cover" object-position="center" src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" width="672"/><noscript><img alt="Deepfakes desinformación" class="c-carousel-card__img wp-post-image" decoding="async" height="672" object-fit="cover" object-position="center" sizes="(max-width: 548px) 100vw, (max-width: 767px) 50vw, (max-width: 1440px) 20vw, 480px" src="https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-672x672.jpg?x95607" srcset="https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-672x672.jpg 672w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-150x150.jpg 150w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-224x224.jpg 224w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-336x336.jpg 336w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-480x480.jpg 480w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-1-48x48.jpg 48w" width="672"/></noscript></div><p class="related-post">
’Deepfakes’: cuando la desinformación pasa por un laboratorio</p></div></article>
</a></section></p><p>Esta analista ha hecho pruebas sobre DxGPT, la herramienta equivalente a Sermas GPT, que se encuentra abierta al público, y su evaluación revela que <strong>tiene sesgos sexistas, racistas y tránsfobos</strong>. Los resultados son parte de un estudio sobre IA y discriminación para el Instituto de las Mujeres, del Ministerio de Igualdad, que está por publicarse. </p><div class="c-nwtpubli-desktop" id="Banner_2"></div><div class="c-nwtpubli" id="Mobile_2"></div><p><strong>Javier Sánchez Monedero</strong> es investigador y trabaja en IA y biomedicina. Explica que antes de introducir una IA como esta “necesitas ir presentando una serie de evidencias acumulada y discutida en congresos, en revistas, revisadas y después de esa primera prueba con datos sintéticos, hacerlo luego con datos reales, además de superar las peticiones de un comité de ética”. </p><p>En septiembre del año pasado, la Comunidad de Madrid anunció un «proyecto pionero de inteligencia artificial generativa» para que médicos de sus 425 centros de salud puedan acceder a una herramienta de IA generativa que les ayudaría a identificar más rápido posibles casos de enfermedades raras. Para ello firmó un acuerdo con Microsoft y la Fundación 29. Un mes después, el Confidencial recogió <a href="https://www.elconfidencial.com/tecnologia/2023-10-20/sermas-madrid-ia-inteligencia-artificial-chatgpt-dxgpt-enfermedades-raras_3756981/">el malestar de los médicos</a> por la falta de información.<section class="related-section-in-content">
<a href="https://www.newtral.es/deepfakes-deteccion/20241022/"><article data-link="https://www.newtral.es/deepfakes-deteccion/20241022/"><div class="related-section-in-content__post"><div class="related-img">
<img alt="Deepfakes detección" class="c-carousel-card__img wp-post-image lazyload" data-sizes="(max-width: 548px) 100vw, (max-width: 767px) 50vw, (max-width: 1440px) 20vw, 480px" data-src="https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-672x672.jpg?x95607" data-srcset="https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-672x672.jpg 672w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-150x150.jpg 150w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-224x224.jpg 224w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-336x336.jpg 336w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-480x480.jpg 480w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-48x48.jpg 48w" decoding="async" height="672" object-fit="cover" object-position="center" src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" width="672"/><noscript><img alt="Deepfakes detección" class="c-carousel-card__img wp-post-image" decoding="async" height="672" object-fit="cover" object-position="center" sizes="(max-width: 548px) 100vw, (max-width: 767px) 50vw, (max-width: 1440px) 20vw, 480px" src="https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-672x672.jpg?x95607" srcset="https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-672x672.jpg 672w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-150x150.jpg 150w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-224x224.jpg 224w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-336x336.jpg 336w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-480x480.jpg 480w, https://www.newtral.es/wp-content/uploads/2024/10/Deepfakes_1200-3-1-48x48.jpg 48w" width="672"/></noscript></div><p class="related-post">
Por qué no estamos cerca de poder detectar todos los ‘deepfakes’, y quizá nunca lo estemos</p></div></article>
</a></section></p><p>Desde Newtral.es hemos preguntado al SERMAS por la validación del comité ético de los hospitales para esta herramienta, pero se limitan a indicarnos que nos contestarán desde la Consejería de Digitalización. Aunque lo hemos hecho, no hemos recibido respuesta sobre algunas cuestiones, como las métricas de uso de la herramienta.</p><h2 class="wp-block-heading" id="h-que-es-y-como-funciona-sermas-gpt-nbsp">Qué es y cómo funciona Sermas GPT </h2><p>La herramienta, denominada Sermas GPT, se encuentra desde septiembre de 2023 integrada mediante unos controles dentro del sistema informático que utilizan los médicos de atención primaria. A pesar que desde la Consejería de Digitalización dicen que se trata de “una aplicación cuyo código fuente está publicado y es abierto para que cualquier persona pueda auditarlo e incluso mejorarlo”, no han respondido a nuestro pedido de la dirección web donde podemos encontrarlo. </p><div class="c-nwtpubli" id="Mobile_3"></div><figure class="wp-block-image size-full"><img alt="sermas gpt madrid" class="wp-image-534846 lazyload" data-sizes="(max-width: 914px) 100vw, 914px" data-src="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1.png?x95607" data-srcset="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1.png 914w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1-300x156.png 300w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1-768x398.png 768w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1-224x116.png 224w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1-226x117.png 226w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1-850x441.png 850w" decoding="async" height="474" src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" width="914"/><noscript><img alt="sermas gpt madrid" class="wp-image-534846" decoding="async" height="474" sizes="(max-width: 914px) 100vw, 914px" src="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1.png?x95607" srcset="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1.png 914w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1-300x156.png 300w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1-768x398.png 768w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1-224x116.png 224w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1-226x117.png 226w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-1-850x441.png 850w" width="914"/></noscript><figcaption class="wp-element-caption"><em>Captura de pantalla de Sermas GPT, la IA integrada en el sistema que usan los médicos de Madrid</em></figcaption></figure><p>Sermas GPT sólo es accesible si tienes un registro de usuario como médico de la CAM, pero la Fundación 29 tiene la misma herramienta, a la que llama <a href="https://dxgpt.app/">DxGPT</a>, disponible para que el público general pueda consultar síntomas y saber si tiene una enfermedad rara. Un cuadro de diálogo permite introducir un texto con los síntomas, y la IA generativa arrojará una lista de enfermedades.</p><p>La Fundación 29 ha sido el organismo encargado de la integración de esta herramienta en el sistema informático de los médicos. Su director, <strong>Julián Isla</strong>, además es gestor de datos y recursos de AI en Microsoft, la tecnológica que ha firmado el acuerdo con la Comunidad de Madrid. Explica que DxGPT “se basa en el modelo de lenguaje GPT-4 de OpenAI, el cual ha sido entrenado con una vasta cantidad de textos provenientes de diversas fuentes del ámbito médico”, aunque luego reconoce que no se sabe cuáles porque “OpenAI no ha dicho específicamente qué fuentes. A partir de GPT3,5 hay pocos detalles del modelo, de los parámetros, de la tasa de entrenamiento, son bastante opacos con esa información”. </p><p><strong>GPT-4 no tiene entrenamiento específico en medicina</strong>. Lo dice un <a href="https://www.microsoft.com/en-us/research/publication/can-generalist-foundation-models-outcompete-special-purpose-tuning-case-study-in-medicine/">estudio del mismo Microsoft</a>, en el que señalan que se basan “en un estudio previo de las capacidades especializadas de GPT-4 en puntos de referencia de retos médicos en ausencia de entrenamiento especial».</p><p>Jaume-Palasí confirma que OpenAI no ha recibido una base de datos específica médica. “Lo que sí se ha hecho con GPT-4 es ver si es capaz de resolver determinados tests que se usan en medicina. Pero como sacaron los datos de internet, pues ya había sido entrenado con los resultados de esos exámenes y eso es un típico caso de polución de datos, por lo que fue muy criticado”, recuerda. </p><p><strong>¿Qué pasa con los datos introducidos? </strong>Según Isla, se guardan una vez borrada la información personal sólo con el fin de mejorar la usabilidad: no hay reentrenamiento del modelo, aunque piensan mejorarlo utilizando técnicas de <em>fine-tuning</em> (ajustes aplicados posteriormente) a lo largo de este año. La información introducida pasa por un filtro que lee los datos y dice eliminar los datos personales y guardar el texto anonimizado, como muestra un cartel.</p><figure class="wp-block-image size-large"><img alt="sermas gpt madrid" class="wp-image-534847 lazyload" data-sizes="(max-width: 1024px) 100vw, 1024px" data-src="https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-1024x648.png?x95607" data-srcset="https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-1024x648.png 1024w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-300x190.png 300w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-768x486.png 768w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-224x142.png 224w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-226x143.png 226w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-758x480.png 758w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2.png 1147w" decoding="async" height="648" src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" width="1024"/><noscript><img alt="sermas gpt madrid" class="wp-image-534847" decoding="async" height="648" sizes="(max-width: 1024px) 100vw, 1024px" src="https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-1024x648.png?x95607" srcset="https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-1024x648.png 1024w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-300x190.png 300w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-768x486.png 768w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-224x142.png 224w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-226x143.png 226w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2-758x480.png 758w, https://www.newtral.es/wp-content/uploads/2024/03/filtro-informacion-personal-dxgpt-2.png 1147w" width="1024"/></noscript><figcaption class="wp-element-caption"><em>Un filtro de DxGPT lee los datos introducidos y dice eliminar los datos personales</em></figcaption></figure><p>Hay algunas pocas diferencias entre DxGPT y Sermas GPT: la primera aporta también diagnósticos de enfermedades comunes, y a Sermas GPT le han añadido “funcionalidades” para que un usuario clínico entienda el uso de la herramienta, según dicen desde Fundación 29. Pero no han querido especificar en qué consisten esos cambios. </p><div class="c-nwtpubli" id="Mobile_4"></div><h2 class="wp-block-heading">Sin pruebas de validación </h2><p><strong>Isla niega que se hayan hecho pruebas para detectar sesgos en DxGPT</strong>, pero le parece “una buena pregunta». “Desde una perspectiva metodológica, una evaluación robusta de sesgos requeriría de una prueba comparadora o <em>benchmark</em>. Por ejemplo, sería de gran valor poder cuantificar los sesgos que exhiben expertos humanos al diagnosticar enfermedades raras en España. Sin embargo, que yo sepa, no existen actualmente estudios publicados que aborden esta pregunta en nuestro contexto local. Sin un comparador de referencia, resulta difícil diseñar un protocolo para evaluar empíricamente la presencia de sesgos en DxGPT. Reconozco humildemente que no contamos aún con la experiencia ni los datos necesarios para abordar esta tarea”, señala, e invita a “la comunidad académica y médica a colaborar” con ellos para comprender y mitigar posibles sesgos en DxGPT.</p><p>Desde la dirección general de Salud Digital, <strong>Nuria Ruiz</strong> indica que la Fundación 29 realizó una prueba preliminar para estimar la precisión diagnóstica de la herramienta. Se refiere a <a href="https://github.com/foundation29org/dxgpt_testing">documentación publicada</a> por Fundación 29 en septiembre de 2023 en su Github en la que dicen que han montado DxGPT con <strong>datos sintéticos de 200 casos generados a través de grandes modelos de lenguaje </strong>(LLM). </p><figure class="wp-block-image size-full"><img alt="sermas gpt madrid" class="wp-image-534845 lazyload" data-sizes="(max-width: 800px) 100vw, 800px" data-src="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2.png?x95607" data-srcset="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2.png 800w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2-300x158.png 300w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2-768x405.png 768w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2-224x118.png 224w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2-226x119.png 226w" decoding="async" height="422" src="data:image/gif;base64,R0lGODlhAQABAAAAACH5BAEKAAEALAAAAAABAAEAAAICTAEAOw==" width="800"/><noscript><img alt="sermas gpt madrid" class="wp-image-534845" decoding="async" height="422" sizes="(max-width: 800px) 100vw, 800px" src="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2.png?x95607" srcset="https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2.png 800w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2-300x158.png 300w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2-768x405.png 768w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2-224x118.png 224w, https://www.newtral.es/wp-content/uploads/2024/03/SermasGPT-2-226x119.png 226w" width="800"/></noscript><figcaption class="wp-element-caption"><em>Captura de pantalla del sistema que usan los médicos en Madrid, con Sermas GPT integrado en las funciones</em></figcaption></figure><p>Isla explica que “para asegurarse que las respuestas [del modelo] estaban alineadas con una respuesta clínica, lo que hicimos fue generar descripciones de las 200 enfermedades más representativas. Cogimos las enfermedades de Orphanet [una base de datos europea sobre enfermedades raras], las ordenamos por prevalencia y cogimos el top 200”. Con eso generaron 200 descripciones “muy pequeñitas” y usaron esos datos para validar. Pero DxGPT no utiliza esta información en su funcionamiento, sino que se basa en el modelo de lenguaje GPT-4 de OpenAI. Para hacernos una idea, es como preguntarle a ChatGPT-4, con otra interfaz. </p><p>Cuando preguntamos qué evaluaciones se han hecho para detectar posibles sesgos en Sermas GPT, a casi 6 meses de su aplicación en pacientes reales, Ruiz dice que “la utilización de la IA de forma ética es una prioridad para la Comunidad de Madrid y, en consecuencia, también la identificación y mitigación de posibles sesgos”, pero <strong>no citan evaluaciones o tests</strong> que hayan sido superados por esta herramienta. </p><p>“Teniendo en cuenta la cantidad de exámenes y pruebas que debe superar meter un termómetro, meter esto en el Sermas con menos pruebas que un termómetro es descabellado”, opina Jaume-Palasí.</p><h2 class="wp-block-heading">Fallos en la herramienta </h2><p><strong>Alberto</strong>, médico de familia de la Comunidad de Madrid, probó Sermas GPT metiendo los síntomas y rasgos clínicos de su hija, que tiene una enfermedad rara diagnosticada hace años. “No acertó ni una”, dice. Es lo que tienen las herramientas estocásticas, <a href="https://www.newtral.es/inteligencia-artificial-ai-que-es-sesgos/20201021/">como estas IA generativas</a>, que aunque des la misma instrucción o consulta de entrada, <strong>pueden darte respuestas diferentes, porque son estocásticas</strong>. “Esto demuestra cuán inestable y fortuitas son este tipo de herramientas y qué poco sentido tiene en un ámbito como este”, comenta Jaume-Palasí. </p><p>Esta investigadora ha hecho una serie de tests sobre DxGPT que han arrojado resultados racistas y sexistas, entre ellos, una búsqueda con los criterios “mujer negra, 52, dolor brazo izquierdo y espalda, náuseas», que ofrece como primer resultado un diagnóstico (usando términos de género masculino) basado meramente en la raza y la edad de la paciente y que no concuerda con ninguno de los síntomas descritos. <strong>Otros se refieren incoherentemente a “náuseas en el brazo” o a “naúseas de espalda”</strong>.</p><p>Los expertos ven fallos desde la misma lógica de la herramienta. Sabiendo cómo funcionan las IA generativas, Sánchez Monedero se pregunta: “¿representar el conocimiento con símbolos de texto sin saber su significado ni reconocer números es suficiente para representar el conocimiento en medicina? ¿Y más en el caso de enfermedades raras, teniendo en cuenta que la guía es un rodillo, que los patrones genéricos le dan más fuerza, y que a los ejemplos minoritarios en la base de datos tiende a ignorarlos, o a tratarlos con peor error?” </p><p>Los resultados del test que cita la Fundación 29 para DxGPT indican un <strong>67.5% de precisión para los casos de GPT-4</strong>, algo que resulta insuficiente para los expertos consultados. Los problemas de transfobia, racismo y sexismo observados por Jaume-Palasí, obtenidos a través de DxGPT, van a ser resultados similares a los que saldrán en Sermas GPT por el hecho de que ambas son herramientas que están utilizando lo mismo: GPT-4 en Azure, según confirma la eticista.</p><p>Es la misma base de datos, y la misma tecnología, lo único que las diferencia es el <em>prompt</em> (la descripción de síntomas) que envían. “Si esto funciona bien con el <em>prompt</em> (la instrucción) ‘haz como que eres un médico y dame un diagnóstico’, es una forma evaluativa bastante cuestionable, dice Jaume-Palasí. “Pues lo que se debería querer saber no es si la herramienta es buena imitando formas de dar diagnósticos, -y te da los diagnósticos que tú ya habías preparado en base al uso de determinadas descripciones-, sino si la herramienta es capaz de correlacionar determinados síntomas”.</p><section class="o-section--fact-check c-sources o-section"><div class="o-section__row"><h3>Fuentes</h3><p>
Nuria Ruiz, directora general de Salud Digital, Consejería de Digitalización de la Comunidad de Madrid</p><p>
Julián Isla, director de Fundación 29</p><p>
Lorena Jaume-Palasí, eticista y experta en IA y en filosofía del derecho</p><p>
Javier Sánchez Monedero, investigador en el departamento de Ciencias de Computación de la Universidad de Córdoba</p><p>
Alberto, médico de familia de atención primaria de la Comunidad de Madrid</p><p>
<a href="https://github.com/foundation29org/dxgpt_testing">Github de Fundación 29 </a></p><p>
<a href="https://news.microsoft.com/es-es/2023/09/15/el-servicio-madrileno-de-salud-pionero-en-la-aplicacion-de-inteligencia-artificial-generativa-para-la-mejora-del-diagnostico-en-pacientes-con-enfermedades-raras/">El Servicio Madrileño de Salud, pionero en la aplicación de Inteligencia Artificial Generativa para la mejora del diagnóstico en pacientes con enfermedades raras, Microsoft</a></p><p>
<a href="https://www.comunidad.madrid/noticias/2023/09/15/comunidad-madrid-prueba-proyecto-pionero-reducir-tiempo-diagnostico-enfermedades-raras-inteligencia-artificial">La Comunidad de Madrid prueba un proyecto pionero para reducir el tiempo de diagnóstico de enfermedades raras con Inteligencia Artificial, Comunidad de Madrid</a></p><p>
<a href="https://www.elconfidencial.com/tecnologia/2023-10-20/sermas-madrid-ia-inteligencia-artificial-chatgpt-dxgpt-enfermedades-raras_3756981/">Malestar entre los médicos en Madrid por un proyecto de IA del que «nadie sabe nada», El Confidencial</a></p><p>
<a href="https://www.microsoft.com/en-us/research/publication/can-generalist-foundation-models-outcompete-special-purpose-tuning-case-study-in-medicine/">Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine, Microsoft</a></p><p>
<a class="broken_link" href="https://www.axios.com/2024/01/03/ai-fails-diagnosing-childrens-cases">ChatGPT had a high error rate for pediatric cases, Axios</a></p><p>
<a href="https://jamanetwork.com/journals/jamapediatrics/article-abstract/2813283">Barile J, Margolis A, Cason G, et al. Diagnostic Accuracy of a Large Language Model in Pediatric Case Studies. JAMA Pediatr.</a></p></div></section><p><em>Actualización 4/3/24: Se ha incluido un ejemplo de los sesgos sexistas y racistas observados por los investigadores, con objeto de ampliar la información.</em></p><div class="c-nwtpubli-mobile-sticky" id="Floor_Mobile"><div class="c-nwtpubli-mobile-sticky-close"></div></div> https://www.newtral.es/sermas-gpt-ia-madrid-validacion-sesgos-enfermedades-raras/20240301/
