Are Chat Generative Pre-trained Transformer Answers to Patient Questions Regarding Fecal Incontinence Accurate, Complete, and Consistent With the American Society of Colorectal Surgeons Clinical Practice Guidelines?

Abstract

ANTECEDENTES:ChatGPT, un chatbot basado en un modelo de lenguaje grande de inteligencia artificial, transforma la forma en que los pacientes obtienen información sobre cuestiones de salud, incluidas preguntas delicadas.OBJETIVO:Evaluar y comparar la precisión, exhaustividad y coherencia de las respuestas de ChatGPT-3.5, 4, 5 y 5 Plus a preguntas frecuentes sobre la incontinencia fecal.DISEÑO:Se presentaron treinta preguntas redactadas en lenguaje sencillo, basadas en las directrices de práctica clínica de la Sociedad Americana de Cirujanos de Colon y Recto para la incontinencia fecal, en orden secuencial y dos veces a todas las versiones de ChatGPT. Las categorías de preguntas incluían información general/antecedentes, diagnóstico, tratamiento y miscelánea. Tres profesores certificados en cirugía colorrectal con experiencia en el tratamiento de la incontinencia fecal calificaron las respuestas con «sí» o «no» en función de su precisión, exhaustividad y coherencia con las directrices. Un «no» daba lugar a una respuesta de texto libre. Se realizó un análisis cuantitativo y cualitativo.CONFIGURACIÓN:ChatGPT-3.5, ChatGPT-4, ChatGPT-5 (acceso gratuito), ChatGPT-5 Plus (suscripción de pago)INTERVENCIÓN:Preguntas de los pacientes.PRINCIPALES MEDIDAS DE RESULTADO:Exactitud, exhaustividad y coherencia con las directrices prácticasRESULTADOS:Los revisores calificaron el 61 % de las respuestas como exactas, el 65 % como completas y el 68 % como coherentes para ChatGPT-3.5, el 72 %, el 73 % y el 69 % para ChatGPT-4, 50 %, 73 % y 68 % para ChatGPT-5 gratuito, y 83 %, 95 % y 82 % para ChatGPT-5, respectivamente. Tres preguntas activaron la advertencia de contenido de ChatGPT, que las marcó como inapropiadas y terminó el chat. Los análisis cualitativos revelaron 10 subtemas emergentes; el más frecuente fue la inexactitud de las recomendaciones de tratamiento.LIMITACIONES:El conjunto actual de chatbots no está destinado a uso médico.CONCLUSIONES:Ninguna versión de ChatGPT proporcionó respuestas totalmente precisas, completas o coherentes con las directrices de práctica clínica, aunque la versión de pago funcionó notablemente mejor que el resto. El análisis de ChatGPT-5 free frente a Plus puso de relieve una dimensión de disparidad introducida por el rendimiento del modelo dependiente del muro de pago. Nuestro estudio hace hincapié en la necesidad de educar a los pacientes y a los proveedores sobre los aspectos positivos y los inconvenientes de esta tecnología en lo que respecta a la información sanitaria. (AI-generated translation ).

Ähnliche Arbeiten