Can ChatGPT help patients understand their andrological diseases?¿ChatGPT puede ayudar a los pacientes a comprender sus enfermedades andrológicas?

Abstract

We aimed to assess the reliability of Chat Generative Pre-training Transformer (ChatGPT)’s andrology information and its suitability for informing patients and medical students accurately about andrology topics. We presented a series of systematically organized frequently asked questions on andrology topics and sentences containing strong recommendations from the European Association of Urology (EAU) Guideline to ChatGPT-3.5 and 4.0 as questions. These questions encompassed Male Hypogonadism, Erectile Dysfunction and Sexual Desire Disorder, Disorders of Ejaculation, Penile Curvature and Penile Size Abnormalities, Priapism, and Male Infertility. Two expert urologists independently evaluated and assigned scores ranging from 1 to 4 to each response based on its accuracy, with the following ratings: (1) Completely true, (2) Accurate but insufficient, (3) A mixture of accurate and misleading information, and (4) Completely false. A total of 120 questions were included in the study. Among these questions, 50.0% received a grade of 1 (completely correct) (55.4% for 4.0 version). The combined rate of correct answers (grades 1 and 2) was 85.2% for frequently asked questions (88.8% for 4.0 version) and 81.5% for questions obtained from the guideline. The rate of completely incorrect answers (grade 4) was 1.8% for frequently asked questions (0% for 4.0 version) and 5.2% for questions based on strong recommendations. The response rate of version 4.0 to questions created from sentences containing strong recommendations from the EAU guideline was the same as version 3.5. ChatGPT provided satisfactory answers to the questions asked, although some responses lacked completeness. It may be beneficial to utilize ChatGPT under the guidance of a urologist to enhance patients’ comprehension of their andrology issues.Resumen El uso de Internet y de sistemas de información basados en inteligencia artificial está aumentando en muchos ámbitos. Nuestro objetivo era evaluar la confiabilidad de la información de andrología de Chat Generative Pre-training Transformer ChatGPT y su idoneidad para informar a pacientes y estudiantes de medicina con precisión sobre temas de andrología. Presentamos una serie de preguntas frecuentes organizadas sistemáticamente sobre temas de andrología y oraciones que contienen recomendaciones sólidas de la Guía de la Asociación Europea de Urología (EAU) para ChatGPT-3.5 y 4.0 como preguntas. Estas preguntas abarcaban hipogonadismo masculino, disfunción eréctil y trastorno del deseo sexual, trastornos de la eyaculación, curvatura del pene y anomalías del tamaño del pene, priapismo e infertilidad masculina. Dos urólogos expertos evaluaron de forma independiente y asignaron puntuaciones que van del 1 al 4 a cada respuesta en función de su precisión, con las siguientes calificaciones: (1) Completamente cierto, (2) Preciso pero insuficiente, (3) Una mezcla de información precisa y engañosa, y (4) Completamente falso. En el estudio se incluyeron un total de 120 preguntas. Entre estas preguntas, el 50.0% recibió una calificación de 1 (completamente correcta) (55.4% para la versión 4.0). La tasa combinada de respuestas correctas (grados 1 y 2) fue del 85.2% para las preguntas frecuentes (88.8% para la versión 4.0) y del 81.5% para las preguntas obtenidas de la guía. La tasa de respuestas completamente incorrectas (grado 4) fue del 1.8%para las preguntas frecuentes (0% para la versión 4.0) y del 5.2% para las preguntas basadas en recomendaciones sólidas. La tasa de respuesta de la versión 4.0 a las preguntas creadas a partir de oraciones que contienen recomendaciones sólidas de la guía EAU fue la misma que la de la versión 3.5. ChatGPT proporcionó respuestas satisfactorias a las preguntas formuladas, aunque algunas respuestas no fueron completas. Puede resultar beneficioso utilizar ChatGPT bajo la guía de un urólogo para mejorar la comprensión de los pacientes sobre sus problemas andrológicos.

Ähnliche Arbeiten