IMPACTO DA IA GENERATIVA NA PRÁTICA MÉDICA: AVALIAÇÃO DE UM CHATBOT ESPECIALIZADO

Abstract

Introdução: A inteligência artificial (IA) generativa pode oferecer avanços significativos em diagnóstico, tratamento e pesquisa. Objetivo: Avaliar a percepção dos médicos nas respostas fornecidas pela IA generativa especialmente desenvolvida para responder questões médicas. Métodos: Desenvolvemos um ChatBot médico, denominado MAT+, utilizando um modelo de linguagem grande (LLM) inicialmente treinado em uma vasta gama de textos gerais. Em seguida, refinamos o modelo com dados médicos específicos, incluindo literatura médica, registros de saúde, bulas de medicamentos e diretrizes clínicas, para criar um LLM personalizado. Esse processo foi complementado com ajustes finos e validações rigorosas, realizados por especialistas médicos, para garantir precisão e confiabilidade. Para avaliar o desempenho do MAT+, selecionamos 10 médicos nefrologistas, que não participaram do desenvolvimento do modelo, para avaliar as respostas do ChatBot com temas relevantes na prática clínica, sobre Microangiopatia Trombótica (MAT). Cada especialista realizou 10 interações com o sistema. As perguntas, que poderiam abordar temas de diagnóstico, casos clínicos e posologia, foram formuladas livremente pelos médicos que pontuavam com uma nota de zero a dez. Resultados: Foram avaliadas as respostas de 10 médicos nefrologistas, em 10 interações com o sistema, totalizando 98 respostas. A avaliação consiste em uma nota de 0 a 10, em relação aos critérios de diagnóstico, caso clínico, posologia e usabilidade. Questões relacionadas ao diagnóstico tiveram nota média de 8.25 [7-10], questões relacionadas a caso clínico tiveram nota média de 8.35 [7-10] e as questões de posologia tiveram nota média de 9.30 [8-10]. A usabilidade do modelo foi classificada em 9.20 [9-10]. Em 90% dos casos relatados pelos especialistas, o modelo entendeu a pergunta e forneceu uma resposta relevante e dentro do contexto fornecido. Todas as respostas foram acompanhadas de referências bibliográficas sobre os temas das perguntas. Conclusão: O uso de IA generativa em saúde, como demonstrado pelo ChatBot MAT+, mostra-se promissor ao fornecer respostas precisas e contextualmente relevantes sobre MAT. A avaliação pelos médicos nefrologistas revelou alta confiabilidade e usabilidade do modelo, com notas elevadas em diagnóstico, casos clínicos e posologia. A adaptação do modelo de LLM com dados médicos específicos foi crucial para evitar respostas inadequadas ou fora de contexto, minimizando o risco de alucinações.

Ähnliche Arbeiten