RESUMO
Introdução: A geração de linguagem natural utiliza aprendizado de máquina profundo para criar respostas contextuais, como no ChatGPT, desempenhando um papel potencial na acessibilidade de informações em saúde. Modelos de argumentação aumentada integram fontes confiáveis, como a Wikipédia (enciclopédia colaborativa) e o ScopusAI (ferramenta baseada em textos acadêmicos) para aprimorar a qualidade das respostas geradas. Levanta-se a hipótese que a orientação das respostas por fontes específicas possa impactar tanto na leiturabilidade e validade das informações geradas pelo ChatGPT. Sistemas humanos centrados e métodos computacionais objetivos podem ser aplicados para avaliar o desempenho de diferentes modelos de argumentação aumentada. Objetivo: Comparar diferentes modelos de geração de linguagem natural baseados em inteligência artificial na resposta a questões abertas de saúde auditiva. Metodologia: Trata-se de um estudo exploratório e descritivo que avaliou três modelos de geração de linguagem natural baseados no ChatGPT: (M1) resposta direta do ChatGPT-4; (M2) respostas com argumentação aumentada da Wikipédia em português; e (M3) respostas da ferramenta ScopusAI. Os modelos responderam, de forma independente, a oito questões abertas baseadas no documento “Hearing aid service delivery approaches for low- and middle-income settings”. As respostas foram avaliadas anonimamente por um painel de seis fonoaudiólogos/audiologistas com titulação mínima de mestrado em audiologia, utilizando uma escala Likert de cinco pontos (1 = pior, 5 = melhor). Os critérios incluíram facilidade de leitura, relevância prática e teórica, qualidade, completude e acurácia. Os dados foram analisados descritivamente com medidas de tendência central, dispersão, coeficiente de concordância de Fleiss Kappa (0 = nenhuma concordância; 1 = concordância total) e teste de leiturabilidade de Flesch adaptado (escala de 0 a 100; quanto maior, mais fácil a leitura). A análise estatística foi realizada com um programa em linguagem computacional Julia. Resultados: O modelo M1 obteve a maiores valores de avaliação (média = 4,35–4,5; desvio padrão (DP) = 0,050; mediana = 5), superando M2 (média = 3,56–3,97; DP = 0,125; mediana = 4) e M3 (média = 3,81–4,0; DP = 0,064; mediana = 4). A concordância nas avaliações foi próxima entre os modelos: M1 (média = 0,62; máx. = 1; mín. = 0,36;DP = 0,20), M2 (média = 0,50; máx. = 0,68; mín. = 0,23; DP= 0,14) e M3 (média = 0,47; máx. = 0,82; mín. = 0,13; DP= 0,26). O teste de leiturabilidade indicou valores médios próximos entre M1 (média=17.35; máx. = 27.28; mín. = 6.65; DP= 6.49) e M2 (média=17.82; máx. = 27.28; mín. = -0.44; DP= 13.94), enquanto M3 (média=1.60; máx. = 11.79; mín. = -5.94; DP= 6.52) apresentou o menor nível leiturabilidade. Conclusão: M1 apresentou desempenho superior na avaliação, e M1 e M2 no teste de leiturabilidade, enquanto o M3 teve leiturabilidade inferior, dificultando a compreensão por leitores não especializados. A concordância entre os avaliadores foi moderada, com o M1 mostrando maior consistência nas avaliações de qualidade e acessibilidade em comparação com M2 e M3. Não se caracterizou um modelo preferencial para geração das respostas, considerando os valores médios da escala avaliada, mas destaca-se que a especificidade do texto de orientação impacta na leiturabilidade.