Introdução

A Vera tira partido de sofisticados agentes de IA e da tecnologia de Geração Aumentada por Recuperação (RAG), sintetizando o conhecimento de mais de 60 milhões de publicações médicas revistas por pares para fornecer respostas fiáveis e adequadas ao contexto. Esta avaliação multibenchmark analisa o desempenho da Vera em três domínios distintos do conhecimento médico: o Exame de Licenciamento Médico dos Estados Unidos (USMLE), o conjunto de dados de perguntas e respostas de IA do New England Journal of Medicine (NEJM-AI) e o benchmark MedXpertQA.

Métricas de desempenho

- No USMLE, a Vera alcançou uma exatidão global excecional de 97,5%, com exatidões por etapa de 97,9% (Step 1), 98,2% (Step 2 CK) e 96,7% (Step 3).

- No benchmark NEJM-AI, composto por 655 perguntas de cinco especialidades médicas, a Vera demonstrou um desempenho superior com uma exatidão de 84,9%, superando modelos de IA de referência como o OpenAI o4 Mini (77,1%), o Claude 4 Sonnet (75,4%) e o Perplexity Sonar Pro (74,4%).

- No benchmark MedXpertQA, composto por 500 perguntas sobre múltiplos sistemas do corpo e tarefas médicas, a Vera alcançou uma exatidão de 62,2%, demonstrando um desempenho sólido em cenários de raciocínio clínico especializado.

- A Vera obteve a maior exatidão em quatro das cinco especialidades médicas do NEJM-AI, com um desempenho particularmente sólido em Pediatria (93,9%) e Medicina Interna (87,3%).

Conclusão

Estes resultados, obtidos em diversos quadros de avaliação, sublinham a robusta representação do conhecimento médico e as capacidades de raciocínio da Vera, posicionando-a como uma solução de referência para o apoio à decisão clínica. Pode ler o artigo completo aqui.