Introduction

Vera s'appuie sur des agents d'IA sophistiqués et sur la technologie de génération augmentée par récupération (RAG), en synthétisant les connaissances de plus de 60 millions de publications médicales évaluées par des pairs afin de fournir des réponses fiables et adaptées au contexte. Cette évaluation multi-benchmarks mesure les performances de Vera dans trois domaines distincts de connaissances médicales : l'examen de licence médicale des États-Unis (USMLE), le jeu de données de questions-réponses en IA du New England Journal of Medicine (NEJM-AI) et le benchmark MedXpertQA.

Indicateurs de performance

- À l'USMLE, Vera a atteint une précision globale exceptionnelle de 97,5 %, avec des précisions par étape de 97,9 % (Step 1), 98,2 % (Step 2 CK) et 96,7 % (Step 3).

- Sur le benchmark NEJM-AI, composé de 655 questions réparties sur cinq spécialités médicales, Vera a démontré des performances supérieures avec une précision de 84,9 %, surpassant des modèles d'IA de premier plan comme OpenAI o4 Mini (77,1 %), Claude 4 Sonnet (75,4 %) et Perplexity Sonar Pro (74,4 %).

- Sur le benchmark MedXpertQA, composé de 500 questions couvrant plusieurs systèmes corporels et tâches médicales, Vera a atteint une précision de 62,2 %, démontrant de solides performances dans des scénarios de raisonnement clinique spécialisé.

- Vera a obtenu la meilleure précision dans quatre des cinq spécialités médicales du NEJM-AI, avec des performances particulièrement solides en pédiatrie (93,9 %) et en médecine interne (87,3 %).

Conclusion

Ces résultats, obtenus sur divers cadres d'évaluation, soulignent la robustesse de la représentation des connaissances médicales et des capacités de raisonnement de Vera, la positionnant comme une solution de premier plan pour l'aide à la décision clinique. Vous pouvez lire l'article complet ici.