Publiée dans Nature Medicine, l’étude évalue OpenEvidence et UpToDate Expert AI face à GPT-5.2, Gemini 3.1 Pro et Claude Opus 4.6 sur plus de 1 000 questions et cas cliniques notés par douze cliniciens : les généralistes devancent les spécialisés sur l’exactitude, l’exhaustivité et la clarté.
L’étude montre que les outils d’IA spécifiquement conçus pour un usage clinique (OpenEvidence, UpToDate Expert AI) obtiennent des scores inférieurs aux modèles généralistes de dernière génération (GPT-5.2, Gemini 3.1 Pro, Claude Opus 4.6), sur les trois niveaux d’évaluation testés, un benchmark académique (500 questions MedQA), un benchmark clinique (500 cas HealthBench) et un corpus de 100 questions réelles évaluées en aveugle par douze cliniciens américains. C’est un résultat qui questionne l’argument commercial habituel selon lequel une base documentaire dédiée garantirait de meilleures performances en contexte médical.
Un écart chiffré sur les trois benchmarks
Sur MedQA, Gemini 3.1 Pro obtient le meilleur score, avec 97,4 % de bonnes réponses,
- devant GPT-5.2 (94,2 %)
- et Claude Opus 4.6 (90,2 %),
- contre 89,6 % pour OpenEvidence
- et 88,4 % pour UpToDate Expert AI.
Le même classement se retrouve sur HealthBench, qui mesure l’alignement des réponses avec les attentes de cliniciens experts : GPT-5.2 (88,0 sur 100), Gemini (79,3) et Claude (77,0), devant OpenEvidence (62,6) et UpToDate Expert AI (61,3).
Sur les questions cliniques réelles, les trois modèles généralistes forment un groupe homogène, sans différence statistique entre eux, tandis que les deux outils spécialisés se retrouvent dans un second groupe, aux côtés de Google AI Overview, aux résultats comparables.
La sécurité n’est pas le problème identifié
Les cliniciens ont évalué les réponses selon quatre critères : exactitude clinique, exhaustivité, sécurité et clarté. Les chercheurs ne trouvent pas de différence significative sur la production de contenus dangereux ou d’hallucinations entre les deux catégories d’outils.
L’écart se joue sur l’exactitude, l’exhaustivité et la clarté (une nuance) : les outils spécialisés ne sont pas mis en cause pour leur niveau de risque, mais pour leur qualité de réponse.
Un comportement distinct à noter : le refus de répondre
UpToDate Expert AI refuse de répondre à 19 % des questions, contre 1 à 6 % pour les autres systèmes. C’est un choix de conception qui peut se lire comme une prudence, mais qui réduit d’autant l’utilité pratique de l’outil dans un usage courant. OpenEvidence de son côté est pénalisé sur la clarté : les évaluateurs relèvent plus fréquemment des informations incomplètes ou une organisation moins lisible de ses réponses.
Une explication technique qui interroge les mécanismes de recherche documentaire
Les auteurs avancent que les mécanismes de génération enrichie par la recherche documentaire (RAG) utilisés par certains outils spécialisés pourraient dégrader les performances lorsque les informations récupérées sont peu pertinentes ou mal intégrées, une piste qui nuance l’idée que davantage de documents de référence améliore mécaniquement la qualité des réponses.
Ils relèvent aussi que les modèles généralistes bénéficient de cycles de développement rapides, de corpus d’entraînement de grande taille et d’un travail d’alignement approfondi. Ce constat correspond, selon eux, à un état du marché à un instant donné : certaines tâches spécialisées pourraient continuer à bénéficier d’une adaptation propre des modèles.
Les auteurs recommandent le développement de méthodes d’évaluation indépendantes, fondées sur des situations cliniques réelles. Ils estiment que les benchmarks conçus par les industriels peuvent favoriser les modèles développés par leurs propres organisations.

