Explication du benchmarking de l'IA en matière de brevets : pourquoi les modèles généraux d'apprentissage automatique (LLM) ne sont pas à la hauteur

Les brevets servent à protéger l'innovation, mais leur gestion reste l'un des processus les plus complexes et les plus risqués de l'industrie moderne.

Si les modèles généraux de langage (LLM) peuvent effectuer certaines tâches superficielles de recherche de brevets, ils ne sont pas spécialement conçus pour la propriété intellectuelle.

Les modèles généraux de langage (LLM) peuvent-ils réellement comprendre la précision d'un ensemble de revendications ? Peuvent-ils prendre en charge des décisions à haut risque telles que la recherche de nouveauté ou la rédaction préliminaire ? Dans quels domaines excellent-ils et dans quels domaines échouent-ils encore ?

PatentBench a été conçu pour répondre à ces questions.

PatentBench est le premier benchmark conçu pour tester les performances de l'IA sur des tâches réelles liées aux brevets, en commençant par l'une des plus rigoureuses : la recherche de nouveauté. À l'aide de divulgations sélectionnées par des experts et de références de référence, il apporte clarté, structure et normes mesurables à un domaine qui en manquait depuis trop longtemps.

Pourquoi Patsnap a créé PatentBench

PatentBench est le premier benchmark complet spécialement conçu pour l'IA axée sur les brevets. Il évalue les modèles selon deux critères essentiels :

• Dix compétences fondamentales en matière de brevets — les compétences de base qu'un juriste spécialisé en brevets doit posséder (par exemple, interprétation, traduction, rédaction, raisonnement)
• Applications liées aux brevets — flux de travail concrets tels que recherche de nouveauté/état de la technique, analyse FTO (liberté d'exploitation), traduction, rédaction de spécifications, détection des contrefaçons à partir d'images.

Avec PatentBench, l'IA appliquée aux brevets passe du stade d'expérimentations approximatives à celui de performances mesurables et reproductibles, où les modèles peuvent être suivis, comparés et améliorés.

Les professionnels des brevets peuvent enfin choisir le meilleur outil en toute confiance, ce qui réduit considérablement le temps d'évaluation et les conjectures. Le secteur bénéficie d'une norme transparente, qui relève le niveau d'exigence et encourage le développement de modèles de brevets basés sur l'IA plus performants et plus efficaces.

Avec PatentBench, Patsnap redéfinit ce que l'IA peut apporter à la propriété intellectuelle. L'ère des modèles linguistiques génériques prétendant résoudre les problèmes liés aux brevets est révolue.

Il est temps d'opter pour une IA intégrant une expertise en matière de brevets.

Un aperçu de notre méthodologie PatentBench

Le Patsnap PatentBench est un benchmark spécialement conçu pour les tâches de recherche de nouveauté dans des scénarios réels liés aux brevets.

Il évalue les performances de trois outils d'IA : l'agent IA Novelty Search de Patsnap, ChatGPT-o3 (avec recherche sur le Web) et DeepSeek-R1 (avec recherche sur le Web).

Principaux résultats et conclusions

L'ensemble de données d'évaluation est réparti de manière uniforme entre les classifications IPC, couvrant à la fois les technologies courantes et les domaines de niche. En termes de langue, 68 % des données sont en anglais et 32 % en chinois, ce qui garantit la bonne performance du modèle sur l'ensemble du contenu multilingue des brevets. En ce qui concerne la répartition par office récepteur, les demandes provenant des États-Unis (US) et de Chine (CN) représentent chacune environ 32 %, tandis que celles provenant de l'Office européen des brevets (EP) et de l'OMPI (WO) représentent chacune environ 18 %. Cette répartition équilibrée reflète les différents styles d'examen des principales juridictions en matière de brevets et garantit une évaluation plus réaliste et représentative à l'échelle mondiale.

Taux de réussite X :proportion d'échantillons pour lesquels la bonne réponse apparaît parmi les 1, 3 ou 5 premiers résultats.

Lors de nos tests de référence, l'agent IA Novelty Search a atteint un taux de réussite de 81 % pour les documents X parmi les 100 premiers résultats renvoyés.

Taux de rappel X :mesure la capacité d'un outil d'IA à récupérer X documents, ce qui est crucial lors de la planification de la R&D et du dépôt préalable de brevets. Un taux de rappel élevé aide les équipes à affiner leurs solutions techniques et à rédiger des revendications plus solides. Il est calculé comme la proportion de documents X récupérés dans les 100 premiers résultats, par rapport au nombre total de documents X dans tous les échantillons testés.

Le taux de rappel des documents X a atteint 36 % par rapport à ChatGPT-o3 et DeepSeek-R1.

Prêt à voir la différence ? Réservez dès aujourd'hui une démonstration avec Patsnap et découvrez comment l'agent IA Novelty Search de Patsnap peut transformer l'ensemble de votre flux de travail en matière de propriété intellectuelle.