Aperçu

Le Patsnap PatentBench est un benchmark spécialement conçu pour les tâches de recherche de nouveauté dans des scénarios réels liés aux brevets.

Il évalue les performances de trois outils d'IA : l'agent IA Novelty Search de Patsnap, ChatGPT-o3 (avec recherche sur le Web) et DeepSeek-R1 (avec recherche sur le Web).

La référence est basée sur un groupe d'échantillons de test, chacun comprenant une « question test » et une « réponse standard » : un ensemble sélectionné de X documents provenant de divers offices de brevets qui représentent fidèlement les références idéales utilisées dans les recherches de nouveauté réelles.

Comprendre la recherche de nouveauté

La recherche de nouveauté est une tâche essentielle en matière de brevets qui consiste à identifier systématiquement l'état de la technique à l'échelle mondiale afin de déterminer si une solution technique est nouvelle et inventive au regard du droit des brevets.

Il joue un rôle essentiel tout au long du processus d'innovation, notamment :

Planification de la R&D : orienter la direction et la faisabilité des nouveaux développements

Pré-dépôt : vérifier qu'une invention est brevetable avant sa soumission

Examen des brevets : aider les examinateurs à évaluer la nouveauté des demandes

Principales conclusions

L'ensemble de données d'évaluation est réparti de manière uniforme entre les classifications IPC, couvrant à la fois les technologies courantes et les domaines de niche. En termes de langue, 68 % des données sont en anglais et 32 % en chinois, ce qui garantit la bonne performance du modèle sur l'ensemble du contenu multilingue des brevets. En ce qui concerne la répartition par office récepteur, les demandes provenant des États-Unis (US) et de Chine (CN) représentent chacune environ 32 %, tandis que celles provenant de l'Office européen des brevets (EP) et de l'OMPI (WO) représentent chacune environ 18 %. Cette répartition équilibrée reflète les différents styles d'examen des principales juridictions en matière de brevets et garantit une évaluation plus réaliste et représentative à l'échelle mondiale.

Les résultats des tests comparatifs montrent que l'agent IA Novelty Search de Patsnap a atteint un taux de détection X de 81 % et un taux de rappel X de 36 % parmi les 100 premiers résultats, surpassant largement deux outils IA polyvalents de premier plan.

1) Taux de réussite X

L'agent IA de recherche de nouveauté de Patsnap a réussi à identifier au moins un document X pertinent dans 81 % des cas testés, une capacité essentielle pour accélérer la prise de décision dans l'examen des brevets et la R&D en phase initiale.

2) Taux de rappel X

L'agent IA de recherche de nouveauté de Patsnap a récupéré 36 % de tous les documents X pertinents, permettant ainsi une analyse plus approfondie et une rédaction plus éclairée des revendications de brevet.
Un taux de rappel X élevé est essentiel lors de la planification de la R&D et avant le dépôt d'un brevet. L'agent IA de recherche de nouveauté de Patsnap aide les équipes, qu'il s'agisse de chercheurs internes, de professionnels des brevets ou d'agents externes, à trouver des documents X plus pertinents. Cela permet de prendre de meilleures décisions techniques et de renforcer les revendications de brevet, augmentant ainsi les chances d'obtention du brevet.

3) Exemple de résultat de test type

Dans ce test, le cahier des charges du brevet (l'« énoncé du problème ») a été soumis à chaque outil d'IA. Leurs résultats ont ensuite été évalués par rapport à un ensemble prédéfini de X documents (la « réponse modèle »).

L'agent IA de recherche de nouveauté de Patsnap a réussi à identifier les quatre familles de brevets pertinentes parmi les 100 premiers résultats, atteignant un taux de réussite X de 100 % et un taux de rappel X de 100 %.

En comparaison, ChatGPT-o3 et DeepSeek-R1 ont également atteint un taux de réussite X de 100 %. Cependant, ChatGPT n'a récupéré qu'une seule famille de brevets pertinente, ce qui a conduit à un taux de rappel X beaucoup plus faible de 25 %, tandis que DeepSeek n'a récupéré aucun brevet, ce qui a conduit à un taux de rappel X de 0 %.

Ces résultats soulignent que, si les modèles linguistiques généraux (LLM) excellent dans le raisonnement, ils peinent à accomplir des tâches hautement spécialisées telles que la recherche de nouveauté dans le domaine des brevets. En comparaison, les outils d'IA spécifiques à un domaine, tels que l'agent IA de recherche de nouveauté de Patsnap, offrent une précision et une pertinence supérieures, soulignant leur rôle essentiel dans les flux de travail axés sur les brevets.

Recherches futures

Les futurs benchmarks élargiront encore cet ensemble de données et affineront les méthodes d'évaluation pour une plus grande précision et une meilleure couverture.

La méthodologie PatentBench de Patsnap

Le benchmark Patsnap PatentBench Novelty Search englobe quatre dimensions clés :

1) Tester des échantillons afin d'établir la « valeur de référence ».

Chaque échantillon testé est une unité de base dans le benchmark, composée d'une « question test » et d'une « réponse standard ». Étant donné que les réponses idéales sont rares dans les tâches liées aux brevets, comme une liste complète de « documents X » pour déterminer la nouveauté, les experts du domaine doivent définir avec soin des questions réalistes et élaborer des réponses qui se rapprochent le plus possible des résultats idéaux.

2) Ensembles de données permettant d'obtenir des résultats de test fiables et impartiaux

Afin de garantir la validité statistique, chaque ensemble de données de référence comprend des centaines, voire des milliers d'échantillons soigneusement sélectionnés qui reflètent la diversité réelle entre les régions, les offices de brevets et les secteurs d'activité. Les échantillons sont tirés de périodes récentes afin d'éviter tout chevauchement avec les données utilisées dans la préformation des modèles LLM, ce qui garantit une évaluation impartiale.

3) Indicateurs d'évaluation - le cœur du benchmarking

Les indicateurs d'évaluation servent à mesurer et à comparer les performances. Il peut s'agir d'indicateurs uniques ou combinés, soigneusement conçus par des experts afin de refléter les besoins pratiques des professionnels du brevet.

La recherche de nouveauté vise à identifier l'état de la technique pertinent afin de déterminer si une revendication de brevet est véritablement nouvelle. Elle suit les principes généraux de la logique de recherche traditionnelle, mais avec un accent particulier sur la validité des brevets.

Le PatentBench de Patsnap utilise les indicateurs suivants pour mesurer la qualité des résultats de recherche :

Taux de réussite X : proportion d'échantillons pour lesquels une réponse correcte apparaît parmi les 1, 3 ou 5 premiers résultats.

Taux de rappel X : pourcentage de réponses correctes trouvées parmi les 100 premiers résultats.

4) Comparaison des outils d'IA avec les experts du secteur

Les outils d'IA sont conçus pour soutenir et améliorer le travail des professionnels, il est donc essentiel de les comparer directement aux performances professionnelles. Les benchmarks comparent également les agents IA spécialisés à des modèles polyvalents tels que les LLM afin d'établir des références et de mieux comprendre leurs capacités.

Agent IA de recherche de nouveautés Patsnap
Cas d'utilisation et impact

L'agent IA de recherche de nouveautés de Patsnap se distingue dans les tests de référence grâce à son réglage spécifique au domaine et à sa technologie avancée de génération augmentée par la recherche (RAG).

Conçu à partir d'un modèle open source, l'agent a été systématiquement perfectionné grâce à des connaissances spécialisées en matière de brevets, ce qui lui permet de comprendre les nuances du langage des brevets et la logique de recherche. En intégrant la technologie RAG, il combine la récupération de données en temps réel avec des capacités génératives, ce qui permet d'obtenir des résultats de recherche de haute qualité et peu sujets aux hallucinations. Cela permet à l'agent d'identifier avec précision les caractéristiques techniques clés, d'appliquer des stratégies de recherche précises et de surpasser les modèles à usage général dans les tâches de recherche de nouveauté professionnelle.

Pour les professionnels de la propriété intellectuelle dans les entreprises et les cabinets de brevets, cela se traduit par un gain de productivité considérable. Des tâches telles que la recherche, le filtrage et le classement, qui prenaient auparavant des heures, peuvent désormais être effectuées en quelques minutes. Ce changement permet aux experts de consacrer moins de temps aux tâches répétitives et davantage à l'analyse stratégique et à la prise de décision, transformant ainsi les flux de travail de « trois jours de recherche » en « trois heures d'analyse ».

Les équipes de R&D en tirent également un avantage considérable lors des évaluations préliminaires des projets. L'agent permet d'effectuer rapidement et efficacement des recherches de nouveauté dès le début, ce qui aide les équipes à éviter d'investir dans des idées qui ne sont pas novatrices et à réduire le gaspillage de ressources. Il en résulte un processus d'innovation plus efficace et plus percutant.