Sign up

Comprendre la recherche de nouveauté

La recherche de nouveauté est une tâche essentielle en matière de brevets qui consiste à identifier systématiquement l'état de la technique à l'échelle mondiale afin de déterminer si une solution technique est nouvelle et inventive au regard du droit des brevets.

Il joue un rôle essentiel tout au long du processus d'innovation, notamment :

Planification de la R&D : orienter la direction et la faisabilité des nouveaux développements

Pré-dépôt : vérifier qu'une invention est brevetable avant sa soumission

Examen des brevets : aider les examinateurs à évaluer la nouveauté des demandes

Principales conclusions

This benchmark evaluates the performance of three AI tools: PatSnap's Novelty Search AI Agent, ChatGPT-o3 (with web search), and DeepSeek-R1 (with web search). The evaluation dataset is evenly distributed across IPC classifications, covering both mainstream technologies and niche domains. In terms of language, 68% of the data is in English and 32% of the data is in Chinese, ensuring the model performs well across multilingual patent content. For receiving-office distribution, applications from United States (US) and China (CN) each make up about 32%, while those from the European Patent Office (EP) and WIPO (WO) each account for roughly 18%. This balanced mix reflects the different examination styles across major patent jurisdictions and ensures more realistic, globally representative evaluation.

Benchmark results show that PatSnap’s Novelty Search AI Agent achieved a 81% X Detection Rate and a 36% X Recall Rate within the top 100 results—significantly outperforming two leading general-purpose AI tools.

1) Taux de réussite X

PatSnap’s Novelty Search AI Agent successfully identified at least one relevant X document in 81% of test cases—an essential capability for speeding up decision-making in patent examination and early-stage R&D.

2) Taux de rappel X

PatSnap’s Novelty Search AI Agent retrieved 36% of all relevant X documents, enabling more thorough analysis and more informed patent claim drafting.
A high X Recall Rate is key during R&D planning and before filing a patent. PatSnap’s Novelty Search AI Agent helps teams—whether in-house researchers, patent professionals, or external agents—find more relevant X documents. This supports better technical decisions and stronger patent claims, increasing the chances of patent approval.

3) Exemple de résultat de test type

Dans ce test, le cahier des charges du brevet (l'« énoncé du problème ») a été soumis à chaque outil d'IA. Leurs résultats ont ensuite été évalués par rapport à un ensemble prédéfini de X documents (la « réponse modèle »).

PatSnap’s Novelty Search AI Agent successfully identified all four relevant patent families within the top 100 results, achieving an X Hit Rate of 100% and an X Recall Rate of 100%.

En comparaison, ChatGPT-o3 et DeepSeek-R1 ont également atteint un taux de réussite X de 100 %. Cependant, ChatGPT n'a récupéré qu'une seule famille de brevets pertinente, ce qui a conduit à un taux de rappel X beaucoup plus faible de 25 %, tandis que DeepSeek n'a récupéré aucun brevet, ce qui a conduit à un taux de rappel X de 0 %.

These findings highlight that while general-purpose LLMs excel in reasoning, they struggle with highly specialized tasks like patent novelty search. In comparison, domain-specific AI tools like PatSnap’s Novelty Search AI Agent offer superior accuracy and relevance, underscoring their essential role in patent-focused workflows.

Recherches futures

Les futurs benchmarks élargiront encore cet ensemble de données et affineront les méthodes d'évaluation pour une plus grande précision et une meilleure couverture.

Méthodologie

The PatSnap PatentBench Novelty Search benchmark encompasses four key dimensions:

1) Tester des échantillons afin d'établir la « valeur de référence ».

Chaque échantillon testé est une unité de base dans le benchmark, composée d'une « question test » et d'une « réponse standard ». Étant donné que les réponses idéales sont rares dans les tâches liées aux brevets, comme une liste complète de « documents X » pour déterminer la nouveauté, les experts du domaine doivent définir avec soin des questions réalistes et élaborer des réponses qui se rapprochent le plus possible des résultats idéaux.

2) Ensembles de données permettant d'obtenir des résultats de test fiables et impartiaux

Afin de garantir la validité statistique, chaque ensemble de données de référence comprend des centaines, voire des milliers d'échantillons soigneusement sélectionnés qui reflètent la diversité réelle entre les régions, les offices de brevets et les secteurs d'activité. Les échantillons sont tirés de périodes récentes afin d'éviter tout chevauchement avec les données utilisées dans la préformation des modèles LLM, ce qui garantit une évaluation impartiale.

3) Indicateurs d'évaluation - le cœur du benchmarking

Les indicateurs d'évaluation servent à mesurer et à comparer les performances. Il peut s'agir d'indicateurs uniques ou combinés, soigneusement conçus par des experts afin de refléter les besoins pratiques des professionnels du brevet.

La recherche de nouveauté vise à identifier l'état de la technique pertinent afin de déterminer si une revendication de brevet est véritablement nouvelle. Elle suit les principes généraux de la logique de recherche traditionnelle, mais avec un accent particulier sur la validité des brevets.

The PatSnap PatentBench uses the following indicators to measure the quality of search results:

Taux de réussite X : proportion d'échantillons pour lesquels une réponse correcte apparaît parmi les 1, 3 ou 5 premiers résultats.

Taux de rappel X : pourcentage de réponses correctes trouvées parmi les 100 premiers résultats.

4) Comparaison des outils d'IA avec les experts du secteur

Les outils d'IA sont conçus pour soutenir et améliorer le travail des professionnels, il est donc essentiel de les comparer directement aux performances professionnelles. Les benchmarks comparent également les agents IA spécialisés à des modèles polyvalents tels que les LLM afin d'établir des références et de mieux comprendre leurs capacités.

PatSnap Novelty Search AI Agent
Use Cases & Its Impact

PatSnap’s Novelty Search AI Agent stands out in benchmark testing thanks to its domain-specific fine-tuning and advanced Retrieval-Augmented Generation (RAG) technology.

Conçu à partir d'un modèle open source, l'agent a été systématiquement perfectionné grâce à des connaissances spécialisées en matière de brevets, ce qui lui permet de comprendre les nuances du langage des brevets et la logique de recherche. En intégrant la technologie RAG, il combine la récupération de données en temps réel avec des capacités génératives, ce qui permet d'obtenir des résultats de recherche de haute qualité et peu sujets aux hallucinations. Cela permet à l'agent d'identifier avec précision les caractéristiques techniques clés, d'appliquer des stratégies de recherche précises et de surpasser les modèles à usage général dans les tâches de recherche de nouveauté professionnelle.

Pour les professionnels de la propriété intellectuelle dans les entreprises et les cabinets de brevets, cela se traduit par un gain de productivité considérable. Des tâches telles que la recherche, le filtrage et le classement, qui prenaient auparavant des heures, peuvent désormais être effectuées en quelques minutes. Ce changement permet aux experts de consacrer moins de temps aux tâches répétitives et davantage à l'analyse stratégique et à la prise de décision, transformant ainsi les flux de travail de « trois jours de recherche » en « trois heures d'analyse ».

Les équipes de R&D en tirent également un avantage considérable lors des évaluations préliminaires des projets. L'agent permet d'effectuer rapidement et efficacement des recherches de nouveauté dès le début, ce qui aide les équipes à éviter d'investir dans des idées qui ne sont pas novatrices et à réduire le gaspillage de ressources. Il en résulte un processus d'innovation plus efficace et plus percutant.