Sign up

Neuheitssuche verstehen

Die Neuheitsrecherche ist eine wichtige Aufgabe im Patentwesen, bei der weltweit systematisch der Stand der Technik ermittelt wird, um festzustellen, ob eine technische Lösung nach dem Patentrecht neu und erfinderisch ist.

Es spielt eine entscheidende Rolle im gesamten Innovationsprozess, darunter:

F&E-Planung: Festlegung der Ausrichtung und Machbarkeit neuer Entwicklungen

Vorabprüfung: Überprüfung der Patentierbarkeit einer Erfindung vor der Einreichung

Patentprüfung: Unterstützung der Prüfer bei der Beurteilung der Neuheit von Anmeldungen

Wichtigste Ergebnisse

This benchmark evaluates the performance of three AI tools: PatSnap's Novelty Search AI Agent, ChatGPT-o3 (with web search), and DeepSeek-R1 (with web search). The evaluation dataset is evenly distributed across IPC classifications, covering both mainstream technologies and niche domains. In terms of language, 68% of the data is in English and 32% of the data is in Chinese, ensuring the model performs well across multilingual patent content. For receiving-office distribution, applications from United States (US) and China (CN) each make up about 32%, while those from the European Patent Office (EP) and WIPO (WO) each account for roughly 18%. This balanced mix reflects the different examination styles across major patent jurisdictions and ensures more realistic, globally representative evaluation.

Benchmark results show that PatSnap’s Novelty Search AI Agent achieved a 81% X Detection Rate and a 36% X Recall Rate within the top 100 results—significantly outperforming two leading general-purpose AI tools.

1) X-Trefferquote

PatSnap’s Novelty Search AI Agent successfully identified at least one relevant X document in 81% of test cases—an essential capability for speeding up decision-making in patent examination and early-stage R&D.

2) X Rückrufquote

PatSnap’s Novelty Search AI Agent retrieved 36% of all relevant X documents, enabling more thorough analysis and more informed patent claim drafting.
A high X Recall Rate is key during R&D planning and before filing a patent. PatSnap’s Novelty Search AI Agent helps teams—whether in-house researchers, patent professionals, or external agents—find more relevant X documents. This supports better technical decisions and stronger patent claims, increasing the chances of patent approval.

3) Beispiel für ein typisches Testergebnis

In diesem Test wurde die Patentschrift (die „Problemstellung“) jedem KI-Tool vorgelegt. Die Ergebnisse wurden dann anhand eines vordefinierten Satzes von X Dokumenten (der „Musterlösung“) bewertet.

PatSnap’s Novelty Search AI Agent successfully identified all four relevant patent families within the top 100 results, achieving an X Hit Rate of 100% and an X Recall Rate of 100%.

Im Vergleich dazu erzielten sowohl ChatGPT-o3 als auch DeepSeek-R1 ebenfalls eine X-Trefferquote von 100 %. Allerdings fand ChatGPT nur eine relevante Patentfamilie, was zu einer deutlich niedrigeren X-Rückrufquote von 25 % führte, während DeepSeek keine einzige Patentfamilie fand, was zu einer X-Rückrufquote von 0 % führte.

These findings highlight that while general-purpose LLMs excel in reasoning, they struggle with highly specialized tasks like patent novelty search. In comparison, domain-specific AI tools like PatSnap’s Novelty Search AI Agent offer superior accuracy and relevance, underscoring their essential role in patent-focused workflows.

Zukünftige Forschung

Zukünftige Benchmarks werden diesen Datensatz weiter ausbauen und die Bewertungsmethoden verfeinern, um eine höhere Genauigkeit und Abdeckung zu erreichen.

Methodik

The PatSnap PatentBench Novelty Search benchmark encompasses four key dimensions:

1) Testproben zur Ermittlung des „Referenzwerts“

Jede Testprobe ist eine Grundeinheit im Benchmark und besteht aus einer „Testfrage“ und einer „Standardantwort“. Da es bei Patentaufgaben selten ideale Antworten gibt – wie beispielsweise eine vollständige Liste von „X Dokumenten“ zur Bestimmung der Neuheit –, müssen Fachexperten sorgfältig realistische Fragen definieren und Antworten formulieren, die den idealen Ergebnissen möglichst nahe kommen.

2) Datensätze zur Erstellung zuverlässiger und unverfälschter Testergebnisse

Um die statistische Validität sicherzustellen, umfasst jeder Benchmark-Datensatz Hunderte bis Tausende sorgfältig ausgewählter Stichproben, die die tatsächliche Vielfalt in verschiedenen Regionen, Patentämtern und Branchen widerspiegeln. Die Stichproben stammen aus jüngerer Zeit, um Überschneidungen mit den im LLM-Vortraining verwendeten Daten zu vermeiden und eine unvoreingenommene Bewertung zu gewährleisten.

3) Bewertungsmetriken – der Kern des Benchmarkings

Bewertungsmetriken dienen dazu, die Leistung zu messen und zu vergleichen. Es kann sich dabei um einzelne oder kombinierte Indikatoren handeln, die von Experten sorgfältig entwickelt wurden, um den praktischen Anforderungen von Patentfachleuten gerecht zu werden.

Die Neuheitssuche zielt darauf ab, relevante Stand der Technik zu identifizieren, um festzustellen, ob ein Patentanspruch wirklich neu ist. Sie folgt den allgemeinen Grundsätzen der traditionellen Suchlogik, konzentriert sich jedoch speziell auf die Gültigkeit von Patenten.

The PatSnap PatentBench uses the following indicators to measure the quality of search results:

X Trefferquote: Anteil der Stichproben, bei denen eine richtige Antwort unter den ersten 1, 3 oder 5 Ergebnissen erscheint.

X Recall Rate: Prozentsatz der richtigen Antworten, die unter den ersten 100 Ergebnissen gefunden wurden.

4) Vergleich von KI-Tools mit Branchenexperten

KI-Tools wurden entwickelt, um die Arbeit von Fachleuten zu unterstützen und zu verbessern. Daher sind direkte Vergleiche mit der Leistung von Fachleuten unerlässlich. Benchmarks vergleichen auch spezialisierte KI-Agenten mit Allzweckmodellen wie LLMs, um Basiswerte festzulegen und ihre Fähigkeiten besser zu verstehen.

PatSnap Novelty Search AI Agent
Use Cases & Its Impact

PatSnap’s Novelty Search AI Agent stands out in benchmark testing thanks to its domain-specific fine-tuning and advanced Retrieval-Augmented Generation (RAG) technology.

Der Agent basiert auf einem Open-Source-Basismodell und wurde systematisch mit spezialisiertem Patentwissen verfeinert, sodass er die Nuancen der Patentsprache und Suchlogik versteht. Durch die Integration von RAG kombiniert er Echtzeit-Datenabruf mit generativen Fähigkeiten und ermöglicht so hochwertige Suchergebnisse mit geringer Halluzination. Dadurch ist der Agent in der Lage, wichtige technische Merkmale genau zu identifizieren, präzise Suchstrategien anzuwenden und allgemeine Modelle bei professionellen Neuheitssuchaufgaben zu übertreffen.

Für IP-Fachleute in Unternehmen und Patentkanzleien bedeutet dies eine erhebliche Steigerung der Produktivität. Aufgaben wie Suchen, Filtern und Bewerten, die früher Stunden in Anspruch nahmen, können nun in wenigen Minuten erledigt werden. Durch diese Veränderung müssen Experten weniger Zeit für repetitive Arbeiten aufwenden und können sich stattdessen mehr auf strategische Analysen und Entscheidungsfindungen konzentrieren. So verwandeln sich Arbeitsabläufe von „drei Tagen Recherche“ in „drei Stunden Erkenntnisgewinn“.

Auch Forschungs- und Entwicklungsteams profitieren erheblich von der Bewertung in der frühen Projektphase. Der Agent ermöglicht von Anfang an schnelle und effektive Neuheitsrecherchen, sodass Teams keine Investitionen in nicht-neuartige Ideen tätigen müssen und weniger Ressourcen verschwendet werden. Dies führt zu einem effizienteren und wirkungsvolleren Innovationsprozess.