Überblick

Die Patsnap PatentBench ist ein Benchmark speziell für Neuheitsrecherchen in realen Patentszenarien.

Es bewertet die Leistung von drei KI-Tools: Patsnap's Novelty Search AI Agent, ChatGPT-o3 (mit Websuche) und DeepSeek-R1 (mit Websuche).

Der Benchmark basiert auf einer Gruppe von Testbeispielen, die jeweils aus einer „Testfrage“ und einer „Standardantwort“ bestehen – einer kuratierten Sammlung von X Dokumenten aus verschiedenen Patentämtern, die die idealen Referenzen, die bei tatsächlichen Neuheitsrecherchen verwendet werden, genau widerspiegeln.

Neuheitssuche verstehen

Die Neuheitsrecherche ist eine wichtige Aufgabe im Patentwesen, bei der weltweit systematisch der Stand der Technik ermittelt wird, um festzustellen, ob eine technische Lösung nach dem Patentrecht neu und erfinderisch ist.

Es spielt eine entscheidende Rolle im gesamten Innovationsprozess, darunter:

F&E-Planung: Festlegung der Ausrichtung und Machbarkeit neuer Entwicklungen

Vorabprüfung: Überprüfung der Patentierbarkeit einer Erfindung vor der Einreichung

Patentprüfung: Unterstützung der Prüfer bei der Beurteilung der Neuheit von Anmeldungen

Wichtigste Ergebnisse

Der Bewertungsdatensatz ist gleichmäßig über die IPC-Klassifikationen verteilt und deckt sowohl Mainstream-Technologien als auch Nischenbereiche ab. Was die Sprache betrifft, so sind 68 % der Daten in Englisch und 32 % in Chinesisch, wodurch sichergestellt wird, dass das Modell bei mehrsprachigen Patentinhalten gute Leistungen erbringt. Was die Verteilung nach Empfangsämtern betrifft, so machen Anmeldungen aus den Vereinigten Staaten (US) und China (CN) jeweils etwa 32 % aus, während Anmeldungen aus dem Europäischen Patentamt (EP) und der WIPO (WO) jeweils etwa 18 % ausmachen. Diese ausgewogene Mischung spiegelt die unterschiedlichen Prüfungsstile in den wichtigsten Patentgerichtsbarkeiten wider und gewährleistet eine realistischere, global repräsentative Bewertung.

Benchmark-Ergebnisse zeigen, dass der Novelty Search AI Agent von Patsnap eine Erkennungsrate von 81 % und eine Wiederauffindungsrate von 36 % innerhalb der Top-100-Ergebnisse erzielte und damit zwei führende Allzweck-KI-Tools deutlich übertraf.

1) X-Trefferquote

Der Novelty Search AI Agent von Patsnap hat in 81 % der Testfälle mindestens ein relevantes X-Dokument erfolgreich identifiziert – eine wesentliche Fähigkeit, um die Entscheidungsfindung bei der Patentprüfung und in der frühen Phase der Forschung und Entwicklung zu beschleunigen.

2) X Rückrufquote

Der Novelty Search AI Agent von Patsnap hat 36 % aller relevanten X-Dokumente gefunden und damit eine gründlichere Analyse und eine fundiertere Ausarbeitung von Patentansprüchen ermöglicht.
Eine hohe X-Rückrufquote ist während der F&E-Planung und vor der Einreichung eines Patents von entscheidender Bedeutung. Der KI-Agent für Neuheitssuche von Patsnap hilft Teams – egal ob interne Forscher, Patentfachleute oder externe Vertreter – dabei, relevantere X-Dokumente zu finden. Dies unterstützt bessere technische Entscheidungen und stärkere Patentansprüche, wodurch sich die Chancen auf eine Patentgenehmigung erhöhen.

3) Beispiel für ein typisches Testergebnis

In diesem Test wurde die Patentschrift (die „Problemstellung“) jedem KI-Tool vorgelegt. Die Ergebnisse wurden dann anhand eines vordefinierten Satzes von X Dokumenten (der „Musterlösung“) bewertet.

Der Novelty Search AI Agent von Patsnap hat alle vier relevanten Patentfamilien innerhalb der Top-100-Ergebnisse erfolgreich identifiziert und damit eine X-Trefferquote von 100 % und eine X-Rückrufquote von 100 % erzielt.

Im Vergleich dazu erzielten sowohl ChatGPT-o3 als auch DeepSeek-R1 ebenfalls eine X-Trefferquote von 100 %. Allerdings fand ChatGPT nur eine relevante Patentfamilie, was zu einer deutlich niedrigeren X-Rückrufquote von 25 % führte, während DeepSeek keine einzige Patentfamilie fand, was zu einer X-Rückrufquote von 0 % führte.

Diese Ergebnisse zeigen, dass allgemeine LLMs zwar hervorragende Fähigkeiten im Bereich des logischen Denkens aufweisen, jedoch bei hochspezialisierten Aufgaben wie der Suche nach Patentneuheiten Schwierigkeiten haben. Im Vergleich dazu bieten domänenspezifische KI-Tools wie der Novelty Search AI Agent von Patsnap eine überlegene Genauigkeit und Relevanz, was ihre wesentliche Rolle in patentbezogenen Arbeitsabläufen unterstreicht.

Zukünftige Forschung

Zukünftige Benchmarks werden diesen Datensatz weiter ausbauen und die Bewertungsmethoden verfeinern, um eine höhere Genauigkeit und Abdeckung zu erreichen.

Die Patsnap PatentBench-Methodik

Der Patsnap PatentBench Novelty Search Benchmark umfasst vier Schlüsselbereiche:

1) Testproben zur Ermittlung des „Referenzwerts“

Jede Testprobe ist eine Grundeinheit im Benchmark und besteht aus einer „Testfrage“ und einer „Standardantwort“. Da es bei Patentaufgaben selten ideale Antworten gibt – wie beispielsweise eine vollständige Liste von „X Dokumenten“ zur Bestimmung der Neuheit –, müssen Fachexperten sorgfältig realistische Fragen definieren und Antworten formulieren, die den idealen Ergebnissen möglichst nahe kommen.

2) Datensätze zur Erstellung zuverlässiger und unverfälschter Testergebnisse

Um die statistische Validität sicherzustellen, umfasst jeder Benchmark-Datensatz Hunderte bis Tausende sorgfältig ausgewählter Stichproben, die die tatsächliche Vielfalt in verschiedenen Regionen, Patentämtern und Branchen widerspiegeln. Die Stichproben stammen aus jüngerer Zeit, um Überschneidungen mit den im LLM-Vortraining verwendeten Daten zu vermeiden und eine unvoreingenommene Bewertung zu gewährleisten.

3) Bewertungsmetriken – der Kern des Benchmarkings

Bewertungsmetriken dienen dazu, die Leistung zu messen und zu vergleichen. Es kann sich dabei um einzelne oder kombinierte Indikatoren handeln, die von Experten sorgfältig entwickelt wurden, um den praktischen Anforderungen von Patentfachleuten gerecht zu werden.

Die Neuheitssuche zielt darauf ab, relevante Stand der Technik zu identifizieren, um festzustellen, ob ein Patentanspruch wirklich neu ist. Sie folgt den allgemeinen Grundsätzen der traditionellen Suchlogik, konzentriert sich jedoch speziell auf die Gültigkeit von Patenten.

Die Patsnap PatentBench verwendet die folgenden Indikatoren, um die Qualität der Suchergebnisse zu messen:

X Trefferquote: Anteil der Stichproben, bei denen eine richtige Antwort unter den ersten 1, 3 oder 5 Ergebnissen erscheint.

X Recall Rate: Prozentsatz der richtigen Antworten, die unter den ersten 100 Ergebnissen gefunden wurden.

4) Vergleich von KI-Tools mit Branchenexperten

KI-Tools wurden entwickelt, um die Arbeit von Fachleuten zu unterstützen und zu verbessern. Daher sind direkte Vergleiche mit der Leistung von Fachleuten unerlässlich. Benchmarks vergleichen auch spezialisierte KI-Agenten mit Allzweckmodellen wie LLMs, um Basiswerte festzulegen und ihre Fähigkeiten besser zu verstehen.

Patsnap Novelty Search AI Agent
-Anwendungsfälle und deren Auswirkungen

Der Novelty Search AI Agent von Patsnap zeichnet sich in Benchmark-Tests durch seine domänenspezifische Feinabstimmung und fortschrittliche Retrieval-Augmented Generation (RAG)-Technologie aus.

Der Agent basiert auf einem Open-Source-Basismodell und wurde systematisch mit spezialisiertem Patentwissen verfeinert, sodass er die Nuancen der Patentsprache und Suchlogik versteht. Durch die Integration von RAG kombiniert er Echtzeit-Datenabruf mit generativen Fähigkeiten und ermöglicht so hochwertige Suchergebnisse mit geringer Halluzination. Dadurch ist der Agent in der Lage, wichtige technische Merkmale genau zu identifizieren, präzise Suchstrategien anzuwenden und allgemeine Modelle bei professionellen Neuheitssuchaufgaben zu übertreffen.

Für IP-Fachleute in Unternehmen und Patentkanzleien bedeutet dies eine erhebliche Steigerung der Produktivität. Aufgaben wie Suchen, Filtern und Bewerten, die früher Stunden in Anspruch nahmen, können nun in wenigen Minuten erledigt werden. Durch diese Veränderung müssen Experten weniger Zeit für repetitive Arbeiten aufwenden und können sich stattdessen mehr auf strategische Analysen und Entscheidungsfindungen konzentrieren. So verwandeln sich Arbeitsabläufe von „drei Tagen Recherche“ in „drei Stunden Erkenntnisgewinn“.

Auch Forschungs- und Entwicklungsteams profitieren erheblich von der Bewertung in der frühen Projektphase. Der Agent ermöglicht von Anfang an schnelle und effektive Neuheitsrecherchen, sodass Teams keine Investitionen in nicht-neuartige Ideen tätigen müssen und weniger Ressourcen verschwendet werden. Dies führt zu einem effizienteren und wirkungsvolleren Innovationsprozess.