Jedes Jahr erscheinen Millionen wissenschaftlicher Studien. Doch welche davon bringen die Forschung wirklich voran? Wissenschaftler am Forschungszentrum Jülich haben eine KI entwickelt, die genau das bewerten kann. Sie analysiert den Inhalt einer Studie und vergibt einen Neuheitswert von 0 bis 100. Mit ihrem Ansatz gewannen sie sogar eine internationalen Wettbewerb und ein Preisgeld von 300.000 Pfund.
Jedes Jahr werden weltweit unzählige wissenschaftliche Studien und Fachartikel veröffentlicht. Doch nicht jede Veröffentlichung bringt die Forschung gleichermaßen voran. Denn während einige Arbeiten neue Erkenntnisse liefern und bestehendes Wissen erweitern, bestätigen andere vor allem bereits bekannte Ergebnisse oder leisten nur einen begrenzten Beitrag zum wissenschaftlichen Fortschritt.
Wissenschaftler des Forschungszentrums Jülich haben vor diesem Hintergrund ein KI-basiertes Verfahren entwickelt, das den Neuheitsgrad wissenschaftlicher Arbeiten systematisch bewertet und innovative Forschung besser sichtbar macht. Die Entwicklung entstand im Rahmen der internationalen „Metascience Novelty Indicators Challenge“.
Du willst nicht abgehängt werden, wenn es um KI, Green Tech und die Tech-Themen von Morgen geht? Über 12.000 Vordenker bekommen jeden Tag die wichtigsten News direkt in die Inbox und sichern sich ihren Vorsprung.
Nur für kurze Zeit: Anmelden und mit etwas Glück Apple AirPods gewinnen!
Mit deiner Anmeldung bestätigst du unsere Datenschutzerklärung. Beim Gewinnspiel gelten die AGB.
KI erkennt Neuheitsgrad von wissenschaftlichen Studien
Ziel der „Metascience Novelty Indicators Challenge“ war es, eine skalierbare Methode zu entwickeln, um wissenschaftliche Arbeiten bereits zum Zeitpunkt ihrer Veröffentlichung hinsichtlich des Neuheitswerts zu beurteilen.
Dafür haben die Organisatoren einen Datensatz mit 100.000 aktuellen wissenschaftlichen Publikationen bereitgestellt. Diese wurden von Experten des jeweiligen Fachgebiets im Hinblick auf ihre Neuheit bewertet.
Die an der Challenge teilnehmenden Teams sollten genau diese Bewertungen möglichst genau vorhersagen. Das Team des Forschungszentrums Jülich erzielte dabei die besten Ergebnisse und konnte sich mit dem Sieg der Challenge ein Preisgeld in Höhe von 300.000 Pfund sichern, um die Entwicklung weiter auszureifen.
„Bislang war die Einschätzung, was an einer wissenschaftlichen Arbeit wirklich neu und wertvoll ist, vor allem menschlichen Expertinnen und Experten vorbehalten“, erklärt Dr.-Ing. Jann Michael Weinand, Leiter der Abteilung Integrierte Szenarien am Institute of Climate and Energy Systems – Jülicher Systemanalyse (ICE-2). „Unser Ansatz zeigt, dass moderne KI-Systeme diese Aufgabe erstaunlich zuverlässig unterstützen können.“
Jülicher KI konzentriert sich auf Inhalte statt auf Zitationen
Zitationszahlen gelten in der Wissenschaft seit Jahrzehnten als wichtiger Indikator für die Bedeutsamkeit von wissenschaftlichen Veröffentlichungen. Denn je häufiger eine Studie von anderen Forschern zitiert wird, desto sichtbarer wird sie in der Regel innerhalb der Fachgemeinschaft.
Zitationen sagen allerdings nicht zwangsläufig etwas über den Neuheitsgrad einer Forschungsarbeit aus. Daher wächst das Interesse an neuen Methoden, die den wissenschaftlichen Wert und die Originalität von Forschung differenzierter erfassen.
Das KI-System der Jülicher Forscher setzt daher auf die Analyse des Inhalts. „Um Neuheit zum Zeitpunkt der Veröffentlichung zu bewerten, sind Metadaten nicht ausreichend. Daher untersucht unser System den Inhalt einer Studie und setzt ihn in Beziehung zum Wissensstand zum Zeitpunkt ihrer Veröffentlichung“, erklärt Projektleiter Jan Göpfert vom ICE-2.
Die KI sammelt so Argumente, die für oder gegen die Neuheit der Forschungsarbeit sprechen. Der Neuheitswert wird dann am Ende auf einer Skala von 0 bis 100 bewertet. Zusätzlich gibt das System eine Einschätzung dazu aus, wie sicher es sich bei seiner Einordnung ist und begründet seine Bewertung schriftlich.
„Die eigentliche Herausforderung bestand darin, Neuheit überhaupt sinnvoll zu definieren“, so Kieling. „Für uns bedeutet Neuheit nicht einfach Andersartigkeit. Entscheidend ist, welchen Beitrag eine Arbeit zum wissenschaftlichen Fortschritt leistet.“
Mit ihrer Entwicklung wollen die Forscher die Sichtbarkeit von relevanten Beiträgen künftig erhöhen. Das KI-System könnte dafür bereits in den Begutachtungs- oder Veröffentlichungsprozess eingebettet werden.
Google lässt dich jetzt selbst bestimmen, welche Quellen du in der Suche häufiger siehst. Mit zwei schnellen Klicks kannst du BASIC thinking kostenlos als bevorzugte Quelle hinzufügen und damit unabhängigen Tech-Journalismus unterstützen. Vielen Dank!
Auch interessant:
