KI beurteilt wissenschaftliche Arbeiten besser

Peer Review ist ein essenzieller Qualitätskontrollprozess in der Wissenschaft. Dabei prüfen unabhängige Experten (Peers) aus demselben Fachgebiet bei Fachzeitschriften eingereichte Manuskripte vor der Veröffentlichung auf Methodik, Relevanz und Validität. Erst nach erfolgreicher Prüfung werden die Texte veröffentlicht.

Viele Forscher sind mit der Qualität des Feedbacks, das sie erhalten, unzufrieden. Häufig beschweren sie sich über vage, kurze und wenig hilfreiche Bewertungen. In einer Umfrage unter 11'800 Forschern haben nur 55,4 Prozent angegeben, mit der Qualität des Feedbacks zufrieden zu sein. Das Problem wird durch die schiere Menge an Artikeln noch verschärft, wodurch sich die Gutachter überfordert fühlen. Entsprechend knapp fällt ihr Feedback oft aus.

Genau hier setzt das "Review Feedback Agent" genannte System an, das fünf grosse KI-Sprachmodelle nutzt, um Gutachterurteile zu prüfen und zu verbessern. 27 Prozent der Gutachter, die KI-Feedback erhalten haben, aktualisierten ihre Arbeit. Insgesamt nahmen sie über 12'000 Vorschläge des Tools an, heisst es.

Die nach dem Feedback aktualisierten Gutachten waren in der Regel 80 Wörter länger als die der Kontrollgruppe. Als andere Experten die Gutachten überprüften, ohne zu wissen, welche einen KI-Anstoss erhalten hatten, bewerteten sie die KI-unterstützten Gutachten durchweg als informativer und klarer, so die Forscher.

"Durch informativere Bewertungen für Autoren hat der Review Feedback Agent das Potenzial, die Gesamtqualität der wissenschaftlichen Kommunikation zu verbessern", schreiben die Entwickler. Nicht zuletzt könnte die KI-Hilfe auch zu schnelleren Peer Reviews führen. Davon würden nicht zuletzt Forscherinnen profitieren. Sie haben den Verdacht, dass ihre Einreichungen später beurteilt werden als die von männlichen Kollegen, wie pressetext berichtete. Die Entwickler des Tools weisen aber darauf hin, dass das System kein Ersatz für menschliches Fachwissen ist. (pressetext.com)