KI löst spielend fast alle Prüfungsaufgaben

Sein Team hat den GenKI-Varianten GPT 3.5 und GPT 4 Prüfungsfragen aus 50 Kursen vorgelegt, die ein breites Spektrum an MINT-Disziplinen abdecken, darunter Informatik, Mathematik, Biologie, Chemie, Physik und Materialwissenschaften.

Trefferquote bei 65,8 Prozent

Die Forscher haben festgestellt, dass GPT 4 im Schnitt 65,8 Prozent der Fragen richtig beantwortete, wenn sie jemand stellt, der von der Technik nichts versteht, die hinter der KI steckt. Die besser Informierten kamen auf eine Erfolgsquote von bis zu 85,1 Prozent.

"Wir waren von den Ergebnissen überrascht. Niemand hatte erwartet, dass die KI-Assistenten in so vielen Kursen einen so hohen Prozentsatz an richtigen Antworten erzielen würden", sagt Anna Sotnikova, Postdoc im Natural Language Processing Laboratory der EPFL.

Studenten vertrauen auf GenKI

Im Hochschulbereich setzen Studenten zunehmend KI-Assistenten ein, um Aufgaben zu lösen und zu lernen. Diese Tools bieten zwar Möglichkeiten für eine verbesserte Lehre und Ausbildung, stellen aber auch eine grosse Herausforderung für die Bewertung und die Lernergebnisse dar.

Bislang gibt es kaum Studien über potenzielle Folgen auf Bewertungsmethoden, die Hochschulen anwenden. Gute Arbeiten können durchaus von Studenten abgeliefert werden, die gar nichts verstehen. Es ist nicht ausgeschlossen, dass die Sprachmodelle Bachelor- oder noch anspruchsvollere Prüfungen bestehen.

"Wir hatten das Glück, dass uns ein grosses Konsortium von EPFL-Professoren, Lehrern und Lehrassistenten dabei half, den bisher grössten Datensatz an Kursmaterialien, Bewertungen und Prüfungen zu sammeln, um eine Vielzahl von Materialien für unsere Studiengänge zu erhalten", so Bosselut.

Und weiter: "Diese Daten brachten wir in ein Format, von dem wir annehmen, dass es der Art und Weise am ehesten ähnelt, wie Studenten diese Informationen tatsächlich an grosse Sprachmodelle weitergeben. Anschliessend generierten wir Antworten von den Modellen und sahen, wie gut sie antworteten."

Strengere Bewertungen in Anflug

Kurzfristig spricht sich Bosselut für strengere Bewertungen aus - nicht im Sinne der Schwierigkeit der Fragen, sondern im Sinne der Komplexität der Bewertung selbst, bei der mehrere Fähigkeiten aus verschiedenen Konzepten, die im Laufe des Semesters erlernt werden und in einer ganzheitlichen Bewertung zusammengeführt werden, berücksichtigt werden müssen.

"Die Modelle sind noch nicht wirklich darauf ausgelegt, auf diese Art und Weise zu planen und zu arbeiten, und letztendlich sind wir der Meinung, dass dieses projektbasierte Lernen für die Studierenden ohnehin besser ist", unterstreicht Bosselut abschliessend. (pressetext.com)