Ein Test zeigt: Sogar Wissenschaftlern fällt nicht auf, wenn Zusammenfassungen von Studien von Chat GPT stammen. Top-Hochschulen in den USA krempeln bereits ihre Lehrpraxis um.
Das werden Mediziner nicht gern hören: Sie können ihre eigenen wissenschaftlichen Arbeiten offenbar nicht viel besser zusammenfassen als Chat GPT, die künstliche Intelligenz, die seit Anfang Dezember frei verfügbar und weltweit in aller Munde ist.
Das zeigt ein Test, von dem Nature (12.1.) berichtet: Forscher ließen den Textgenerator 50 Artikel aus führenden Fachzeitschriften zusammenfassen, um die Ergebnisse mit den Original-Abstracts der Autoren zu vergleichen. Eine Plagiat-Software konnte keine einzige der Fälschungen aufdecken. Ein spezieller KI-Detektor schaffte es in 66 Prozent der Fälle. Menschliche Prüfer, selbst Mediziner, waren kaum erfolgreicher: Sie erkannten 68 Prozent der Fälschungen korrekt; bei den echten Abstracts ihrer Kollegen hielten sie 14 Prozent irrtümlich für KI-Produkte. Das zeigt: Die semantische Qualität von Fake und Original nähert sich schon in der öffentlichen Testphase des Produkts stark an. Freilich geht es nicht um die eigentlichen Arbeiten, nur um ihre Zusammenfassung. Aber diese Abstracts sind im Wissenschaftsbetrieb sehr präsent – wer hat schon die Zeit, sich als Leser durch komplette Studien durchzukämpfen?