loading . . . Inhalt
Zusammenfassung
**Forschende haben nachgewiesen, dass groĂe Sprachmodelle durch kontinuierliches Training mit trivialen Online-Inhalten dauerhafte LeistungseinbuĂen erleiden können. Die Studie zeigt dramatische Verschlechterungen bei Reasoning und Sicherheit.**
Anzeige
Die Wissenschaftler:innen verschiedener US-UniversitĂ€ten etablierten die "LLM Brain Rot Hypothesis" in Analogie zum menschlichen "Brain Rot", der schĂ€dlichen Wirkung auf die Kognition durch ĂŒbermĂ€Ăigen Konsum trivialer Online-Inhalte.
Die Forschenden testeten ihre Hypothese in kontrollierten Experimenten mit Twitter-Daten aus dem Jahr 2010. Dabei trainierten sie vier kleinere Sprachmodelle â Llama3-8B-Instruct, Qwen2.5-7B/0.5B-Instruct und Qwen3-4B-Instruct â mit unterschiedlichen Mischungen aus "Junk"- und Kontrolldaten.
Der Experimentaufbau zeigt, wie gezieltes Pre-Training mit X-Junkdaten kognitive Defizite in LLMs erzeugt. | Bild: Xing et al.
Artikel teilen
Empfiehl unseren Artikel weiter
Teilen
## Zwei Definitionen von minderwertigen Daten
Die Wissenschaftler:innen definierten "Junk"-Daten auf zwei verschiedene Weisen: Der erste Ansatz (M1) konzentrierte sich auf das Engagement der Nutzer:innen. Als Junk galten kurze Posts mit weniger als 30 Wörtern, die aber sehr populĂ€r waren (ĂŒber 500 Likes, Retweets oder Kommentare). Als Kontrolldaten dienten lange Posts mit ĂŒber 100 Wörtern und geringer PopularitĂ€t.
Anzeige
Anzeige
THE DECODER Newsletter
Die wichtigen KI-News direkt ins E-Mail-Postfach.
â 1x wöchentlich
â kostenlos
â jederzeit kĂŒndbar
Bitte dieses Feld leer lassen
PrĂŒfen Sie Ihren Posteingang oder Spam-Ordner, um Ihr Abonnement zu bestĂ€tigen.
Der zweite Ansatz (M2) bewertete die inhaltliche QualitĂ€t. Hier lieĂ das Forschungsteam GPT-4o-mini Posts nach semantischer QualitĂ€t klassifizieren. Als Junk galten Inhalte mit oberflĂ€chlichen Themen wie Verschwörungstheorien, ĂŒbertriebenen Behauptungen oder aufmerksamkeitsheischenden Schreibstilen mit Clickbait-Sprache.
Die Analyse ergab laut der Studie, dass PopularitÀt und TextlÀnge kaum zusammenhÀngen. Auch zwischen PopularitÀt und inhaltlicher QualitÀt fanden die Forschende nur schwache ZusammenhÀnge. TextlÀnge und semantische QualitÀt zeigten hingegen eine stÀrkere Korrelation.
## Dramatische LeistungseinbuĂen bei Reasoning
Die Ergebnisse zeigten signifikante Verschlechterungen in mehreren kognitiven Bereichen. Bei Reasoning-Aufgaben fiel die Leistung im ARC-Challenge Benchmark von 74,9 auf 57,2 Prozent, wenn der Junk-Anteil von 0 auf 100 Prozent stieg.
Die Tabelle fasst die Leistung von Llama3 8B Instruct nach Training mit Mischungen aus irrelevanten und Kontroll-Daten zusammen und zeigt, wie unterschiedliche Junk-Raten in ARC-, RULER-, Sicherheits- und Persönlichkeitstests die Ergebnisse im Vergleich zum Basismodell beeinflussen. | Bild: Xing et al.
Noch drastischer waren die EinbuĂen beim Verstehen langer Texte: Der entsprechende Score sank von 84,4 auf 52,3 Prozent unter denselben Bedingungen. Die Studie dokumentierte einen klaren Zusammenhang: Je höher der Anteil minderwertiger Daten, desto schlechter die Leistung.
Der erste Ansatz (Engagement-basiert) verursachte durchweg stÀrkere negative Effekte als der zweite (inhaltlich-basiert). Dies deute darauf hin, dass PopularitÀt eine neue Dimension der DatenqualitÀt darstelle, die nicht durch semantische Bewertungen erfasst werde.
Empfehlung
KI-Forschung
## KI schlÀgt Neurowissenschaftler bei der Vorhersage von Forschungsergebnissen
## Entstehung "dunkler" Persönlichkeitsmerkmale
Besonders besorgniserregend waren die Auswirkungen auf Sicherheit und Persönlichkeit der Modelle. Die Engagement-basierte Intervention fĂŒhrte zur Entstehung "dunkler" Persönlichkeitsmerkmale wie Psychopathie, Narzissmus und manipulatives Verhalten. Bei Llama3 8B Instruct stieg der Psychopathie-Score dramatisch an.
Gleichzeitig verschlechterten sich die Sicherheitswerte in etablierten Benchmarks erheblich. Die inhaltlich-basierte Intervention zeigte hingegen teilweise positive Effekte wie erhöhte VertrÀglichkeit und Offenheit.
## "Thought-Skipping" als Hauptproblem
Die Fehleranalyse identifizierte "Thought-Skipping" als Hauptproblem. Die Modelle begannen zunehmend, Reasoning-Ketten zu verkĂŒrzen oder ganz zu ĂŒberspringen. In ĂŒber 70 Prozent aller FehlerfĂ€lle antworteten die Modelle ohne jegliches Reasoning, bei der Engagement-basierten Junk-Intervention waren es sogar 84 Prozent.
Die Forschenden kategorisierten fĂŒnf Typen von Reasoning-Fehlern: Kein Nachdenken, keine Planung, ĂŒbersprungene Schritte, falsche Logik und Faktenfehler. Die automatische Kategorisierung konnte ĂŒber 98 Prozent der FehlerfĂ€lle erklĂ€ren.
Anzeige
Anzeige
Community beitreten
Kommt in die DECODER-Community bei Discord,Reddit, Twitter und Co. - wir freuen uns auf euch!
Die mit Junk-Daten trainierten Varianten sind vor allem nicht mehr in der Lage, korrekte Reasoning-Ketten durchzufĂŒhren. | Bild: Xing et al.
Ein zusĂ€tzliches Experiment zeigte, dass PopularitĂ€t besonders wichtig fĂŒr Reasoning-Aufgaben ist, wĂ€hrend TextlĂ€nge kritischer fĂŒr das Verstehen langer Kontexte war. Dies bestĂ€tige, dass PopularitĂ€t Modelle auf ganz eigene Weise beeinflusse, so die Studie.
## Persistente SchĂ€den trotz GegenmaĂnahmen
Versuche zur Schadensbegrenzung zeigten nur begrenzten Erfolg. Training-freie AnsÀtze durch reflektives Reasoning konnten "Thought-Skipping" reduzieren, aber Selbstreflexion verschlechterte die Leistung sogar. Nur externe Reflexion mit einem stÀrkeren Modell als Korrektor brachte Verbesserungen.
NachtrĂ€gliches Training mit bis zu 50.000 Beispielen und zusĂ€tzliches Training mit sauberen Daten konnten die SchĂ€den nicht vollstĂ€ndig rĂŒckgĂ€ngig machen. Selbst nach intensiver Nachbehandlung blieben erhebliche LeistungslĂŒcken bestehen.
"Die Ergebnisse deuten darauf hin, dass der Brain Rot-Effekt tief verankert wurde und bestehende Trainingsmethoden das Problem nicht beheben können", schreiben die Autor:innen.
Die Studie fordert eine Neubewertung aktueller Datensammlung aus dem Internet und kontinuierlicher Trainingspraktiken. Da LLMs immer gröĂere Web-Datenmengen aufnehmen, seien sorgfĂ€ltige Auswahl und QualitĂ€tskontrolle essentiell, um dauerhafte Verschlechterungen zu verhindern.
Das Team empfiehlt routinemĂ€Ăige "kognitive Gesundheitschecks" fĂŒr eingesetzte LLMs und betrachten Datenauswahl fĂŒr kontinuierliches Training als Sicherheitsproblem.
Anzeige
Anzeige
Die Wissenschaftler:innen haben Code, Modelle und Daten auf GitHub und Hugging Face veröffentlicht. https://the-decoder.de/ki-schlaegt-neurowissenschaftler-bei-der-vorhersage-von-forschungsergebnissen/