SoekiaGPT: Funktionsweise grosser Sprachmodelle wie z.B. ChatGPT

Verfasst von Michael Hielscher (michael-hielscher.de)

Soekiagpt
InhaltWebbasierte Simulation eines Textgenerators
FachgebietInformatik, Deutsch usw.
Schultypab 5. Klasse

Worum geht es?

SoekiaGPT ist ein Textgenerator speziell für den Unterricht. Mit SoekiaGPT kann man hinter die Kulissen grosser Sprachmodelle schauen und damit einige Grundprinzipien von Textgeneratoren wie ChatGPT kennenlernen. Der Erfolg grosser textbasierter Sprachmodelle wie ChatGPT beruht auf riesigen Dokumentenkollektionen als Trainingsdaten, auf mächtigen neuronalen Netzen für das maschinelle Lernen und auf grosser Rechenleistung. Alle drei Voraussetzungen sind im Unterricht nicht gegeben. SoekiaGPT nimmt deshalb eine ganze Reihe von Vereinfachungen vor. Aus diesen Gründen eignet sich SoekiaGPT nicht als Werkzeug zur Textgenerierung im Schulalltag.

Textbasierte Sprachmodelle nutzen typischerweise eine riesige Dokumentenkollektion, z.B. Texte aus der Wikipedia, aus Büchern und Zeitschriften, aus News-Artikeln, aus Social Media Plattformen und vieles mehr. Die Dokumentenkollektion dient als Trainingsdaten und das Sprachmodell berechnet basierend aufgrund der mathematisch-statistischen Analyse zum Beispiel, welches Zeichen oder welches Wort in einem Text mit grosser Wahrscheinlichkeit als nächstes kommt und ergänzt so einen Text fortlaufend.

Links

SoekiaGPTErklärvideo (mp4)
SoekiaGPTLeitfaden für Lehrpersonen (pdf)
SoekiaGPTOnline Lernumgebung