Chat GPT - Fluch oder Segen generativer KIs für die universitäre Lehre?

Informations- und Austauschveranstaltung

Martin Dröge, Sophie Eckenstaler, Anna Faust, Till Grallert, Torsten Hiltmann, Jan Krämer, Lilian Löwenau

AI-Skills

Digital History, Institut für Geschichtswissenschaften

Scholarly Makerspace

Large Language Models (LLMs)

Modelle haben drei grundlegende Eigenschaften (Jannidis und Flanders „A Gentle Introduction to Data Modeling“ 2019, 28; Stachowiak Allgemeine Modelltheorie 1973)
1. Mapping: Ein Model ist ein Model von etwas
2. Reduction: Ein Model ist nicht das Original sondern bildet für die Untersuchenden wichtige Aspekte ab
3. Purpose: Ein Model hat einen Zweck: es soll von jemanden für etwas benutzt werden
LM:
- we understand the term language model (LM) to refer to systems which are trained on string prediction tasks: that is, predicting the likelihood of a token (character, word or string) given either its preceding context or (in bidirectional and masked LMs) its surrounding context. Such systems are unsupervised and when deployed, take a text as input, commonly outputting scores or string predictions.
“stochastic parrots” (Bender u. a. „On the Dangers of Stochastic Parrots“ 2021, 617)
- an LM is a system for haphazardly stitching together sequences of linguistic forms it has observed in its vast training data, according to probabilistic information about how they combine, but without any reference to meaning: a stochastic parrot. [BenderEtal2021StochasticParrots, 617]
- Wer trifft die Auswahl?
- Welche sozio-kulturellen Biases perpetuieren sich hier?
Beispiel GPT-3 (Generative Pre-trained Transformer)
- 2048-token-long context and 175 billion parameters (requiring 800 GB of storage).

Transformer Modelle

Figure 4: Transformer! Quelle: https://www.flickr.com/photos/yellawolfstudios/5853934455, CC BY-NC 2.0

Sind Anwendungen von deep learning, die vor allem für Natural Language Processing (NLP) entwickelt wurden
Prinzip:
- Die Inputsequenz wird in Tokens (Wörter, Sätze etc.) zerschnitten
- Tokens werden in Vektoren übersetzt (Word embedding), bei dem Informationen über die Position des Tokens in der Inputsequenz erfasst wird.
Beispiele:
- Königin - weiblich = König
- Arzt + weiblich = Krankenschwester

Ein Transformer besteht im Wesentlichen aus in Serie geschalteten Kodierern (Encoder) und in Serie geschalteten Dekodierern (Decoder).[2][3][4] Die Eingabesequenz wird durch eine sogenannte Embedding-Schicht in eine Vektorrepräsentation überführt. Die Gewichte der Embedding-Schicht werden während des Trainings angepasst. Im Falle des Transformers kommt zusätzlich eine Positionskodierung zum Einsatz, wodurch die sequentielle Abfolge der Wörter berücksichtigt werden kann. Ein Wort erhält somit zu Beginn eines Satzes eine andere Repräsentation als am Ende.[3]

Die Eingabesequenz wird in der Vektorrepräsentation einer Serie von Kodierern übergeben und in eine interne Repräsentation überführt. Diese interne Repräsentation bildet die Bedeutung der Eingabesequenz abstrakt ab[4] und wird durch die Dekodierer in eine Ausgabesequenz übersetzt.[4] Die Eingabesequenz wird hierbei in Batches verarbeitet, wobei die Länge der Kodierer-Dekodierer-Pipeline die maximale Länge der Eingabesequenz beschränkt.[3] Je nach Größe des Netzwerks können beispielsweise einzelne Sätze oder auch ganze Absätze verarbeitet werden. Bei Eingabesequenzen, welche kürzer sind als die Länge der Kodierer-Dekodierer-Pipeline, wird Padding genutzt, um die Eingabesequenz aufzufüllen.[3]

Chat GPT - Fluch oder Segen generativer KIs für die universitäre Lehre? Informations- und Austauschveranstaltung Martin Dröge, Sophie Eckenstaler, Anna Faust, Till Grallert, Torsten Hiltmann, Jan Krämer, Lilian Löwenau AI-Skills Digital History, Institut für Geschichtswissenschaften Scholarly Makerspace