Chat GPT - Fluch oder Segen generativer KIs für die universitäre Lehre?

Informations- und Austauschveranstaltung

Martin Dröge, Sophie Eckenstaler, Anna Faust, Till Grallert, Torsten Hiltmann, Jan Krämer, Lilian Löwenau

AI-Skills

Digital History, Institut für Geschichtswissenschaften

Scholarly Makerspace

Willkommen

AI Skills

“AI Skills” (BMBF, 2021–25)

hu.berlin/ai-skills

Digital History

Torsten Hiltmann

Professur für Digital History (seit 2020)

Institut für Geschichtswissenschaften

hu.berlin/digital-history

Scholarly Makerspace

Ein Lernort für digitale Werkzeugkompetenz in den Geistes- und Kulturwissenschaften

“Future e-Research Support in the Humanities" (DFG, 2022–25)

makerspace.hypotheses.org

Willkommen

Wir haben eine kleine Umfrage zu ChatGPT vorbereitet

Figure 1: Ergebnisse der Umfrage am 17. Januar 2023. 178 Teilnehmer_innen haben abgestimmt

Willkommen

Wir haben ein Miroboard für das weitere Vorgehen vorbereitet

Was ist ChatGPT?

Was ist ChatGPT?

ChatGPT ist der Prototyp eines Chatbots, […] der auf künstlicher Intelligenz (KI) beruht. Er wurde von dem US-amerikanischen Unternehmen OpenAI entwickelt und im November 2022 veröffentlicht. Um […] das dahinter stehende Modell zu verbessern, wird die KI von ChatGPT fortlaufend durch menschliches Feedback trainiert. Wikipedia

flowchart RL
    comp2((OpenAI\n2015)) --> gpt[(GPT: Generative\nPre-trained\nTransformer\n2018)]

    gpt --> chatgpt{ChatGPT\n2022}

    click chatgpt "https://chat.openai.com/" _blank

KI?
Was soll das sein?!

Künstliche Intelligenz (KI / AI)

Figure 2: Enthüllung einer Gedenktafel im Darthmouth College, Quelle: (Belser „AI Conference Returns to College After 50 Yrs.“ 2006)
  • “Künstliche Intelligenz” ist ein altes Buzzword, das sich findige Wissenschaftler 1956 für einen Förderantrag ausgedacht haben.
  • Es ist besser von maschinellem Lernen (ML) zu sprechen, das z.T. auf künstlichen neuronalen Netzen beruht.

Maschinelles Lernen (ML)

Was?

  • Algorithmen, die auf der Basis sehr großer Datensätze statistische Modelle anlegen (trainieren)
  • Es gibt verschiedenste Arten des ML
    • Supervised
    • unsupervised
    • transfer learning
    • deep learning
    • reinforcement learning

Wie?

KI/ML ist eine klassische “Blackbox”

Large Language Models (LLMs)

Was?

  • Modelle (Stachowiak Allgemeine Modelltheorie 1973):
    • Abbildung
    • Verkürzung/Reduktion
    • Zweckbindung
  • SprachModelle (LM):
    • statistische Wahrscheinlichkeitsverteilung von Tokens (Buchstaben, Wörter, Strings) in einer Textsequenz innerhalb eines Korpus
    • werden trainiert
    • dienen der Stringvorhersage
    • Idee ist alt (Shannon und Weaver The Mathematical Theory of Communication 1949)
  • Große Sprachmodelle (LLM):
    • Hunderte Milliarden von Parametern
    • Benötigen hunderte GB Speicherplatz

Beispiel

Figure 3: Texteingabe eines Smartphones mit Hilfe eines LLM

Transformer Modelle

Figure 4: Transformer! Quelle: https://www.flickr.com/photos/yellawolfstudios/5853934455, CC BY-NC 2.0
  • Sind Anwendungen von deep learning, die vor allem für Natural Language Processing (NLP) entwickelt wurden
  • Prinzip:
    • Die Inputsequenz wird in Tokens (Wörter, Sätze etc.) zerschnitten
    • Tokens werden in Vektoren übersetzt (Word embedding), bei dem Informationen über die Position des Tokens in der Inputsequenz erfasst wird.
  • Beispiele:
    • Königin - weiblich = König
    • Arzt + weiblich = Krankenschwester

ChatGPT

ChatGPT

  • Ein “Chatbot” auf der Basis von GPT-3
  • Entwickelt von OpenAI
  • unterstützt alle im Internet dominant vertretenen Sprachen
  • Veröffentlicht am 30 November 2022
  • 1 Mio Nutzer_innen in 5 Tagen
---
title: Die etwas interessantere Antwort
---

flowchart LR
    %% nodes
    gpt[(GPT: Generative\nPre-trained\nTransformer\n2018)]
    gpt3[(GPT-3\n2020)]
    chatgpt{ChatGPT\n2022}
    dalle{DALL-E\n2021}
    copil{GitHub\nCoPilot\n2021}
    data1[("Common Crawl\ndata set\n2011-")]

    pers1[Elon Musk]
    pers2[Peter Thiel]
    comp2((OpenAI\n2015\nnonprofit))
    comp3((Microsoft))
    comp4(("Amazon Web\nServices (AWS)"))
    comp5((OpenAI\n2019\nfor profit))
    comp6((Common Crawl\nnonprofit))
    comp7((GitHub))

    %% vertices
    comp2 ==> gpt
    pers1 -.->|co-funded| comp2
    pers2 -.->|co-funded| comp2
    comp4 -.->|co-funded| comp2
    comp4 --> |hosts| data1
    comp6 --> |provides| data1
    data1 --> |training\nset for| gpt
    gpt ==> comp5
    comp5 ==> gpt3
    comp3 -.->|invested| comp5
    gpt3 -.->|exclusive use| comp3
    comp3 -.->|bought\n2018| comp7
    gpt3 -->|powers| dalle & copil
    gpt3 ====>|powers| chatgpt
    comp7 -.- copil

    %% hyperlinks
    click chatgpt "https://chat.openai.com/" _blank
    click dalle "https://openai.com/blog/dall-e/" _blank
    click comp6 "http://commoncrawl.org/" _blank

    %% looks: note that classes can be defined in the main CSS
    classDef focus stroke:blue,stroke-width:4px,font-size:1em
    class comp2,comp5,gpt3,gpt,chatgpt focus

Wer kann das benutzen?

  • Die Nutzung ist zunächst kostenfrei nach Anmeldung und in der Kapazität begrenzt
  • Dient der Verbesserung der Modelle und Produktentwicklung
Figure 5: Aktuell häufig zu sehen. ChatGPT ist ausgelastet

Anmerkungen vom Grantler

LLMs sind Bullshit-Artists

  • Konzepte wie “Wahrheit” oder “Korrektheit” sind nur nebensächlicher Beifang
  • Optimiert werden “Menschenähnlichkeit” und “Menschengefälligkeit”
(Frankfurt On Bullshit 2005)

Wer ist der Urheber?
Wer ist zuständig?

  • Wo ist die Grenze zwischen Schöpfung und Remix der Ursprungsdaten?
  • “Zufallsausgaben” mit schutzwürdigen und privaten Informationen
  • Wie Training auf eigenen Schöpfungen kontrollieren?
Quelle: https://twitter.com/feedmeshrimp/status/1555539430919774209

It is a riddle…

It is a riddle… wrapped in a mystery…inside an enigma

Winston Churchill

LLMs sind Blackboxes…

  • …gefüttert mit unbekannten Daten…
  • … mit automatisierten (vor) Filtern….
  • …potentiellen manuellen Antwortmustern…

Beispiele

Reflektierter Umgang mit KI in der Schule
Deutschunterricht

Reflektierter Umgang mit KI in der Schule
Deutschunterricht

Reflektierter Umgang mit KI in der Schule
Deutschunterricht

Reflektierter Umgang mit KI in der Schule
Deutschunterricht

Beispiel: Geschichte

Write a summary in scientific style on the role of Topf & Sons in Auschwitz, citing literature and sources.

Topf & Sons was a German engineering firm that played a significant role in the Holocaust as a supplier of crematoria and incineration equipment to the Auschwitz concentration camp, where millions of Jews and other minorities were murdered. The company profited economically from the systematic extermination of Holocaust victims …

ChatGPT

Figure 6: ChatGPT schreibt einen wissenschaftlichen Text zur Rolle von “Topf & Söhne” in Auschwitz

Beispiel: Geschichte

  • Formal: korrekt
  • Inhaltlich: Fällt hinter Forschungsstand zurück
Figure 7: Formal korrekt aber veraltet

Beispiel: Geschichte

  • Formal: korrekt
  • Inhaltlich: Fällt hinter Forschungsstand zurück

(Schüle Industrie und Holocaust 2010)

Beispiel: Geschichte

  • Formal: korrekt
  • Inhaltlich: Fällt hinter Forschungsstand zurück
  • Literatur
    • Nicht wissenschaftlich, veraltet
    • Keine Relevanz für das Thema (Schelvis und Finkelstein)
Figure 8: Irrelevante Literatur

Beispiel: Geschichte

  • Formal: korrekt
  • Inhaltlich: Fällt hinter Forschungsstand zurück
  • Literatur
    • Nicht wissenschaftlich, veraltet
    • Keine Relevanz für das Thema (Schelvis und Finkelstein)
    • Fraglich/ problematisch (Pressac)
Figure 9: Problematische Literatur

Beispiel: Geschichte

  • Formal: korrekt
  • Inhaltlich: Fällt hinter Forschungsstand zurück
  • Literatur
    • Nicht wissenschaftlich, veraltet
    • Keine Relevanz für das Thema (Schelvis und Finkelstein)
    • Fraglich/ problematisch (Pressac)
    • Nicht existent (Taylor 2017)
Figure 10: Ausgedachte Literatur

Beispiel: Geschichte

  • Formal: korrekt
  • Inhaltlich: Fällt hinter Forschungsstand zurück
  • Literatur
    • Nicht wissenschaftlich, veraltet
    • Keine Relevanz für das Thema (Schelvis und Finkelstein)
    • Fraglich/ problematisch (Pressac)
    • Nicht existent (Taylor 2017)
Figure 11: Hier müsste Taylor 2017 auftauchen

Beispiel: Geschichte

  • Formal: korrekt
  • Inhaltlich: Fällt hinter Forschungsstand zurück
  • Literatur
    • Nicht wissenschaftlich, veraltet
    • Keine Relevanz für das Thema (Schelvis und Finkelstein)
    • Fraglich/ problematisch (Pressac)
    • Nicht existent (Taylor 2017)
  • Funktionsweise und Grenzen des Systems
  • Überprüfbarkeit und Nachvollziehbarkeit der Inhalte

Diskussion

Wie nun damit umgehen?

Grundlagen = informiert und methodisch reflektiert entscheinden

Rahmenbedingungen

  • Transparenz der Angebote
  • Diversität der Anbietenden
  • Gerechter Zugang zu den neuen Ressourcen
  • Hoheit über die inhaltlichen Grundlagen
  • Datenschutz und Privatsphäre

Herausforderungen für die Lehre

  • Verbieten oder einbinden?
  • Welche konkreten Einsatzszenarien für Lehrende und Studierende gibt es?
  • Welche konkreten Kompetenzen müssen für einen reflektierten Umgang mit diesen Tools vermittelt werden?
  • Welche Kompetenzen sind durch die neuen Technologien gefährdet und wie müssen wir unsere Prüfungsformate entsprechend anpassen?

Diskussion und Austausch

Hier noch einmal die Ergebnisse unserer kleinen Umfrage zu ChatGPT

Figure 12: Ergebnisse der Umfrage am 17. Januar 2023. 178 Teilnehmer_innen haben abgestimmt

Diskussion und Austausch

Hier noch einmal unsere gemeinsames Miroboard zum weiteren Vorgehen

Schluß / Danke!

Weiterführende Angebote

Literatur

Belser, Alex. 2006. „AI Conference Returns to College After 50 Yrs.“ The Dartmouth, 18. Juli 2006. https://www.thedartmouth.com/article/2006/07/ai-conference-returns-to-college-after-50-yrs.
Bender, Emily M., Timnit Gebru, Angelina McMillan-Major, und Shmargaret Shmitchell. 2021. „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜“. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610–23. FAccT ’21. New York, NY, USA: Association for Computing Machinery. https://doi.org/10.1145/3442188.3445922.
Frankfurt, Harry G. 2005. On Bullshit. Princeton: Princeton University Press.
Jannidis, Fotis, und Julia Flanders. 2019. „A Gentle Introduction to Data Modeling“. In The Shape of Data in Digital Humanities: Modeling Texts and Text-Based Resources, herausgegeben von Julia Flanders und Fotis Jannidis, 26–95. Digital Research in the Arts and Humanities. London: Routledge.
Schüle, Annegret. 2010. Industrie und Holocaust: Topf & Söhne - Die Ofenbauer von Auschwitz. Göttingen: Wallstein.
Shannon, Claude E., und Warren Weaver. 1949. The Mathematical Theory of Communication. Urbana: University of Illinois Press.
Stachowiak, Herbert. 1973. Allgemeine Modelltheorie. Wien: Springer.