Hallo Ihr Lieben,
nach nunmehr fast zehn Monaten hatte ich am 21.09.2023 endlich wieder die ehrenvolle Gelegenheit, einen Vortrag im Rotary Club Frankfurt/M.-Friedensbrücke halten zu dürfen. Der Themenvorschlag kam diesmal ausgesprochen proaktiv von mir selbst, denn ich wollte diese Gelegenheit nutzen, mich in ein Thema einzuarbeiten, das derzeit in aller Munde ist und mich schon aufgrund meiner Historie als Informatiker mit vorübergehender akademischer Karriere im Fachgebiet „Intellektik” des Fachbereichs Informatik an der TU Darmstadt brennend interessiert: ChatGPT!
Tatsächlich waren künstliche neuronale Netze, welche die technologische Basis für die großen Sprachmodelle nach Bauart von ChatGPT bilden, schon zu meiner akademischen Zeit (also in den 1990er Jahren) ein Thema — wenngleich natürlich nur in eben jener akademischen Welt, denn seinerzeit gab es weder genug Rechenleistung noch hinreichend große annotierte Datenbestände, um Netze mit angemessener Leistungsfähigkeit zu bauen und sie dann auch noch mit einer ausreichenden Menge an Trainingsdaten zu versorgen. Immerhin hat ein Institutskollege von mir schon damals über ein neuronales Netz promoviert, das bestimmte Merkmale von EEG-Ableitungen daraufhin analysieren konnte, ob es sich um Hinweise auf Epilepsie oder lediglich um sogenannte Bulbus-Artefakte handelt — also Kurvenverläufe, die bei Augenbewegungen des Patienten während der Messung entstehen.
Aber es mussten noch weitere rund fünfzehn Jahre vergehen, bis genügend Rechenleistung (insbesondere in Form von Grafikkarten — näheres dazu in der unten referenzierten Vortragsausarbeitung) und genügend Trainingsmaterial (insbesondere durch Suchmaschinen im World-Wide-Web und soziale Netzwerke) vorhanden waren, um praxisrelevante Systeme bauen zu können, die auf neuronalen Netzen beruhen. So kam es schließlich in jüngster Zeit zur Entwicklung großer Sprachmodelle, unter denen sich die sogenannten „Transformer” als besonderes leistungsfähig herauskristallisierten. Ein Beispiel für diese Transformer ist nun eben gerade ChatGPT (daher das „T” in seinem Namen), so dass ich mit Hilfe meiner Vortragsvorbereitung den Versuch unternehmen wollte zu begreifen, wie so ein System im Grundsatz aufgebaut ist und wie es funktioniert.
Was daraus geworden ist findet Ihr in Form einer 14-seitigen Ausarbeitung unter folgendem Link:
http://www.kornfamily.de/daniel/Rotary/ChatGPT.pdf
Zum eigentlichen Vortrag hatte ich natürlich — wie immer — eine Reihe animierter Folien vorbereitet, die Ihr nachstehend als Video betrachten könnt:
Ich hoffe, Ihr könnt damit etwas anfangen. Mir hat es jedenfalls eine Menge an Einsichten über die Funktionsprinzipien dieser sogenannten generativen KI-Systeme vermittelt. Dazu gehören insbesondere die Stärken aber eben auch die bauartbedingten Grenzen solcher Systeme, auf deren Ausgaben man sich nämlich (zumindest nach heutigem Stand der Dinge) keineswegs unhinterfragt verlassen kann.
Das Feedback zum Vortrag war diesmal eindeutig von Anerkennung geprägt, was mir dahingehend Zuversicht verleiht, dass ich so langsam dann doch auf dem richtigen Weg zu einer für Laien verständlichen IT-Didaktik zu sein scheine. Wenn man dagegen an meine Blogserie zur Mandelbrotmenge denkt, scheint es hier also doch noch eine Lernkurve zu geben. Bin daher schon mal sehr gespannt, was Ihr davon haltet. Kommentare und Feedback sind wie immer stets sehr willkommen!
Alles Liebe
Daniel
Lieber Daniel, shalom und herzlichen Dank für diese so wunderbare Darstellung eines so schwer verständlichen Themas. Besonders beeindruckt bin ich, dass Du ehrlich die Sorgen über die Risiken nicht ausräumen lässt, sondern sogar durch wichtige Zitate (Quelle 10) deutlich wach hälst. Alles Gute, Dein, Ari
Wenn ich darf, hier ausführlicher:
Lieber Daniel, shalom. Ich habe nach erstem Einlesen nicht gewagt, zu kommentieren. Nun nach einemzweiten „Lesen” des Textes und Ansicht der Folien habe ich zum mindesten den Mut gesfasst, Dir sehr herzlich dafür zu danken, dass Du wohl eines der aktuell meist diskutierten und eventuell am wenigsten verstandenen Themn uns in Deiner so fantastischen Weise präsentiert hast. Ich gehöre zu den Vielen, die keine Informatiker sind. Umsomehr bin ich Dir für die enorme didaktische Kreativität dankbar, dass Du ein so riesiges und offensichtlich noch nicht endgültig erschlossenes Terrain uns so darstellst, dass es zu einer spannen Lektüre wurde, obwohl man zimlich frustriert feststellen muss: „Mensch, Toll!. Es ist bestimmt extrem wichtig. Ich verstehe die wissenschaftlichen Vorgänge trotz der klaren und übersichtlichen Darstellung in Wahrheit noch nicht. Aber: Eines steht für mich nach dem Lesen fest: Es ist eine die Zukunft prägende technologische Entwicklung, von der man noch nicht weiß, wohin sie führt. Ich möchte den Absatz Deines so umfangreichen Textes hervorheben: An diesen Beispielen ist gut erkennbar, dass ChatGPT eben gerade nicht wirklich versteht, was in den Trainingstexten niedergelegt ist. Stattdessen generiert es zu einer gegebenen Fragestellung zugegebenermaßen sehr eloquent formulierte Texte auf Basis von Wahrscheinlichkeitsverteilungen, die es aus der Analyse der Trainingstexte hergeleitet hat. In vielen Fällen passt das hervorragend als Antwort auf die gestellte Frage, aber verlassen kann man sich darauf keinesfalls. In gewisser Weise kann man es auch so ausdrücken, dass Sprachmodelle nach Art von GPT im Moment letztlich nichts anderes sind als mehr oder weniger überzeugende digitale Hochstapler. (Quelle 10 im Artikel) Für diese so deutliche WARNUNG hat sich das Lesen 100%tig gelohnt. Noch nie habe ich einen Text gelesen, bei dem ich mir darüber im Klaren war, das ich die Argumentation nicht sachlich nachvollziehen kann, aber das dumpfe Gefühl habe, dass die Sorge, die im zitierten Absatz zum Ausdruck kommt, mir 100%tig einleuchtet! Eigentlich eine absurde Lage. Eine Sorge empfinden, die man nicht argumentativ begründen kann. Ein Sorge, die nur auf Grund menschlicher individueller Intuition entstanden ist. Deine so brilliante Dalegung der Entwicklung der Thematik hat mir gut getan. Warum? Weil ich den Eindruck habe, dass sogar ein so erfahrener und so exzellent und interdisziplinär gebildeter Informatiker und Humanist durch die Darstellung nicht (nicht) die Sorgen und eine gewisse Portion Misstrauen bei Seite tut, abwimmelt oder zu zertreuen sucht, sondern im gegenteil bestehende Sorgen und Misstrauen behutsam sogar arumentativ wach hält. Dafür danke ich Dir sehr herzlich. Denn, mehrmals in der Geschichte der Menschheit hat man eher halbwegs verträgliche Lösungen für Bedrohungspotenziale erst dann gefunden, als man die Gefahren, die Risiken und die Sorgen offen und frühzeitig ausgesprochen hat. Möge Dein Beitrag dazu dienen, Risiken durch Information zu reduzieren, ohne Panik zu verbreiten. Aus Deinen Beitrag darf entnehmen, dass die Menschheit sehr wohl bei dieser Technologie sehr auf der Hut sein sollte.
Zusatz: Was mir aufgefallen ist, war, dass kein Beispiel geliefert wird, dass z.B. Chat GPT antworten könnte: „Ich weiss es nicht!”. Dass sagt alles aus. Man gibt sich einer propagierten Illusion hin, als ob die Maschine alles wissen kann…