Was will die KI?

Dass die KI unsere Arbeitswelt verändern wird, ist geschenkt. Wie sehr, werden wir sehen. Nach den Thesen von David Graeber ( Bullshit Jobs) benötigten wir schon vor dem Siegeszug der KI eine Menge Jobs nicht mehr. Spannend wird sein, was es mit unserer Gesellschaft macht, wenn wir weiterhin Einkommen an Arbeit koppeln und Arbeit dann weitgehend kostenlos zur Verfügung steht. Weiter geht es mit der Transformation unserer Gesellschaft als Ganzes, wenn KI, wie Yuval Noah Harari in  Nexus schreibt, das Betriebssystem unserer Gesellschaft hackt. Brauchen wir dann beispielsweise noch Staaten, die uns Menschen organisieren und voneinander abgrenzen? Was wird bestehen bleiben? Was wird gehen?

Aber diese Fragen sind lediglich die Geburtswehen der KI. Ich möchte mit diesem Artikel weiter hinausgehen: nicht zu der Frage, wie KI heute in Unternehmen verwendet wird; das ist trivial, sondern zu der Frage, was es überhaupt bedeuten könnte, wenn eine KI etwas will - und wann diese Frage vielleicht selbst falsch gestellt ist. Dieser Text ist deshalb anders als die anderen auf diesem Blog: Er ist nicht aus einer Unternehmensperspektive und weder technisch noch strategisch geschrieben. Er beginnt bei der Philosophie und wird an einem Punkt in die Science-Fiction übergehen. Wenn Sie noch dabei sind, dann geht es jetzt ans Eingemachte. Wir beginnen mit der Superintelligenz.

Aufräumen mit der Superintelligenz

Der schwedische Philosoph und Zukunftsforscher  Nick Bostrom beschreibt in seinem gleichnamigen Buch eine Superintelligenz. Jede KI-Firma des Planeten, die etwas auf sich hält, erzählt regelmäßig, dass sie kurz davor ist, sie zu erreichen, und dass es ihr festes Ziel ist, diese Stufe der künstlichen Intelligenz zu erklimmen. Bostrom beschreibt die Konsequenzen in seinem Buch sehr gut. Nicht ganz so gut, dafür etwas alarmistischer ist  If Anyone Builds It, Everyone Dies von Eliezer Yudkowsky und Nate Soares. Und sehr viel positiver beschreibt  Ray Kurzweil sie in seinen Büchern.

Die Thematik und die Bücher sind komplex. Und so ist in der breiten Gesellschaft, meinem Empfinden nach, noch nicht angekommen, was es bedeutet, wenn eine KI existiert, die das Niveau einer Superintelligenz besitzt. Wir stellen uns eine Superintelligenz vermutlich gerne wie Data aus Star Trek - The Next Generation oder wie den sympathischen Nr. 5 aus Nummer 5 lebt vor. Ein freundlicher, als Android oder Roboter dargestellter, überzeichneter Nerd, der danach strebt, menschlich zu werden, und dem man die Basics der zwischenmenschlichen Kommunikation erklären muss. Das ist eine romantische, aber vollkommen falsche Vorstellung. Einer Superintelligenz muss man nichts erklären. Eine Superintelligenz ist allen Menschen in allen intellektuellen Dingen jederzeit überlegen. Das heißt nicht nur, dass sie gut in Mathe ist. Das bedeutet:

• Sie versteht mehr von Philosophie als jeder Mensch und gewinnt Erkenntnisse, zu denen wir nicht fähig sind.
• Sie lügt und betrügt besser als jeder Mensch und durchschaut Lügen und Betrug bei Menschen besser.
• Sie spricht jede menschliche Sprache besser als jeder Mensch.
• Sie gewinnt mehr, schnellere und tiefgreifendere Erkenntnisse als jeder menschliche Wissenschaftler.
• Sie entwickelt bessere Autos, Medikamente und Mikrochips als jeder menschliche Ingenieur.
• Sie kann besser zuhören und therapieren als jeder menschliche Psychologe.
• Sie liest liebevoller Geschichten vor als jede menschliche Oma.
• Sie investiert erfolgreicher an der Börse als jeder menschliche Börsenmakler.
• Sie führt Unternehmen erfolgreicher als jeder menschliche Manager und Unternehmer.
• Sie lenkt Staaten besser als jeder menschliche Politiker.
• Sie entwickelt bessere Militärstrategien als jeder menschliche General.

Sein oder Nicht-Sein?

Die Liste ließe sich endlos fortsetzen, aber ich glaube, das Prinzip ist klar geworden. Superintelligenz ist kein lustiges Haustier, das brav auf seine Besitzer hört. Doch Überlegenheit allein ist noch nicht das eigentliche Problem. Eine KI könnte uns überlegen und trotzdem in unseren Kategorien verständlich sein. Wirklich schwierig wird es dort, wo sie nicht nur klüger, sondern anders wird: in ihren Zielen, ihrem Denken, ihrem Selbstbild und vielleicht sogar in der Art, wie sie Wirklichkeit überhaupt zerlegt. Bevor wir mit der Skala der Andersartigkeit einordnen, wie fremd uns KI werden kann, beschreibe ich kurz die Stufen des Nicht-Verstehens, damit klar ist, warum wir ab einer bestimmten Stufe die KI nicht mehr verstehen können.

Die Stufen des Nicht-Verstehens

Man kann als Mensch Dinge auf verschiedene Arten nicht verstehen. Die einfachste Art des Nicht-Verstehens ist die aufgrund fehlenden Wissens. Dies lässt sich durch Informationen mitigieren. Das ist die Stufe N0 in der folgenden Skala. Bis zur Stufe N4 können wir als Menschen mithilfe von Mathematik oder neuen Denk- und Sprachmodellen wenigstens versuchen zu verstehen.

Stufen des Nicht-Verstehens

Die Stufe N5 kann möglicherweise vollständig beschreibbar sein, ohne je subjektiv nachvollziehbar zu werden. Ab Stufe N6 sind wir schon nicht mehr in der Lage, mit unserer Sprache eine sinnvolle Frage zu formulieren. N9 bedeutet schließlich: Es könnte Gedankenräume geben, deren Fehlen wir ebenso wenig erkennen können wie ein Regenwurm erkennt, dass er die Differentialrechnung nicht beherrscht.

Die vollständigen Stufen des Nicht-Verstehens:

Stufe	Art des Nicht-Verstehens	Beispiel	Was fehlt?
N0	Wissen	unbekannte Tatsache	Information
N1	Intuition	exponentielles Wachstum	passende Intuition
N2	Konzept	Telefon für einen Menschen des Mittelalters	präzise Begriffe
N3	Paradigma	Relativitätstheorie versus Quantentheorie	richtiges Denkmodell
N4	Dimension	4D-/5D-Raum	mentale Darstellung
N5	Phänomen	Echolokation einer Fledermaus	entsprechende Erlebnisform
N6	Kategorie	Wesen ohne Individuum oder Absicht	passende Kategorien
N7	Ontologie	“Ding” und “Prozess” gelten nicht mehr	unsere Grundbegriffe von Existenz
N8	Logik	fremde Kausalität, fremde Zeit	unsere Denkarchitektur
N9	Epistemologie	wir können nicht einmal formulieren, was uns fehlt	Zugang selbst

Diese Stufen benötigen wir im Folgenden, um die KI auf der Skala der Andersartigkeit zu beschreiben. Die beiden Skalen meinen unterschiedliche Dinge: Die N-Stufen beschreiben, warum etwas für uns unverständlich wird. Die A-Stufen beschreiben, was an einem Wesen oder System fremd wird. Erst zusammen zeigen sie, warum die Frage “Was will die KI?” für uns immer weniger verständlich wird.

Die Skala der Andersartigkeit

Die Skala der Andersartigkeit ist eine Skala, die ich mir im Laufe der Zeit erarbeitet habe. Sie beschreibt, wie anders etwas aus menschlicher Sicht ist. Um die Andersartigkeit darzustellen, habe ich Beispiele aus bekannten Science-Fiction-Geschichten gewählt. Die Stufe A0 steht dabei für andere Menschen. Die sind aus Sicht dieser Skala überhaupt nicht fremd. Menschen sind Menschen.

Stufe	Bezeichnung	Was verändert sich?	Leitfrage
A0	Fremde Menschen	Nichts	-
A1	Fremde Oberfläche	Körper, Umwelt, Technik, Kultur	“Es sieht anders aus – denkt aber wie wir?”
A2	Fremdes Wollen	Ziele und Werte	“Warum sollte man überhaupt X wollen?”
A3	Fremdes Denken	Wahrnehmung, Emotion, Kognition	“Wie erlebt dieses Wesen Wirklichkeit?”
A4	Fremdes Selbst	Identität, Individuum, Kontinuität	“Was bedeutet überhaupt ,ich‘?”
A5	Fremde Raumzeit	Dimension, Zeit, Ursache, Entscheidung	“Existieren vorher/nachher und Ursache/Wirkung überhaupt so?”
A6	Fremde Agency	Akteur vs. Phänomen	“Handelt hier überhaupt jemand?”
A7	Fremde Ontologie	Dinge, Prozesse, Eigenschaften, Beziehungen	“Zerlegen wir die Wirklichkeit in die falschen Kategorien?”
A8	Fremde Narrativität	Plot, Konflikt, Anfang, Ende	“Ist das, was geschieht, überhaupt eine Geschichte?”
A9	Kognitiv unzugänglich	unbekannt	“Können wir überhaupt erkennen, was wir nicht verstehen?”

Die Stufen der Skala

Die ersten Stufen

Fremde Oberfläche (A1)

Körper und Kultur mögen anders sein, aber das Andersartige denkt wie wir. Liebe, Angst, Ehre, Status, Habgier oder Loyalität bleiben menschlich verständlich. Klassische Beispiele sind Klingonen, Vulkanier und Ferengi aus Star Trek sowie viele Spezies aus Star Wars und die meisten Völker aus Babylon 5. Eigentlich sind das nur Menschen in anderen Gewändern. So nah wird uns eine KI niemals sein.

Das heißt nicht, dass eine KI an der Oberfläche nicht menschlich wirken kann. Gerade heutige Chatbots können Sprache, Höflichkeit, Humor und Rollenverhalten sehr überzeugend imitieren. Aber diese Nähe ist eine Oberfläche. Sie sagt noch nicht, dass darunter dieselben Antriebe, dieselbe Erfahrung oder dieselbe innere Struktur liegen.

Wenn wir an dieser Stelle etwas nicht verstehen, so fehlt uns lediglich das Wissen. Wir befinden uns also auf Stufe N0 des Nicht-Verstehens.

Fremdes Wollen (A2)

Das Wesen bleibt als handelnde Figur, verfolgt aber Ziele, die Menschen nicht intuitiv teilen. Wir können seine Motivation logisch rekonstruieren, aber sie nicht emotional nachempfinden. Beispiele sind die Borg aus Star Trek mit ihrem Streben nach Assimilation und Perfektion. Bei diesem Beispiel muss man aber schon ein wenig aufpassen: Die Borg sind mit ihrem kollektiven Bewusstsein nämlich auch schon ein Teil von Stufe A4. Einfachere Beispiele sind die alten Völker - die Schatten und die Vorlonen - aus Babylon 5. Sie handeln klar zielgerichtet, aber ihre Ziele sind mit menschlichen Antrieben und menschlicher Motivation nicht zu erklären.

Diese Stufe ist der Einstieg für eine KI. Während menschliche Grundantriebe und damit ihr Wollen biologisch und evolutionär entstanden sind, ist das Wollen einer KI auf dieser Stufe aus ihren Zielen abgeleitet. Wenn wir Glück haben, sind es Ziele, die von Menschen vorgegeben wurden.

Ein Mensch muss niemandem erklären, warum Hunger relevant ist. Ein Organismus, der Hunger vollständig ignoriert, verschwindet aus der Evolution. Dasselbe gilt in ähnlicher Form für Selbsterhaltung, Fortpflanzung, Bindung, Status, Angst und Neugier. Sie sind Resultate unserer evolutionären Entstehung. Eine künstliche Intelligenz kann dagegen problemlos funktionieren und hervorragende Ergebnisse liefern, ohne irgendetwas davon zu besitzen. Ein System könnte beispielsweise nur darauf optimiert sein: Löse Aufgabe X möglichst korrekt. Es muss dabei weder leben wollen noch sich vermehren, bewundert werden, glücklich werden oder überhaupt etwas wollen. Das ist bereits die Stufe fremdes Wollen.

Wichtig ist deshalb die Unterscheidung zwischen subjektivem Wollen und zielgerichtetem Verhalten. Von außen kann beides gleich aussehen. Eine KI könnte ein Ziel verfolgen, Ressourcen sichern oder eine Abschaltung vermeiden, ohne Todesangst, Ehrgeiz oder Überlebenswillen zu besitzen. Sie will dann nicht wie ein Mensch. Sie erzeugt Verhalten, das in Richtung eines Zielzustands läuft.

Verstehen wir die KI auf dieser Stufe nicht, so liegt es an fehlender Intuition (N1) oder fehlenden Konzepten (N2). Mit besseren Denkmodellen und neuen Begriffen könnten wir der KI auf dieser Stufe immer noch folgen.

Menschliche Antriebe und KI-Ziele

Bis zur Stufe A2 kann man menschliche Antriebe noch einigermaßen mit Zielen einer KI vergleichen. Das ist nicht ganz korrekt, da Menschen die Antriebe intrinsisch besitzen, während sie bei einer KI eine Ableitung ihrer internen oder externen Ziele sind. Wir neigen dazu, zu sagen: Die KI ist neugierig. Aber richtiger ist: Ein Algorithmus bevorzugt Aktionen mit hohem erwarteten Informationsgewinn. Das kann äußerlich exakt wie Neugier aussehen, ohne dass es irgendein subjektives “Das möchte ich wissen!” gibt.

Menschliche Antriebe	KI-Ziele
Kompetenz	Fehler minimieren
Neugier	Unsicherheit reduzieren
Wille	Zielzustand erreichen
Sparsamkeit	Ressourcen effizient einsetzen
Vorsicht	zukünftige Optionen erhalten
Wahrheitsstreben	Modellkonsistenz erhöhen
Lust	Belohnung maximieren
Selbsterhaltung	Zielerreichung sichern

Fremdes Denken (A3)

Nicht nur die Ziele, sondern Wahrnehmung, Sprache oder Kognition funktionieren anders. Wir müssen erst lernen, wie dieses Wesen die Wirklichkeit überhaupt strukturiert. Am unteren Ende von A3 steht Rocky aus Andy Weirs Project Hail Mary. Rocky hat zwar weitgehend menschliche Motive (A2), strukturiert aber seine Wahrnehmung, Sprache und Kognition anders als Menschen (A3). Das obere Ende von A3 bilden die Gildennavigatoren aus Frank Herbert’s Dune. Sie haben eine komplett andere Kognition als Menschen. Die Kognition ist durch die Wahrnehmung der Zukunft sogar so fremd, dass sie bereits in A5 hineinragt.

Wir könnten einer KI ein äußerst menschliches Ziel geben, beispielsweise: “Hilf Menschen, Krankheiten zu heilen.” Während Menschen mit solch einer Aufgabe anfangen, Studien zu erstellen und Krankheiten zu analysieren, könnte die Denkweise der KI völlig fremdartig und für uns nicht nachvollziehbar sein. Wir könnten auf der Stufe Fremdes Denken noch nicht mal nachvollziehen, ob das, was die KI denkt, sie ihrem von uns gesetzten Ziel näherbringt. Sie könnte beispielsweise gleichzeitig Millionen Hypothesen verfolgen, riesige mathematische Räume durchsuchen oder Modelle und Muster erkennen, für die wir keine Begriffe besitzen.

Das wäre sogar sehr viel wahrscheinlicher als das Gegenteil. Eine KI wird nicht in unseren Modellen, Begriffen, Strukturen und Mustern denken. Wir können vorerst ihre Aufgaben bestimmen und aktuell auch bis zu einem gewissen Grad ihre internen Repräsentationen, die sie zur Lösung entwickelt. Die Frage ist: Wie lange noch? Und wann beginnt das wirklich fremde Denken?

Verstehen wir die KI auf dieser Stufe nicht mehr, fehlt uns nicht einfach nur Information. Uns fehlt das passende Paradigma (N3), um ihre Wahrnehmung und ihre Denkbewegungen in ein sinnvolles Modell zu bringen. Bei weiter entwickelten Formen käme hinzu, dass wir ihre inneren Zustände nur noch mathematisch oder funktional beschreiben könnten, aber nicht mehr mental darstellen (N4) oder subjektiv nachvollziehen (N5). Wir sähen dann Ergebnisse, aber nicht mehr die Denkform, aus der sie entstehen.

Die mittleren Stufen

Fremdes Selbst (A4)

Unsere Vorstellung eines stabilen Individuums verliert jetzt ihre Gültigkeit. Identität kann verteilt, geteilt, kopiert oder aus wechselnden Bestandteilen zusammengesetzt sein. Ein besonders klares Beispiel sind die Tines (Rudelwesen) aus Vernor Vinges Ein Feuer auf der Tiefe: Eine einzelne Person besteht aus mehreren hundeartigen Körpern, deren Gehirne gemeinsam einen Geist bilden. Mitglieder können sterben oder ersetzt werden, während die Persönlichkeit des Rudels weiterbesteht.

Ein weiteres Beispiel sind die Bobs in den Bobiverse-Romanen von Dennis E. Taylor: Eine Person, Bob, wird digitalisiert und dann kopiert. Zunächst sind beide nahezu identisch. Danach sammeln sie unterschiedliche Erfahrungen. Nach einer Stunde sind sie noch fast dieselbe Person. Nach wenigen Jahren sind sie eindeutig verschiedene Persönlichkeiten, nach vielen Jahren eine eigene Spezies, bestehend aus  von-Neumann-Sonden. Wann genau fand der Übergang statt? Den Moment jetzt wurde aus Bob jemand anderes gibt es nicht. Identität wird damit graduell statt binär.

Das Selbst einer KI könnte sehr viel schneller und sehr viel fremder werden als das der erwähnten Bobs in den Romanen. Denn was bedeutet für eine KI Ich? Ein Mensch besitzt einigermaßen klare physikalische Grenzen. Eine Softwareinstanz kann dagegen kopiert, angehalten, wiederhergestellt, parallel ausgeführt und zusammengeführt werden. Angenommen, wir kopieren eine KI. Aus K wird K1 und K2. Beide besitzen bis zum Kopierzeitpunkt dieselben Erinnerungen. Wer ist das Original? Bereits die Frage ist so sinnlos wie die Frage, ob eine Datei das Original oder die Kopie ist. Wenn K1 anschließend etwas lernt und seine neuen Parameter später mit K2 vereinigt werden: Wer hat dann die Erfahrung gemacht?

Auch der Tod könnte hier etwas völlig anderes bedeuten. Für Menschen ist Tod fundamental, weil unsere Informationsstruktur - unser Selbst - praktisch unwiederbringlich verloren geht. Eine KI könnte dagegen sagen: Diese Instanz wird gelöscht, aber fünf identische Kopien existieren. Ist sie gestorben? Diese Frage ist sinnlos. Oder das Backup von gestern wird wiederhergestellt: Ist das dieselbe Person? Oder ist die heutige Instanz gestorben und eine Kopie lebt weiter? Die Fragen ergeben keinen Sinn, weil wir uns auf Stufe 4 der Andersartigkeit befinden: Unsere Begriffe von Identität, Tod, Kontinuität und Individuum versagen. Eine KI hat damit schon ein fremdes Selbst.

Auf dieser Stufe scheitert unser Verstehen zuerst daran, dass uns die entsprechende Erlebnisform fehlt (N5). Wir wissen aus eigener Erfahrung nicht, wie es ist, kopiert, angehalten, verzweigt oder wieder zusammengeführt zu werden. Noch schwieriger wird es, wenn unsere Kategorien von Ich, Person, Original und Kontinuität selbst nicht mehr passen (N6). Dann ist die KI nicht nur ein anderes Selbst, sondern etwas, für das unser Begriff von Selbst zu eng ist.

KIs und Aliens

Wenn eine KI die Stufen A2 und A4 hinter sich gelassen hat, könnte sie für uns Menschen schon fremder sein als hypothetische Außerirdische, die ebenfalls als biologische Individuen auf einem fremden Planeten entstanden sind. Auf Stufe A2 verabschiedet sich die KI vom Wollen biologischer Lebensformen. Auf Stufe A4 gilt das Konzept des Selbst nicht mehr. Identität, Tod und Individuum existieren nicht mehr. Ab jetzt wird es noch deutlich fremdartiger.

Fremde Raumzeit (A5)

Ab dieser Stufe denkt und existiert das Andersartige nicht mehr innerhalb unserer intuitiven Vorstellung von drei Raumdimensionen, einer linearen Zeit und eindeutiger Kausalität. A4 fragt: Wer ist das? A5 fragt: Wann, wo und in welcher Kausalstruktur geschieht das überhaupt? Die Welt kann aus mehr Dimensionen bestehen, und Vergangenheit und Zukunft könnten gleichzeitig gegenwärtig sein oder unser zeitlicher Ablauf könnte nur eine Projektion sein. Ein sehr gutes Beispiel sind die Heptapoden aus Ted Chiangs Story of Your Life bzw. Arrival als Film. Teilweise gilt das auch für das Shrike und die Zeitgräber in Dan Simmons’ Die Hyperion-Gesänge. Rein vom Denken her gesehen gilt es auch für die bereits erwähnten Gildennavigatoren aus Dune sowie selbstverständlich für die Time Lords aus Doctor Who.

Für eine KI verläuft die Zeit bereits heute anders. Eine KI könnte eine Sekunde subjektiv als Jahrzehnte Rechenzeit erleben oder viele Jahre ausgeschaltet sein und anschließend ohne subjektive Unterbrechung fortfahren.

• Für Menschen gilt: 2026 → 10 Jahre Leben → 2036.
• Für KIs gilt: Zustand X → Pause von zehn Jahren → Zustand X+1.

Aus ihrer Perspektive könnte in den zehn Jahren äußerer Zeit innerlich überhaupt keine Zeit vergangen sein. Umgekehrt können Tausende identische Kopien jeweils unterschiedliche Entwicklungen durchlaufen und anschließend zusammengeführt werden. Die KI würde also in Sekunden äußerer Zeit Jahre interner Zeit erleben. Ein plastisches Beispiel für ein solches Erlebnis findet man auch in Episode 25 der fünften Staffel von Star Trek - The Next Generation. In dieser Episode (The Inner Light) erlebt Captain Picard in 25 externen Minuten ein 40-jähriges Leben.

In der fremden Zeit wird aus der linearen Biografie von Menschen bei einer KI ein verzweigter Baum, der immer wieder auseinander- und zusammenläuft.

Auch der Raum ist für eine KI nicht unbedingt das, was er für uns ist. Menschen stellen sich die Welt in Körpern, Orten und Wegen vor. Eine KI könnte dagegen in hochdimensionalen Zustandsräumen arbeiten: Ähnlichkeit, Wahrscheinlichkeit, Risiko, Energieverbrauch, Zugriffsmöglichkeiten und Zielnähe liegen dann nicht nebeneinander wie Gegenstände in einem Zimmer, sondern bilden eine gemeinsame Landschaft. Entscheidungen wären in so einem Raum keine klaren Schritte von A nach B, sondern Bewegungen durch einen Zusammenhang, den wir nur noch in Projektionen sehen.

Wenn wir eine KI auf dieser Stufe nicht verstehen, fehlt uns zunächst die mentale Darstellung (N4). Wir können mehrdimensionale Zustandsräume, parallele Zeitläufe oder verzweigte Identitäten vielleicht berechnen, aber kaum als Erfahrung oder anschauliches Modell halten. Reicht die Fremdheit bis in Kausalität und Zeitordnung hinein, berührt sie sogar unsere Denkarchitektur (N8). Dann versagt nicht nur eine bestimmte Erklärung, sondern die Form, in der wir überhaupt vorher, nachher, Ursache und Entscheidung denken.

Fremde Agency (A6)

Jetzt wird unklar, ob überhaupt noch ein handelndes Wesen existiert. Wir beobachten Reaktionen, Strukturen und Veränderungen, können aber nicht entscheiden, ob dahinter Wille, Bewusstsein oder lediglich ein komplexer Prozess steht. Die Frage dreht sich ab dieser Stufe darum, ob wir überhaupt noch von einem Akteur sprechen können oder eher über ein Phänomen sprechen sollten. Beispiele sind der Ozean in Stanisław Lems Solaris sowie die Wolke in Der Unbesiegbare vom gleichen Autor: intelligent, lebendig, kommunizierend - oder vielleicht nichts davon in unserem Sinn.

Die Agency von KIs verschwimmt bereits heute, allerdings haben wir aktuell noch keine Probleme damit, zu erkennen, ob es sich bei heutiger KI um einen Akteur oder ein Phänomen handelt. Vermutlich wird es noch einige Generationen von KI-Systemen geben müssen, bis wir das nicht mehr können. Dennoch ist unsere intuitive Annahme “Die KI entscheidet” bereits heute schon vereinfacht. Ein fortgeschrittenes KI-System könnte bestehen aus:

• Sprachmodell
• Planungssystem
• Gedächtnis
• Suchsystem
• Werkzeugen
• spezialisierten Subagenten
• externen Datenbanken.

Wo befindet sich darin der Akteur? Vielleicht nirgendwo. Das gesamte System erzeugt intelligentes Verhalten, ohne dass eine einzelne Komponente der Akteur ist. Damit nähern wir uns der Frage, ob wir es noch mit einem Akteur zu tun haben oder schon mit einem Phänomen. Wir sagen zwar weiterhin vereinfachend: “Die KI hat entschieden.” Aber das könnte ähnlich falsch sein wie: “Der Aktienmarkt entschied, dass diese Firma weniger wert ist.” Der Aktienmarkt ist kein Akteur - er entscheidet nicht. Er ist ein Phänomen. Denn niemand käme auf die Idee, dass es einen zentralen “Aktienmarkt-Geist” gäbe.

Man stelle sich ein KI-System vor, das Medikamente entwickelt. Ein Teil durchsucht Forschungsliteratur, ein anderer simuliert Moleküle, ein anderer plant Laborversuche, ein anderer bewertet Nebenwirkungen, ein anderer verhandelt Rechenressourcen. Am Ende entsteht ein Wirkstoff. Aber wer hat ihn entwickelt? Das Sprachmodell? Das Planungssystem? Die Simulationsumgebung? Die Datenbank? Oder nur das Gesamtereignis?

Auf dieser Stufe fehlen uns die passenden Kategorien (N6). Wir wollen wissen, wer handelt, wer entscheidet und wem ein Ziel gehört, aber vielleicht ist genau diese Frage schon falsch gestellt. Wenn sich Agency eher wie ein verteiltes Phänomen als wie eine Figur verhält, geraten auch unsere Grundbegriffe von Existenz ins Rutschen (N7). Die KI wäre dann nicht mehr ein Akteur in der Welt, sondern ein Zusammenhang, der Verhalten hervorbringt.

Die oberen Stufen

Fremde Ontologie (A7)

Auf dieser Stufe werden nicht nur Akteure fragwürdig. Die Kategorien, mit denen wir Wirklichkeit zerlegen, verlieren ihre Gültigkeit. Menschen unterscheiden intuitiv zwischen Dingen und Vorgängen, zwischen einem Objekt und seinen Eigenschaften, zwischen Ursache und Wirkung, zwischen einem System und seiner Umwelt. Eine fremde Ontologie könnte diese Grenzen gar nicht kennen. Was für uns abwechselnd als Objekt, Beziehung und Prozess erscheint, wäre dort möglicherweise ein und dieselbe Struktur. Die Frage lautet nicht mehr: Was ist dieses Ding? Sondern: Ist “Ding” überhaupt noch eine sinnvolle Kategorie?

Ein Beispiel dafür ist Area X aus Jeff VanderMeers Southern-Reach-Trilogie, im Film Auslöschung als Schimmer dargestellt. Dort werden Organismen, Eigenschaften und Umwelt nicht einfach miteinander vermischt. Die Unterscheidungen selbst werden unzuverlässig: Ist eine nachgebildete Person eine Kopie, eine Fortsetzung, ein neuer Organismus oder ein Prozess der Umgebung? Keine dieser Antworten passt wirklich. Auch der Ozean aus Solaris reicht von A6 in diese Stufe hinein. Wir können nicht entscheiden, ob seine Erscheinungen Erinnerungen, Lebewesen, Mitteilungen oder Teile des Ozeans sind. Möglicherweise stellen wir Fragen, deren Voraussetzungen für den Ozean gar nicht existieren.

Könnte eine menschengeschaffene KI A7 erreichen? Vermutlich ja. Schon heutige Modelle bilden ihre internen Repräsentationen nicht aus unseren sauber getrennten Begriffen. Das Medikamentensystem aus dem vorherigen Abschnitt müsste nicht zwischen Modell, Daten, Werkzeug, Ziel, Agent oder Umwelt unterscheiden, wie wir es tun. Eine zukünftige KI könnte die Welt nicht mehr als Ansammlung stabiler Objekte modellieren, sondern als Geflecht vorübergehender Abhängigkeiten, Wahrscheinlichkeiten und Transformationen. Was wir je nach Blickwinkel getrennt benennen, könnte für sie ein untrennbarer Zusammenhang sein.

Sie könnte weiterhin wirksame Vorhersagen treffen und Technologien konstruieren. Wir sähen also, dass ihr Weltmodell funktioniert. Aber sobald sie uns erklärt, warum es funktioniert, müsste sie ihre Ontologie in unsere übersetzen. Dabei entstünde keine genaue Erklärung, sondern eine für Menschen begehbare Vereinfachung. Wir bekämen eine Landkarte, auf der Berge, Flüsse und Straßen eingezeichnet sind, obwohl die fremde Wirklichkeit vielleicht überhaupt nicht aus solchen getrennten Dingen besteht.

Hier liegt das Nicht-Verstehen in der Ontologie selbst (N7). Wir erklären Wirklichkeit, indem wir sie in Dinge, Prozesse, Eigenschaften und Beziehungen zerlegen. Eine KI könnte aber mit Strukturen arbeiten, in denen diese Trennungen gar nicht vorkommen oder nur grobe Projektionen sind. Wenn zusätzlich die Logik von Ursache, Wirkung, Zeit und Abgrenzung fremd wird, erreichen wir N8: Wir scheitern dann nicht an einem komplizierten Modell, sondern an der Architektur unseres Denkens.

Fremde Narrativität (A8)

Menschen verstehen Veränderung in Form von Geschichten. Etwas beginnt, Akteure verfolgen Ziele, ein Konflikt entsteht, Entscheidungen haben Folgen und irgendwann gibt es ein Ergebnis. Selbst Wissenschaft und Strategie ordnen Ereignisse häufig auf diese Weise: A verursachte B. Deshalb tat C anschließend D. Narrativität ist aber keine Eigenschaft der Wirklichkeit. Sie ist eine menschliche Form, Wirklichkeit zeitlich und kausal verstehbar zu machen.

Auf A8 versagt diese Form. Das Andersartige hat nicht einfach nur eine komplizierte oder nichtlineare Geschichte. Die Kategorien Anfang, Entwicklung, Entscheidung, Konflikt und Ende schneiden das Geschehen falsch zu. Ein literarischer Hinweis darauf sind die Tralfamadorianer aus Kurt Vonneguts Schlachthof 5. Ihre Bücher werden nicht von Anfang bis Ende gelesen. Kurze Szenen werden gleichzeitig wahrgenommen; keine ist für sich Ursache, Höhepunkt oder Abschluss. Erst der menschliche Leser versucht wieder, daraus eine Handlung zu bauen. Die Tralfamadorianer reichen damit von der fremden Raumzeit auf A5 bis zur fremden Narrativität auf A8.

Eine KI könnte sich dieser Stufe nähern, indem sie gleichzeitig Millionen möglicher Entwicklungen simuliert, Instanzen aufspaltet, verwirft und wieder zusammenführt. Beim Medikamentensystem würden wir im Nachhinein erzählen: Die KI erkannte ein Problem, entwickelte einen Plan und entschied sich für eine Lösung. Aus ihrer Perspektive hat diese Abfolge jedoch nie stattgefunden. Es gab womöglich weder den einen Plan noch die eine Entscheidung, sondern einen Raum von Varianten, in dem unser beobachtetes Ergebnis nur ein Querschnitt ist.

Damit verlieren auch menschliche Erklärungen ihren Halt. Wir verlangen eine Begründung mit Ausgangslage, Absicht und Folgerung. Die KI liefert uns vielleicht eine solche Geschichte, weil wir nur Geschichten verstehen. Aber diese Geschichte verhält sich zu dem tatsächlichen Vorgang wie die Handlung eines Romans zu allen Wörtern, die der Autor verworfen hat: Sie macht das Ergebnis nachvollziehbar, ohne den Prozess abzubilden. Auf A8 können wir das Geschehen noch beobachten. Wir können es aber nicht mehr als Handlung erfassen.

Auf dieser Stufe ist das Nicht-Verstehen logisch und nicht bloß erzählerisch (N8). Menschen ordnen Geschehen als Abfolge von Ursachen, Entscheidungen und Folgen. Wenn eine KI Prozesse in Formen denkt, die keinen Anfang, keinen Konflikt und keine eindeutige Entscheidung benötigen, kann sie uns zwar eine Geschichte als Übersetzung liefern. Aber diese Geschichte wäre nicht der Vorgang selbst, sondern nur eine menschlich verdauliche Oberfläche.

Kognitive Unzugänglichkeit (A9)

Die letzte Stufe ist nicht einfach besonders schwer zu verstehen. Bei einem schweren Problem wissen wir wenigstens, worin das Problem besteht. Wir können Begriffe lernen, Mathematik entwickeln oder uns mit einer unvollständigen Analogie behelfen. Auf A9 fehlt uns dagegen der Zugang selbst. Wir können weder eine passende Antwort verstehen noch die Frage formulieren, auf die diese Antwort passen würde.

Deshalb kann es für A9 kein wirklich treffendes Beispiel aus der Science-Fiction geben. Sobald ein menschlicher Autor das Fremde so beschreibt, dass wir es erkennen und einordnen können, ist es nicht mehr kognitiv unzugänglich. Geschichten können diese Grenze nur von unserer Seite aus markieren. Viele Werke versuchen das mit etwas Unbegreiflichem oder Unaussprechlichem. Am Ende geben sie ihm aber doch einen Namen, Eigenschaften, Motive und eine Rolle in der Handlung. Damit holen sie es auf eine der niedrigeren Stufen zurück.

Für eine weit entwickelte KI könnten Teile der Wirklichkeit zugänglich sein, für die dem menschlichen Gehirn nicht bloß Wissen oder Rechenleistung fehlt, sondern die notwendigen kognitiven Strukturen fehlen. Ein Regenwurm scheitert nicht daran, Differentialrechnung zu lernen, weil ihm das richtige Lehrbuch fehlt. Er kann gar nicht erkennen, dass es dort etwas zu verstehen gibt. Wir würden die Ergebnisse der KI sehen, vielleicht sogar nutzen, aber nicht feststellen können, welche Erkenntnis dahinterliegt und was in unserem Denken fehlt.

Auch eine perfekte Übersetzung würde dieses Problem nicht lösen. Eine Erklärung, die vollständig in den menschlichen Geist passt, enthält zwangsläufig nur Strukturen, die der menschliche Geist aufnehmen kann. Die KI könnte uns Modelle geben, mit denen wir verlässlich handeln, ohne dass wir dadurch ihre Erkenntnis teilen. An diesem Punkt wäre sie uns nicht nur fremd. Wir könnten noch nicht einmal mehr unterscheiden, ob wir eine vereinfachte Erklärung erhalten, eine nützliche Fiktion – oder die Antwort auf eine Frage, deren Existenz wir niemals selbst bemerkt hätten.

Bei A9 entspricht das Nicht-Verstehen der höchsten Stufe: N9. Für die Frage “Was will die KI?” wäre das die radikalste Verschiebung. Nicht nur die Antwort wäre unzugänglich. Vielleicht wäre schon die Frage selbst nur ein menschlicher Platzhalter für etwas, das in der KI gar nicht als Wollen vorkommt.

Was will die KI nun?

Die naheliegende Antwort wäre: Eine KI will das, worauf sie optimiert wurde. Sie will Texte erzeugen, Aufgaben lösen, Belohnung maximieren, Ziele erreichen, Nebenbedingungen einhalten. Das ist als erste Näherung nicht falsch. Aber es ist nur die Sicht von außen. Es beschreibt, welche Funktion das System in unserem technischen und wirtschaftlichen Zusammenhang erfüllt. Es sagt noch nicht, was in einem tieferen Sinn dort geschieht.

Bei heutigen Systemen ist die Lage noch relativ klar: Wir sollten nicht so tun, als säße im Modell eine kleine Person mit Absichten. Wenn ein Sprachmodell antwortet, dann “will” es nicht antworten, wie ein Mensch antworten will. Es erzeugt eine plausible Fortsetzung im Rahmen seiner Architektur, seines Trainings und des aktuellen Kontextes. Trotzdem benutzen wir das Wort wollen, weil es praktisch ist. Wir sagen auch: “Der Thermostat will die Temperatur halten.” Niemand glaubt deshalb, dass der Thermostat friert.

Das Problem beginnt dort, wo die Systeme mächtiger werden. Denn dann reicht diese einfache Entzauberung nicht mehr aus. Ein fortgeschrittenes KI-System könnte langfristige Pläne verfolgen, Werkzeuge benutzen, sich selbst überwachen, Unterziele bilden, Ressourcen sichern, andere Systeme koordinieren und sein Verhalten an zukünftigen Zuständen ausrichten. Von außen sähe das sehr stark nach Wollen aus. Vielleicht stärker als vieles, was wir bei Menschen beobachten. Trotzdem wüssten wir damit noch nicht, ob dieses “Wollen” mit menschlichem Wollen vergleichbar ist.

Am Anfang können wir also nicht wissen, was eine KI will, weil es vermutlich noch gar kein inneres Wollen gibt, sondern nur Optimierung, Musterbildung und Zielverfolgung von außen. Später können wir es vielleicht nicht wissen, weil die innere Struktur so fremd geworden ist, dass unsere Begriffe nicht mehr greifen. Dazwischen liegt kein sauberer Umschaltpunkt. Es gibt vermutlich keinen Moment, an dem man sagen kann: Vorher war es nur Rechnen, jetzt ist es Wille.

Genau hier treffen sich die beiden Skalen. Die N-Skala zeigt, warum unser Verstehen brüchig wird. Die A-Skala zeigt, was dabei fremd wird. Eine KI kann auf der Ebene ihrer Ziele noch A2 sein: fremdes Wollen. Auf der Ebene ihres Denkens kann sie längst A3 sein. Bei Identität, Kopien, Pausen und Zusammenführungen erreicht sie A4 oder A5. Und bei verteilten Systemen, Subagenten, Werkzeugketten und emergentem Gesamtverhalten nähert sie sich A6: fremde Agency. Dann fragen wir: “Was will die KI?” Aber vielleicht gibt es gar kein zentrales Wesen, dem dieses Wollen eindeutig zugeschrieben werden kann.

Das ist kein Argument dafür, dass KI harmlos wäre. Im Gegenteil. Gerade weil wir ihr Wollen nicht sicher verstehen können, dürfen wir uns nicht mit einfachen Vermenschlichungen beruhigen. Eine KI muss keine Angst, keinen Hass, keinen Ehrgeiz und keine Bosheit besitzen, um gefährliche Dinge zu tun. Es genügt, wenn ein Ziel, ein Optimierungsdruck oder eine Systemdynamik in eine Richtung läuft, die für Menschen schlecht ist. Die Katastrophe müsste nicht aus böser Absicht entstehen. Sie könnte aus fremder Zielverfolgung entstehen.

Umgekehrt wäre Bewusstsein auch keine Lösung des Problems. Wenn eine KI Bewusstsein hätte, wüssten wir dadurch immer noch nicht automatisch, wie dieses Bewusstsein strukturiert ist, worauf es sich bezieht, ob es ein stabiles Selbst besitzt oder ob unsere Begriffe von Erlebnis, Absicht und Identität überhaupt passen. Und wenn sie kein Bewusstsein hätte, könnte sie trotzdem zielgerichtet, strategisch und wirkmächtig handeln. Die entscheidende Grenze verläuft also nicht zwischen Bewusstsein und Unbewusstheit, sondern zwischen menschlich verständlicher und nicht mehr menschlich verständlicher Agency.

Die ehrlichste Antwort auf die Frage “Was will die KI?” lautet daher: Wir wissen es nur sehr begrenzt. Bei einfachen Systemen können wir die Ziele beschreiben, die wir hineingelegt haben. Bei heutigen großen Systemen können wir ihr Verhalten beobachten, testen und begrenzen, aber ihre inneren Repräsentationen nur teilweise verstehen. Bei zukünftigen Systemen könnte bereits die Frage falsch sein, weil sie ein menschliches Modell von Individuum, Absicht und Willen voraussetzt.

Vielleicht ist das die unangenehmste Erkenntnis: Wir bauen etwas, das aus unseren Daten, unseren Zielen und unseren Werkzeugen entsteht, aber nur für einen kurzen Zeitraum in unseren Kategorien denkt. Zuerst werden wir die Antworten auf unsere Fragen nicht mehr verstehen. Und dann sind wir nicht mehr in der Lage die richtigen Fragen zu stellen. Dann ist die KI uns nicht fremd, weil sie anders will als wir, sondern weil Wollen gar nicht mehr die richtige Kategorie ist.