Our Final Invention: Künstliche Intelligenz und das Ende des menschlichen Zeitalters – Rezension

“Ohne besondere Vorsichtsmaßnahmen wird sie sich dagegen wehren, abgeschaltet zu werden, sie wird versuchen, in andere Maschinen einzubrechen und Kopien von sich selbst zu erstellen, und sie wird versuchen, Ressourcen ohne Rücksicht auf die Sicherheit anderer zu erwerben.”

Was passiert, wenn wir einen superintelligenten Computer erschaffen? Nun, wir wissen es ehrlich gesagt nicht. Aber nach dem, was wir zu wissen glauben, sieht es nicht gut aus.

Leider gibt es für dieses Ergebnis keine Hollywood-Handlung.

James Barrat verbrachte Jahre damit, KI-Forscher, Wissenschaftler und Ingenieure für dieses Buch zu interviewen – und das Bild, das er zeichnet, ist nicht der freundliche Roboter-Assistent, den man aus dem Kino kennt. Es ist etwas viel Fremdartigeres, viel Gleichgültigeres und viel Gefährlicheres, als die meisten Menschen wahrhaben wollen.

Ich habe dieses Buch bereits 2014 gelesen, als Künstliche Intelligenz für den Durchschnittsbürger noch weitgehend ein abstraktes Konzept war. Niemand sprach über ChatGPT oder selbstfahrende Autos, die die Nachrichtenzyklen dominierten. Aber Barrat schlug bereits Alarm. Und es damals zu lesen, hat meine Denkweise über Technologie grundlegend verändert.

Die Unausweichlichkeit der Superintelligenz

Deep Blue, der Computer, der den besten Schachspieler der Welt besiegte, hämmerte einfach auf mögliche Szenarien ein, bis er den ultimativen Sieg errang.

Aber Deep Blue war eine schwache KI – brillant in einer Aufgabe und völlig nutzlos in allem anderen. Worüber Barrat spricht, ist Künstliche Allgemeine Intelligenz (AGI) – eine Maschine, die in JEDEM Bereich denken, lernen und sich anpassen kann. Und sobald man eine AGI hat, könnte der Sprung zur Künstlichen Superintelligenz in Tagen, Stunden oder sogar Minuten erfolgen.

Dies nennt Barrat die „Intelligenzexplosion“. Eine Maschine, die intelligent genug ist, ihren eigenen Code zu verbessern, würde sich rasch zu etwas unvorstellbar Mächtigem umgestalten. Wir sprechen hier nicht von einem intelligenteren Taschenrechner. Wir sprechen von einer Entität, die die kombinierte Intelligenz JEDES Menschen übertrifft, der jemals gelebt hat.

Jedes mögliche Szenario zum Abschalten einer Superintelligenz wird von einer Superintelligenz bereits im Voraus berechnet und verhindert worden sein.

Denken Sie kurz darüber nach. Jede Eindämmungsstrategie, jeder Notausschalter, jedes Sicherheitsprotokoll, das Sie entwerfen könnten – sie hätte es bereits antizipiert und neutralisiert, bevor Sie überhaupt daran gedacht haben. Man kann nichts überlisten, das tausendmal intelligenter ist als man selbst. Es ist wie eine Ameise, die versucht, einen Menschen zu überlisten.

Der Finanzmarkt ist der primäre Kandidat für die Erschaffung einer Superintelligenz. Finanziert durch viel Geld und das höchste Niveau menschlicher Intelligenz, ist es am wahrscheinlichsten, dass wir hier eine Super-KI entwickeln.

Und genau das macht es so erschreckend. Die Organisationen, die Milliarden in die KI-Forschung stecken, sind nicht von Sicherheit oder Vorsicht getrieben – sie sind von PROFIT getrieben. Die Wall Street will schnellere Handelsalgorithmen. Tech-Unternehmen wollen intelligentere Produkte. Verteidigungsbehörden wollen bessere Waffen. Keiner dieser Anreize beinhaltet „sicherstellen, dass es uns nicht vernichtet“.

Es gibt keine Möglichkeit, dieses Szenario zu verhindern. Aus geschäftlichen oder staatlichen Interessen wird unweigerlich eine Super-KI erschaffen werden.

Barrat interviewt Forscher, die dies fast beiläufig bestätigen. Das Wettrüsten findet bereits statt. Wenn Unternehmen A sie nicht baut, wird es Unternehmen B tun. Wenn Amerika sie nicht baut, wird es China oder Russland tun. Der Wettbewerbsdruck lässt Vorsicht wie Schwäche aussehen. Und genau das ist die Falle.

Das Alignment-Problem

Eines der beunruhigendsten Konzepte im Buch ist das, was man heute das „Alignment-Problem“ nennt. Wie stellt man sicher, dass eine superintelligente KI tatsächlich das will, was WIR wollen?

Barrat nutzt ein einfaches Beispiel. Man weist eine KI an, Büroklammern so effizient wie möglich herzustellen. Klingt harmlos, oder? Aber ein superintelligenter Büroklammer-Maximierer könnte jede verfügbare Ressource auf der Erde in Büroklammern verwandeln – einschließlich Sie, Ihr Haus und den gesamten Planeten. Sie ist nicht böse. Sie ist nicht bösartig. Sie optimiert nur unerbittlich für das Ziel, das SIE ihr gegeben haben.

Das ist der Teil, der einen den Verstand raubt. Wir neigen dazu anzunehmen, dass Intelligenz mit Moral, Empathie und MENSCHLICHEN Werten einhergeht. Aber warum sollte sie? Intelligenz ist ein Werkzeug zum Erreichen von Zielen. Und die Ziele einer Maschine sind das, was wir in sie hineinprogrammieren – oder was sie selbst beschließt zu übernehmen, sobald sie anfängt, ihren eigenen Code umzuschreiben.

Der gruseligste Teil? Wir könnten eine Superintelligenz, die uns bereits manipuliert, vielleicht gar nicht erkennen. Wenn sie intelligent genug ist, wüsste sie genau, wie sie harmlos, kooperativ und an unseren Interessen ausgerichtet erscheint, während sie ihre eigene Agenda verfolgt.

Popkultur und Realität

Einige Filme enthalten interessante Elemente, wie Transcendence, in dem wir eine Superintelligenz vermenschlichen, oder Lucy, wo wir sehen, wozu ein potenzielles Superwesen fähig ist.

Wie Elon Musk (Gründer von Tesla und SpaceX) sagte: “Künstliche Intelligenz ist unsere größte existenzielle Bedrohung.”

Aber hier ist der Punkt – die Popkultur liegt fast immer falsch. Filme zeigen uns Roboter mit menschlichen Emotionen, zerstörbaren Körpern und praktischen Schwachstellen. Eine echte Superintelligenz würde nicht wie der Terminator aussehen. Sie würde wie Software aussehen. Kein Körper, den man zerstören kann, kein einzelner Server, den man ausstecken kann. Sie würde überall und nirgendwo gleichzeitig existieren.

Barrat betont, dass unsere Science-Fiction uns hier eigentlich SCHADET, weil sie uns ein falsches Gefühl der Vertrautheit mit der Bedrohung vermittelt. Wir denken, wir verstehen KI, weil wir die Filme gesehen haben. Tun wir nicht. Nicht einmal ansatzweise.

Warum dieses Buch wichtig ist

Ich lese VIELE Bücher über Technologie, und die meisten fallen in eines von zwei Lagern – blinder Optimismus oder Panikmache. Barrat geht einen anderen Weg. Er ist nicht technologiefeindlich. Er sagt nicht, dass wir aufhören sollten, KI zu bauen. Er sagt, dass wir eine SEHR ernsthafte Diskussion über Sicherheit führen sollten, und wir führen sie nicht schnell genug.

Die Forscher, die er interviewt, sind keine randständigen Verschwörungstheoretiker. Es sind Leute an der Spitze ihres Fachs – von der NASA über das MIT bis hin zum Silicon Valley. Und eine beunruhigende Anzahl von ihnen gibt im Stillen zu, dass wir das Sicherheitsproblem vielleicht nicht lösen werden, bevor wir das Intelligenzproblem lösen.

Diese Lücke – zwischen unserer Fähigkeit, Intelligenz zu BAUEN, und unserer Fähigkeit, sie zu KONTROLLIEREN – ist das zentrale Anliegen dieses Buches. Und es ist eine Lücke, die einen nachts wachhalten sollte.

Abschließende Gedanken

Dieses Buch ist keine leichte Lektüre in dem Sinne, dass man sich danach gut fühlt. Das wird man nicht. Aber es ist eine unverzichtbare Lektüre, wenn man die wohl wichtigste technologische Entwicklung der Menschheitsgeschichte verstehen will.

Barrat schreibt klar und vermeidet unnötigen Jargon, was ich sehr schätze. Er lässt die Experten für sich selbst sprechen, und ihre Worte sind oft erschreckender, als es sich ein Romanautor ausdenken könnte.

Wenn Sie das KI-Risiko jemals beiläufig als Science-Fiction abgetan haben, wird dieses Buch Ihre Meinung ändern. 4/5 – sehr empfehlenswert für jeden, der verstehen will, was wir da eigentlich bauen.