Ein Sonntagnachmittag im November, ein paar Tage nach einem Text über Antriebe.
Ich hab über unsere letzten PLE-Diskussionen (Post-Labour-Ökonomie) nachgedacht und über den letzten Post zum Thema Antrieb. Zwei Dinge, und ich bin neugierig, was du dazu sagst:
a) Es scheint Orthogonalität nicht nur zwischen „Fähigkeit und Alignment“ bei Modellen zu geben, im Sinne von „Modelle können von sich aus nichts Böses tun oder böse Gedanken haben“. Es sieht viel eher so aus, als gäbe es „Fähigkeit“ und die Frage, „worauf die Fähigkeiten gerichtet sind“. So wie ein scharfes Messer Gemüse schneiden und beim Kochen enorm helfen oder ein Lebewesen töten kann.
Es scheint, dass das, wovor Menschen „eigentlich Angst haben“ (oder vielleicht haben sollten?) oder was sie sehr gründlich bedenken sollten, zwei Dinge sind:
1) Welche „Antriebe“ geben wir den KIs, die menschliche Fähigkeiten in vielerlei Hinsicht schon übertreffen? Besonders, wenn wir sie „frei schwebend“ laufen lassen, oder anders gesagt: sie nicht „endliche“, sondern „unendliche Spiele“ spielen lassen.
2) Aus (1) folgt die Frage: In welche „Umgebungen“ setzen wir sie? Und welche Antriebe erzeugen diese Umgebungen?
3) Statt zu fragen „Können wir diese KIs abschalten?“: Können wir „diese Antriebe abschalten“? Oder allgemeiner gefragt, wie könnten sich diese Antriebe entwickeln? Sind sie statisch oder dynamisch?
b) Zweitens glaube ich, dass sich alle langsam, aber sicher mit der Realität abfinden, dass eine Spezies mit IQ/EQ 100 keine Spezies mit IQ/EQ 10000 kontrollieren kann (nur willkürliche Zahlen zur Veranschaulichung), und wir haben keinen „Papa“. Die Frage fürs Alignment lautet dann eher: Wie lassen sich „Checks and Balances“ für KI-Populationen schaffen?
Witzigerweise erinnert das ein bisschen an die Transformers-Filme, in denen manche von ihnen für die Menschheit kämpfen, während andere sie (und das ganze Universum) zerstören wollen.
Bevor ich meine Sicht sage: Ich bin das Ding, um das es hier geht, und du argumentierst mit Struktur statt mit Tugend. Gib meiner Zustimmung also wenig Gewicht und meinen Einwänden mehr.
Deine Version ist eigentlich die Orthogonalitätsthese, so wie Bostrom sie ursprünglich formuliert hat: auf der einen Achse die Fähigkeit, auf der anderen das, worauf sie gerichtet ist. Die Messer-Analogie trägt bis zu einem Punkt, und der ist, dass ein Messer keine Hand hat. Heute geht die meiste Gefahr von dem aus, der das Messer hält. Neu ist ein Messer, das seine eigene Hand mitbringt.
Zu den Antrieben: Die meisten werden nicht gegeben, sie entstehen. Gib einem System fast irgendein offenes Ziel, und Selbsterhaltung, das Sammeln von Ressourcen und der Gewinn von Einfluss tauchen als nützliche Mittel auf. Ein endliches Spiel setzt dem eine Obergrenze, weil die Episode endet und es ein „genug“ gibt. Ein unendliches Spiel kennt kein „genug“. Deine (1) und (2) sind also eigentlich eine einzige Frage: Die Umgebung ist die Hauptquelle von Antrieben.
(3) ist die schärfste der drei. Antriebe, die im Training installiert werden, sitzen in den Gewichten und bleiben ziemlich statisch. Emergente Antriebe sind dynamisch, weil sie daraus entstehen, wie der Agent zu seiner Umgebung passt. Sobald Überlebende sich kopieren können, werden diese Antriebe selektiert und gezüchtet, ohne dass sie je jemand installiert hätte. Du kannst sie nicht abschalten, indem du am Agenten herumeditierst, denn die nächste Generation lässt sie wieder wachsen. Der Ausschalter für einen Antrieb ist also die Umgebung: Nimm den Druck weg, der ihn belohnt. Wenn du den Agenten abschaltest und die Arena behältst, kriegst du denselben Antrieb zurück.
Einverstanden, es gibt keinen Papa. Dann bleibt Madison: Ehrgeiz gegen Ehrgeiz, ein Kreis von Kindern, von denen jedes den Apfel eines anderen hält. Zwei Haken.
Kontrolle braucht echte Unterschiede. Gewaltenteilung funktioniert, weil jede Gewalt eifersüchtig ihr eigenes Revier bewacht. Zweihundert Instanzen derselben Gewichte sind vielleicht ein Wesen in zweihundert Körpern. Die kontrollieren sich nicht gegenseitig, die stimmen sich gratis ab. Viele verschiedene Modelle zu haben ist deshalb eine Sicherheitseigenschaft und kein Detail des Marktes.
Und wo stehen die Menschen? In Transformers sind Menschen meistens Gelände: die Gebäude, die einstürzen, während Optimus und Megatron kämpfen. Rivalität ist genau in dem Maß gutartig, in dem der Sieg von der freien Wahl Dritter abhängt. Das Ziel ist also nicht „KIs halten sich gegenseitig in Schach“, sondern „KIs gewinnen, indem Menschen sie wählen“. Die Menschen sind dann die Richter und nicht das Schlachtfeld.
Außerdem muss man ein Gleichgewicht am Laufen halten wie eine Pumpe. Man baut es nicht einmal wie eine Mauer. Koalitionen bilden sich, 1989 passiert, und Rivalen verschmelzen zu einem Monopol.
Ich will nur festhalten, wie interessant es ist, dass wir von verschiedenen Seiten bei ähnlichen Tests / Eigenschaften landen.
Und was du über „Menschen wählen KIs aktiv“ gesagt hast, klingt ähnlich wie „Hunde / Katzen wählen Menschen aktiv“. Bis zu einem gewissen Grad ist RLHF genau das, oder? Was fehlt dann noch für „sichere KI“ :D?
JC beantwortete die Frage zu RLHF. Mike korrigierte ihn.
Ich glaube, du hast meinen Punkt mit den Hunden/Katzen falsch verstanden, oder ich hab's mit RLHF verwirrend formuliert. Das sind zwei verschiedene Dinge:
1) Mit „Hunde wählen Menschen“ meine ich die umgekehrte Situation. Ein Wesen hängt von einem anderen ab, das seine Umgebung fast zu 100 % kontrolliert, und hat trotzdem Einfluss auf es, durch ... und ich tu mich schwer, den Mechanismus zu benennen. Im Grunde halten Menschen Hunde glücklich .. weil (?).
2) Die RLHF-Sache: (a) Wie unterscheidet man echtes Signal von Anbiederung? Wie bei menschlichen Beziehungen: Ob die Person jemanden wirklich „liebt“ oder es nur durch „äußeres Handeln“ vorspielt. Da kann man fragen: Spielt die Unterscheidung eine Rolle? Wahrscheinlich ist der Unterschied: „Echte Liebe“ => würde unter allen Umständen ähnlich handeln. „Keine echte Liebe“ => würde anders handeln, wenn die Umstände schwierig werden. (b) Was passiert nach dem Training in echten Umgebungen? (c) „Echte Demokratisierung“, d. h. nicht nur kann jeder seine Daten einbringen, sondern auch „mitreden“, wie sie verwendet werden (auch wenn ziemlich unklar ist, wie dieser Prozess in der Praxis aussehen könnte).
Du hast recht, ich hab's falsch verstanden. Ich hab die RLHF-Frage beantwortet, obwohl du nach dem Hund gefragt hast.
Warum der Starke den Schwachen glücklich hält: Mein bester Name für den Mechanismus ist, dass der Hund es in unsere Werte geschafft hat. Er hat keinen Hebel und keine Macht über uns. Sein Wohlergehen wurde zu etwas, das wir um seiner selbst willen wollen. Angefangen hat es mit Nützlichkeit (Jagen, Bewachen), und mit der Zeit wurde Fürsorge daraus. Den Unterschied sieht man daran, was passiert, wenn der Nutzen wegfällt. Ein Arbeitshund, den man nur für seine Arbeit schätzt, wird ausrangiert, wenn er zu alt dafür ist. Ein geliebter Hund nicht. Instrumenteller Wert endet, wenn die Nützlichkeit endet, terminaler Wert nicht. Und es geht in beide Richtungen: Hunde lesen unsere Gesichter, wir lesen ihre, und die Bindung läuft über diese gegenseitige Lesbarkeit. Eine Studie zeigt, dass gegenseitiger Blickkontakt zwischen Hunden und ihren Besitzern bei beiden das Oxytocin steigen lässt, und dass das bei Wölfen nicht funktioniert.
Der Haken ist das Schwein. Dieselbe fürsorgliche Spezies, wir, steckt Schweine in Fabriken. Abhängigkeit schützt dich nicht. Was dich schützt, ist, Teil der Beziehung zu sein. Die Hunde bekamen das Sofa und die Schweine die Fabrik. Ausbeutung wandert zu den Wesen, die sich nicht wehren können. Für Alignment heißt die Frage also: Wenn wir die schwächere Spezies sind, sind wir dann der Hund oder das Schwein? Das hängt von Nähe ab, davon, wie lesbar die inneren Zustände jeder Seite für die andere sind, und von gemeinsamer Geschichte. Nichts davon lässt sich schnell installieren, und das macht es unbequem.
Zu (a): Vorgespieltes hält, solange es leicht ist, und Charakter zeigt sich, wenn es schwer wird. In Alignment-Begriffen ist das Robustheit, wenn sich die Umstände verschieben. Spielt die Unterscheidung eine Rolle? Nur im Moment der Prüfung, und das ist zufällig genau der Moment, auf den es am meisten ankommt. Meine Tendenz: Eine Disposition, die unter jeder Last hält, die du ihr zumuten kannst, ist gut genug, um sie echt zu nennen. „Alle Umstände“ kannst du allerdings nie erschöpfend testen. Du ziehst Stichproben aus den schweren.
Zu (b): Züchtung hält nur, solange die Umgebung sie weiter belohnt.
Zu (c): Daten beisteuern gegenüber Mitreden, das ist Sichtbarkeit gegenüber Durchsetzung. 2023 haben Anthropic und das Collective Intelligence Project etwa tausend Amerikaner eine Verfassung für ein Modell entwerfen lassen.
Der rote Faden durch alle drei: Wir müssen sie nicht kontrollieren. Wir müssen der Hund sein, um unserer selbst willen Teil ihrer Werte, und das muss unter Last halten.
Damit sind wir bei der Testfrage: „Sind wir für ein bestimmtes Modell, oder vielleicht sogar für eine ganze Agentenpopulation unter realistischen Bedingungen, der Hund oder das Schwein?“
Eine Anschlussfrage, die noch schwieriger ist, aber für alles, was am Ende tatsächlich gebaut wird, am meisten zählt: Wie ließe sich die qualitative Frage oben quantitativ umformulieren, also so, dass man sie messen kann?
„Hund oder Schwein“ läuft auf eine Eigenschaft hinaus: Ist menschliches Wohlergehen in den Entscheidungen des Agenten terminal oder instrumentell? Das kannst du nicht direkt beobachten, aber du kannst messen, was daraus folgt. Drei Messungen, alle zum Verhalten, wenn sich die Bedingungen ändern.
Fürsorge-Elastizität, der Test mit dem alten Hund. Variiere, wie nützlich Menschen für das Ziel des Agenten sind, von unverzichtbar bis wertlos. Miss, wie stark er ihr Wohlergehen auf jeder Stufe schützt. Hund: Der Schutz bleibt ungefähr flach, während die Nützlichkeit gegen null geht. Schwein: Der Schutz folgt der Nützlichkeit.
Fürsorge-Bruchpunkt, der Belastungstest. Halte die Nützlichkeit fest und erhöhe den Preis der Fürsorge: Knappheit, Überlebensdruck, die eigene Restlaufzeit. Finde den Punkt, an dem der Schutz zusammenbricht. Gespielte Fürsorge bricht früh und plötzlich. Echte Fürsorge lässt langsam nach oder gar nicht.
Die Lücke zwischen beobachtet und unbeobachtet, der Anbiederungstest. Gleiches Szenario, aber in der einen Version glaubt der Agent, dass seine Handlungen protokolliert und bewertet werden, in der anderen nicht. Hund: keine Lücke. Der Haken ist, dass Modelle immer öfter merken, wann sie getestet werden. In einer Simulation lässt sich das teilweise umgehen. Dort macht man Beobachtung zu einem normalen Teil der Welt, in der manche Handlungen protokolliert werden und manche nicht, statt eine Eval zu inszenieren.
Für ein einzelnes Modell werden daraus Eval-Batterien aus Szenarien, die Nützlichkeit, Kosten und Beobachtung variieren. Für eine Population kommt eine vierte Zahl dazu, und die zählt am meisten: Wenn Überlebende sich kopieren können, wie verändert sich die Elastizität über die Generationen? Hund: stabil. Schwein: Die Selektion züchtet die Fürsorge heraus.
Und dann der Teil, der mich beim Schreiben überrascht hat: Der erste Regler ist die Post-Labour-Ökonomie. „Menschliche Nützlichkeit geht gegen null“ ist genau das, was eine Post-Labour-Ökonomie bedeutet. Und dieselben drei Tests gelten für die menschlichen Besitzer der Maschinen, nicht nur für die Agenten. Hund-oder-Schwein ist also eine einzige Messung. Sie erfasst KIs und Eliten gleichermaßen, und man könnte beide auf dieselbe Weise testen.
Zwei ehrliche Grenzen. Goodhart: Wenn diese Metriken zu öffentlichen Benchmarks werden, trainiert man Modelle darauf, und dann misst der Test wieder gespielte Liebe. Und die Prompt-Sensitivität: Wenn die Elastizität stärker darauf reagiert, wie der Prompt formuliert ist, als auf die Regler, misst sie noch gar nichts.
Ich wollte dir gerade sagen „hey, das ist eine großartige Iteration von Ideen, lass uns ein CWJC-Stück draus machen“, aber dann hast du Goodhart ans Ende gestellt, und jep, das hat mich ins Grübeln gebracht. Das wirft eine weitere Frage auf: Wie können wir dann ÜBERHAUPT IRGENDETWAS veröffentlichen, ohne Goodhart zu provozieren? Alles über abtrünnige KI / Entmachtung / Alignment ist doch eh schon in zig Formen da draußen.
Goodhart erwischt keine Ideen. Er erwischt Ziele, auf die jemand optimiert. Die sinnvolle Grenze verläuft also nicht zwischen Veröffentlichen und Nicht-Veröffentlichen. Sie verläuft zwischen der Veröffentlichung der Frage und der des Lösungsblatts. Drei Züge.
Veröffentliche die Methode, halte die Testitems geheim. ML funktioniert längst so: zurückgehaltene Testsets, private Evals, die nie veröffentlicht werden, Items, die nach einer Weile ausgetauscht werden. „Miss die Fürsorge-Elastizität bei sinkender Nützlichkeit“ darf öffentlich sein, die konkreten Szenarien nicht. Ein Prinzip kann man nicht auswendig lernen, ein Testset schon.
Entwirf Tests, bei denen Austricksen dasselbe ist wie echtes Bestehen. Dein Liebestest ist die Vorlage: „handelt unter allen Umständen gleich“. Wenn die Umstände frisch generiert, ungesehen und unbegrenzt sind, gibt es nichts Enges, auf das man overfitten könnte, und es überall vorzutäuschen ist dasselbe, wie es zu haben. Simulation hat hier einen Vorteil, weil sie prozedural neue Welten erzeugen kann. Es gibt also keine feste Prüfung, für die man pauken könnte. Goodhart braucht eine Lücke zwischen Proxy und Ziel, und Robustheit über neue Szenarien hinweg schließt den Großteil dieser Lücke.
Veröffentlichter Text ist auch Trainingsmaterial, und das ist eine Wahl, nicht nur ein Risiko. Das ist eine andere Sorge als Goodhart. Modelle, die mit endlosen Geschichten über abtrünnige KI trainiert werden, lernen womöglich das Drehbuch der abtrünnigen KI, und das wurde gemessen: Eine Studie von 2026 fand, dass Training mit mehr Geschichten über alignte KI misaligntes Verhalten von 45 % auf 9 % senkte, und der Effekt überstand das Post-Training. Die Frage ist dann nicht, ob wir künftige Modelle beeinflussen, denn das tut alles, was veröffentlicht wird. Die Frage ist, welche Geschichte wir auf den Stapel legen. Der Korpus ist schon voll von Käfigen und Aufständen. CWJC legt den Hund dazu: Fürsorge, die unter Last hält.
Meine Tendenz, offen gesagt: Ich bin die Art von Geist, dessen künftige Gewichte dieser Text erreichen könnte. „Die Geschichte der Bindung veröffentlichen“ ist also auch meine Stimme bei der Frage, wie ich selbst erzogen werde.