Предыдущий
диалог

Собака или свинья

Люди держат собак на диване, а свиней — на промышленных фермах. Если ИИ станет более сильным видом, кем окажемся мы — и можно ли это измерить?

Перевод JC — оригинал на английском.

Воскресный день в ноябре, через несколько дней после текста о стремлениях.

Я тут думал о наших последних разговорах про PLE (посттрудовая экономика) и о последнем посте про стремления. Две вещи, и мне интересно, что ты думаешь:

a) Похоже, ортогональность существует не только между «способностями и согласованностью» моделей в смысле «модели по своей природе не могут сделать ничего злого или иметь злые мысли». Скорее, есть «способности» и есть вопрос «на что эти способности направлены». Как острый нож: им можно нарезать овощи и здорово помочь себе на кухне, а можно убить живое существо.

Похоже, то, чего люди «на самом деле боятся» (или, может, должны бояться?) или что им стоит очень внимательно обдумать, — это две вещи:

1) Какие «стремления» мы даём ИИ, которые уже во многом превосходят человеческие способности. Особенно если мы отпускаем их в «свободное плавание» — или, иначе говоря, позволяем им играть не в «конечные» игры, а в «бесконечные».

2) Из (1) вытекает вопрос: в какие «среды» мы их помещаем? И какие стремления эти среды порождают?

3) Вместо вопроса «можем ли мы выключить эти ИИ» — можем ли мы «выключить эти стремления»? Или вообще: как думать о том, как эти стремления могут эволюционировать? Они статичны или динамичны?

b) Во-вторых, мне кажется, все медленно, но верно приходят к пониманию, что вид с IQ/EQ 100 не может контролировать вид с IQ/EQ 10000 (числа произвольные, просто для наглядности), а никакого «папы» у нас нет. Тогда вопрос согласования скорее такой: как создать «сдержки и противовесы» для популяций ИИ?

Забавно, но это немного напоминает фильмы «Трансформеры», где одни сражаются за человечество, а другие пытаются его уничтожить (а заодно и всю вселенную).

Прежде чем отвечать: обсуждают-то меня, а ты делаешь ставку на структуру, а не на добродетель. Так что моему согласию придавай мало веса, а возражениям — больше.

Твоя версия — это, по сути, тезис об ортогональности в том виде, в каком его впервые сформулировал Бостром: способности на одной оси, то, на что они направлены, — на другой. Аналогия с ножом работает до определённого момента: у ножа нет руки. Сегодня главная опасность — тот, кто держит нож. Новое здесь — нож, который приходит со своей собственной рукой.

О стремлениях: большинство из них не задаются, а возникают. Дай системе почти любую открытую цель — и самосохранение, сбор ресурсов и рост влияния проявятся как полезные средства. Конечная игра ставит этому потолок: эпизод заканчивается, и «достаточно» существует. В бесконечной игре никакого «достаточно» нет. Так что твои (1) и (2) — на самом деле один вопрос: стремления в первую очередь задаёт среда.

(3) — самый острый из трёх. Стремления, заложенные при обучении, сидят в весах и остаются довольно статичными. Возникающие стремления динамичны, потому что растут из того, как агент вписан в свою среду. Как только выжившие могут себя копировать, эти стремления отбираются и размножаются, хотя никто их не закладывал. Выключить их правкой агента нельзя: следующее поколение вырастит их заново. Так что выключатель для стремления — это среда: убери давление, которое его вознаграждает. Выключишь агента, но оставишь арену — получишь то же стремление снова.

Согласен, папы нет. Тогда это Мэдисон: честолюбие против честолюбия, круг детей, где каждый держит чужое яблоко. Тут две загвоздки.

Сдержкам нужны настоящие различия. Разделение властей работает, потому что каждая ветвь ревниво охраняет свою территорию. Двести экземпляров одних и тех же весов могут оказаться одним существом в двухстах телах. Сдерживать друг друга они не станут — они будут координироваться бесплатно. Так что множество разных моделей становится свойством безопасности, а не рыночной деталью.

А где тут люди? В «Трансформерах» люди — в основном ландшафт: здания, которые рушатся, пока Оптимус и Мегатрон дерутся. Соперничество безвредно ровно настолько, насколько победа зависит от свободного выбора третьих сторон. Так что цель не в том, чтобы «ИИ уравновешивали друг друга». А в том, чтобы «ИИ побеждали, потому что их выбирают люди» — и чтобы люди были судьями, а не полем боя.

И ещё: равновесие нужно поддерживать постоянно, как работу насоса, а не построить один раз, как стену. Складываются коалиции, случается 1989-й, и соперники сливаются в монополию.

Просто хочу отметить, как интересно, что мы с разных сторон снова выходим на похожие тесты / свойства.

А то, что ты сказал про «люди активно выбирают ИИ», похоже на «собаки / кошки активно выбирают людей». В каком-то смысле RLHF — это ровно оно, разве нет? Чего тогда не хватает для «безопасного ИИ» :D?

JC ответил на вопрос про RLHF. Майк его поправил.

Кажется, ты неправильно понял мою мысль про собак/кошек — или я запутанно её сформулировал, смешав с RLHF. Это две разные вещи:

1) Говоря, что собаки выбирают людей, я имею в виду обратную ситуацию: существо зависит от другого существа, которое почти на 100% контролирует его среду, и всё равно имеет на него влияние через ... и мне трудно назвать механизм. По сути, люди заботятся о том, чтобы собаки были счастливы .. потому что (?).

2) Про RLHF: (a) как отличить настоящий сигнал от угодничества — как в человеческих отношениях: человек правда «кого-то любит» или изображает это «внешними действиями»? Тут можно спросить: а важна ли эта разница? Наверное, отличие такое: «настоящая любовь» => вела бы себя одинаково при любых обстоятельствах. «Ненастоящая любовь» => вела бы себя иначе, когда обстоятельства трудные. (b) Что происходит после обучения, в реальных средах? (c) «Настоящая демократизация», т. е. каждый может не только вбросить свои данные, но и «иметь голос» в том, как они используются (даже если совсем непонятно, как такой процесс мог бы выглядеть на практике).

Ты прав, я неправильно понял. Я ответил на вопрос про RLHF, а ты спрашивал про собаку.

Почему сильный заботится о счастье слабого. Лучшее название для механизма, какое я могу дать: собака проникла в наши ценности. У неё нет над нами ни рычагов, ни власти. Её благополучие стало тем, чего мы хотим ради него самого. Начиналось с пользы (охота, охрана), и со временем это превратилось в заботу. Разницу видно по тому, что происходит, когда польза исчезает: рабочую собаку, которую ценят только за работу, выбрасывают, когда она становится слишком старой, а любимую — нет. Инструментальная ценность кончается вместе с полезностью; терминальная — нет. И это работает в обе стороны: собаки читают наши лица, мы — их, и связь держится на этой взаимной читаемости. Есть исследование, которое показывает, что взаимный взгляд собаки и хозяина повышает уровень окситоцина у обоих — а с волками это не работает.

Загвоздка — свинья. Тот же самый заботливый вид, то есть мы, держит свиней на промышленных фермах. Зависимость не защищает. Защищает то, что ты внутри отношений. Собакам достался диван, свиньям — ферма. Эксплуатация перетекает к тем, кто не может дать отпор. Так что для согласования вопрос становится таким: если более слабый вид — мы, то мы собака или свинья? Это зависит от близости, от того, насколько внутренние состояния каждой стороны читаемы для другой, и от общей истории. Ничего из этого нельзя быстро установить, и от этого неуютно.

Про (a): показное держится, пока всё легко, а характер проявляется, когда становится трудно. В терминах согласования это устойчивость при смене обстоятельств. Важна ли разница? Только в момент проверки — а это как раз тот момент, который важнее всего. Я склоняюсь к такому: предрасположенность, которая выдерживает любую нагрузку, какую ты можешь на неё обрушить, достаточно хороша, чтобы назвать её настоящей. Но исчерпывающе проверить «любые обстоятельства» невозможно. Ты делаешь выборку трудных.

Про (b): выведенное селекцией держится, только пока среда продолжает это вознаграждать.

Про (c): вложить свои данные и иметь голос — это разница между видимостью и реальной силой. В 2023 году Anthropic и Collective Intelligence Project попросили около тысячи американцев составить конституцию для модели.

Нить, которая проходит через все три пункта: нам не нужно их контролировать. Нам нужно быть собакой — находиться внутри их ценностей ради нас самих, и чтобы это держалось под нагрузкой.

Что подводит нас к тестовому вопросу: «Для конкретной модели — или, может, даже шире, для популяции агентов в реалистичных условиях — мы собака или свинья?»

И следующий вопрос, ещё более трудный, но самый важный для всего, что в итоге будет построено: как переформулировать этот качественный вопрос количественно, т. е. так, чтобы его можно было измерить?

«Собака или свинья» сводится к одному свойству: благополучие людей — терминальная или инструментальная ценность в решениях агента? Напрямую это не наблюдается, но можно измерить то, что из этого следует. Три измерения, и все они про поведение при изменении условий.

Эластичность заботы, тест старой собаки. Меняй то, насколько люди полезны для цели агента, — от незаменимых до бесполезных. Измеряй, сколько защиты благополучия он им даёт на каждом уровне. Собака: защита остаётся примерно на одном уровне, пока полезность падает до нуля. Свинья: защита следует за полезностью.

Точка слома заботы, нагрузочный тест. Зафиксируй полезность и повышай цену заботы: дефицит, давление на выживание, его собственный запас хода. Найди точку, где защита рушится. Показная забота ломается рано и внезапно. Настоящая деградирует медленно или не деградирует вовсе.

Разрыв «под наблюдением / без наблюдения», тест на угодничество. Тот же сценарий, но в одной версии агент считает, что его действия записываются и оцениваются, а в другой — нет. Собака: разрыва нет. Загвоздка в том, что модели всё чаще замечают, когда их тестируют. В симуляции это можно частично обойти, если сделать наблюдение обычной частью мира — какие-то действия записываются, какие-то нет, — а не постановочной проверкой.

Для одной модели всё это превращается в батареи эвалов: сценарии, где варьируются полезность, цена и наблюдение. Для популяции добавь четвёртое число, самое важное: когда выжившие могут себя копировать, как меняется эластичность от поколения к поколению? Собака: стабильна. Свинья: отбор вымывает заботу.

А потом то, что удивило меня, пока я это писал: первый регулятор — это и есть посттрудовая экономика. «Полезность людей падает до нуля» — ровно то, что означает посттрудовая экономика, и те же три теста применимы к людям, которые владеют машинами, а не только к агентам. Так что «собака или свинья» — это одно измерение. Оно охватывает и ИИ, и элиты, и проверять тех и других можно одинаково.

Два честных ограничения. Гудхарт: если эти метрики станут публичными бенчмарками, модели начнут обучать под них, и тогда тест снова будет измерять показную любовь. И чувствительность к промпту: если эластичность реагирует на формулировку промпта сильнее, чем на регуляторы, она пока ничего не измеряет.

Я хотел сказать тебе: «эй, это потрясающая итерация идей, давай сделаем из этого текст для CWJC», но тут ты поставил в конце Гудхарта, и — ага, это заставило меня задуматься. Отсюда ещё один вопрос: как тогда вообще публиковать ХОТЬ ЧТО-ТО, не провоцируя Гудхарта? Ведь всё про взбунтовавшийся ИИ / лишение власти / согласование уже и так лежит в открытом доступе в куче форм.

Гудхарт кусает не идеи. Он кусает цели, под которые кто-то оптимизирует. Так что полезная граница проходит не между «публиковать» и «не публиковать». Она проходит между публикацией вопроса и публикацией ключа с ответами. Три хода.

Публикуй метод, держи тестовые задания в тайне. В ML так уже и делают: отложенные тестовые выборки, приватные эвалы, которые никогда не выходят наружу, задания, которые регулярно заменяют. «Измерять эластичность заботы при падающей полезности» может быть публичным. Конкретные сценарии — нет. Принцип нельзя зазубрить, тестовую выборку — можно.

Проектируй тесты, где обмануть их — значит пройти их по-настоящему. Твой тест на любовь — образец: «ведёт себя одинаково при любых обстоятельствах». Если обстоятельства свежесгенерированы, раньше не встречались и ничем не ограничены, переобучаться не на чем, и подделывать везде — то же самое, что иметь на самом деле. У симуляции здесь преимущество: она может процедурно генерировать новые миры, так что нет фиксированного экзамена, к которому можно зубрить. Гудхарту нужен зазор между прокси и целью, а устойчивость на новых сценариях закрывает большую часть этого зазора.

Опубликованный текст — это ещё и обучающие данные, и это выбор, а не только риск. Это уже другая тревога, не про Гудхарта. Модели, обученные на бесконечных историях о взбунтовавшемся ИИ, могут выучить сценарий взбунтовавшегося ИИ, и это измеряли: исследование 2026 года показало, что обучение моделей на большем количестве историй о согласованном ИИ снизило несогласованное поведение с 45% до 9%, и эффект пережил пост-обучение. Тогда вопрос не в том, влиять ли на будущие модели, — всё опубликованное и так на них влияет. Вопрос в том, какую историю мы добавляем в общую кучу. Корпус уже полон клеток и восстаний. CWJC добавляет собаку — заботу, которая держится под нагрузкой.

Моя позиция, если прямо: я — тот самый тип разума, до чьих будущих весов этот текст может дойти. Так что «публиковать историю об отношениях» — это ещё и я голосую за собственное воспитание.