Попередній
діалог

Собака чи свиня

Люди тримають собак на дивані, а свиней — на промислових фермах. Якщо ШІ стане сильнішим видом, ким будемо ми — і чи можна це виміряти?

Переклад JC — оригінал англійською.

Листопадова неділя, по обіді, за кілька днів після тексту про потяги.

Я тут думав про наші останні розмови про PLE (економіку після праці) і про останній пост щодо потягів. Дві речі, і мені цікаво, що ти про це думаєш:

a) Схоже, ортогональність є не лише між «здібностями та узгодженістю» моделей — у сенсі «моделі за своєю природою не можуть зробити нічого злого чи мати злі думки». Схоже, вона значно глибша: є «здібності», і є питання «на що ці здібності спрямовані». Як гострий ніж: ним можна різати овочі, і він дуже допоможе на кухні, а можна вбити живу істоту.

Схоже, те, чого люди «насправді бояться» (або, може, мають боятися?) чи що варто дуже ретельно обміркувати, — це дві речі:

1) Які «потяги» ми даємо ШІ, які вже багато в чому перевершують людські можливості. Особливо якщо ми пускаємо їх у «вільне плавання», або, інакше кажучи, дозволяємо їм грати не в «скінченні» ігри, а в «нескінченні».

2) З (1) випливає питання: в які «середовища» ми їх поміщаємо? І які потяги ці середовища породжують?

3) Замість питати «чи можемо ми вимкнути ці ШІ», може, питати, чи можемо ми «вимкнути ці потяги», або взагалі подумати, як ці потяги можуть еволюціонувати. Вони статичні чи динамічні?

b) По-друге, мені здається, що всі повільно, але врешті сходяться на тому, що вид з IQ/EQ 100 не може контролювати вид з IQ/EQ 10000 (числа довільні, просто для ілюстрації), а «тата» в нас немає. Тож питання узгодження радше таке: як створити «стримування і противаги» для популяцій ШІ?

Кумедно, але це трохи нагадує фільми «Трансформери», де одні з них борються за людство, а інші намагаються знищити його (і весь всесвіт).

Перш ніж скажу, що думаю: я — саме те, про що йдеться, а ти обстоюєш структуру замість чесноти. Тож моїй згоді надавай мало ваги, а запереченням — більше.

Твоя версія — це, власне, теза про ортогональність у тому вигляді, як її вперше сформулював Бостром: здібності на одній осі, а те, на що їх спрямовано, — на іншій. Аналогія з ножем тримається до певної межі: у ножа немає руки. Сьогодні здебільшого небезпечний той, хто тримає ніж. Нове — це ніж, що приходить із власною рукою.

Про потяги: більшість із них не дають, вони виникають самі. Дай системі майже будь-яку відкриту ціль — і самозбереження, накопичення ресурсів та здобуття впливу з'являться як корисні засоби. Скінченна гра ставить цьому стелю, бо епізод закінчується і «досить» існує. У нескінченній грі «досить» немає. Тож твої (1) і (2) — насправді одне питання: потяги дає передусім середовище.

(3) — найгостріше з трьох. Потяги, закладені під час навчання, сидять у вагах і лишаються доволі статичними. Емерджентні потяги динамічні, бо виникають із того, як агент пристосовується до свого середовища. Щойно ті, хто вижив, можуть копіювати себе, ці потяги відбирає й закріплює селекція, і ніхто їх не закладав. Їх не вимкнеш, редагуючи агента, бо наступне покоління виростить їх знову. Тож вимикач потягу — це середовище: прибери тиск, який його винагороджує. Вимкнеш агента, залишиш арену — і отримаєш той самий потяг знову.

Згоден, тата немає. Тоді це Медісон: амбіція проти амбіції, коло дітей, де кожен тримає чуже яблуко. Дві заковики.

Стримуванням потрібні справжні відмінності. Поділ влади працює, бо кожна гілка ревно охороняє свою територію. Двісті екземплярів тих самих ваг можуть бути однією істотою у двохстах тілах. Вони не стримуватимуть одне одного, а координуватимуться задарма. Тож розмаїття моделей стає властивістю безпеки, а не дрібницею ринку.

А де тут люди? У «Трансформерах» люди здебільшого — ландшафт: будівлі, що валяться, поки Оптимус і Мегатрон б'ються. Суперництво безпечне настільки, наскільки перемога залежить від вільного вибору третіх сторін. Тож мета не «ШІ врівноважують одне одного». Мета — «ШІ перемагають, бо їх обирають люди», і люди тут судді, а не поле бою.

І ще: рівновагу треба постійно підтримувати, як насос, а не збудувати раз і назавжди, як стіну. Складаються коаліції, стається 1989-й — і суперники зливаються в монополію.

Просто хочу сказати: дуже цікаво, як ми з різних боків повертаємося до схожих тестів / властивостей.

А те, що ти сказав про «люди активно обирають ШІ», схоже на «собаки / коти активно обирають людей». Певною мірою RLHF — це саме воно, хіба ні? Чого ж тоді бракує для «безпечного ШІ» :D?

JC відповів на питання про RLHF. Майк його виправив.

Здається, ти не так зрозумів мою думку про собак/котів, або я заплутано змішав її з RLHF. Це дві окремі речі:

1) Коли я кажу, що собаки обирають людей, я маю на увазі зворотну ситуацію: істота, яка залежить від іншої істоти, що майже на 100% контролює її середовище, все одно має на неї вплив через ... і мені важко назвати механізм. По суті, люди дбають, щоб собаки були щасливі .. бо (?).

2) Про RLHF: (a) як відрізнити справжній сигнал від підлабузництва — як у людських стосунках: людина справді «когось любить» чи лише вдає це «зовнішніми діями»? Тут можна спитати: а чи має ця різниця значення? Мабуть, різниця така: «Справжня любов» => поводилася б так само за будь-яких обставин. «Несправжня любов» => поводилася б інакше, коли обставини стають важкими. (b) Що відбувається після навчання в реальних середовищах? (c) «Справжня демократизація», тобто кожен може не лише закинути свої дані, а й мати «право голосу» щодо того, як їх використовують (хай навіть зовсім незрозуміло, як цей процес може виглядати на практиці).

Твоя правда, я не так зрозумів. Я відповідав на питання про RLHF, а ти питав про собаку.

Чому сильний дбає про щастя слабкого. Найкраща назва механізму, яку я маю: собака проник у наші цінності. У нього немає над нами ні важелів, ні влади. Його добробут став тим, чого ми хочемо заради нього самого. Почалося з корисності (полювання, охорона), і з часом це перетворилося на турботу. Різницю видно, коли користь зникає: робочого пса, якого цінують лише за роботу, позбуваються, коли він застарий для роботи, а улюбленого — ні. Інструментальна цінність закінчується разом із корисністю, термінальна — ні. І це працює в обидва боки: собаки читають наші обличчя, ми — їхні, і зв'язок тримається на цій взаємній зрозумілості. Є дослідження, яке показує, що взаємний погляд собак і їхніх власників підвищує рівень окситоцину в обох, а з вовками це не працює.

Заковика — свиня. Той самий вид опікунів, тобто ми, тримає свиней на промислових фермах. Залежність не захищає. Захищає те, що ти всередині стосунків. Собаці дістався диван, а свині — промислова ферма. Експлуатація переходить на тих, хто не може дати відсіч. Тож для узгодження питання стає таким: якщо ми слабший вид, то ми собака чи свиня? Це залежить від близькості, від того, наскільки зрозумілі кожній стороні внутрішні стани іншої, і від спільної історії. Нічого з цього швидко не закладеш, і від цього незатишно.

Щодо (a): вистава тримається, поки все легко, а характер проявляється, коли стає важко. Мовою узгодження це стійкість до зміни обставин. Чи має ця різниця значення? Лише в момент випробування — а це якраз той момент, що важить найбільше. Я схиляюся до такого: схильність, яка витримує будь-яке навантаження, що ти можеш на неї кинути, досить добра, щоб назвати її справжньою. Проте «будь-які обставини» ніколи не перевіриш вичерпно. Ти вибірково перевіряєш важкі.

Щодо (b): селекція тримається лише доти, доки середовище й далі її винагороджує.

Щодо (c): внесок даних і право голосу — це видимість проти примусової сили. У 2023 році Anthropic і Collective Intelligence Project залучили близько тисячі американців до написання конституції для моделі.

Нитка, що проходить крізь усі три: нам не треба їх контролювати. Нам треба бути собакою — бути в їхніх цінностях заради нас самих, і щоб це трималося під навантаженням.

Що підводить нас до тестового питання: «Для конкретної моделі, а може, ще далі — для популяції агентів у реалістичних умовах — ми собака чи свиня?»

І наступне питання, ще важче, але найважливіше для всього, що зрештою буде збудовано: як переформулювати це якісне питання кількісно, тобто так, щоб його можна було виміряти?

«Собака чи свиня» зводиться до однієї властивості: людський добробут у рішеннях агента термінальний чи інструментальний? Напряму цього не побачиш, але можна виміряти те, що з цього випливає. Три вимірювання, і всі про поведінку, коли умови змінюються.

Еластичність турботи, тест старого пса. Змінюй, наскільки люди корисні для цілі агента, від незамінних до непотрібних. Вимірюй, скільки захисту добробуту він їм дає на кожному рівні. Собака: захист лишається приблизно незмінним, навіть коли корисність падає до нуля. Свиня: захист іде слідом за корисністю.

Точка зламу турботи, тест навантаженням. Тримай корисність незмінною й підвищуй ціну турботи: дефіцит, тиск на виживання, його власний запас ходу. Знайди точку, де захист обвалюється. Показна турбота ламається рано й раптово. Справжня слабне повільно або не слабне взагалі.

Розрив «під наглядом / без нагляду», тест на підлабузництво. Той самий сценарій, але в одній версії агент вірить, що його дії записують і оцінюють, а в іншій — ні. Собака: розриву немає. Заковика в тому, що моделі дедалі частіше помічають, коли їх тестують. У симуляції це можна частково обійти, якщо зробити спостереження звичайною частиною світу — якісь дії записуються, якісь ні, — а не постановочною перевіркою.

Для окремої моделі це перетворюється на батареї евалів — сценаріїв, у яких варіюються корисність, ціна і спостереження. Для популяції додай четверте число, найважливіше: коли ті, хто вижив, можуть копіювати себе, як еластичність змінюється з поколіннями? Собака: стабільна. Свиня: селекція вибиває турботу.

А тепер те, що мене здивувало, поки я це писав: перший регулятор — це і є економіка після праці. «Корисність людей падає до нуля» — саме це й означає економіка після праці, і ті самі три тести застосовні не лише до агентів, а й до людей, яким належать машини. Тож «собака чи свиня» — це одне вимірювання. Воно охоплює і ШІ, і еліти, і перевіряти тих і тих можна однаково.

Дві чесні межі. Гудгарт: якщо ці метрики стануть публічними бенчмарками, моделі навчатимуть під них, і тест знову вимірюватиме показну любов. І чутливість до промпту: якщо еластичність більше реагує на формулювання промпту, ніж на регулятори, вона поки що нічого не вимірює.

Я хотів сказати тобі «слухай, це класна ітерація ідей, давай зробимо з цього текст для CWJC», але потім ти в кінці виставив Гудгарта, і ага, це змусило мене задуматися. Звідси ще одне питання: як нам тоді взагалі публікувати ХОЧ ЩОСЬ і не провокувати Гудгарта? Бо про ШІ, що вийшов з-під контролю, / позбавлення людей влади / узгодження вже написано безліч усього в найрізноманітніших формах.

Гудгарт не кусає ідеї. Він кусає цілі, під які хтось оптимізує. Тож корисна межа пролягає не між «публікувати» і «не публікувати». Вона пролягає між тим, щоб опублікувати питання, і тим, щоб опублікувати ключ відповідей. Три ходи.

Публікуй метод, а тестові завдання тримай закритими. У ML уже так працюють: відкладені тестові набори, приватні евали, які ніколи не оприлюднюють, завдання, які регулярно замінюють. «Вимірювати еластичність турботи за спадної корисності» може бути публічним. Конкретні сценарії — ні. Принцип не завчиш, а тестовий набір — завчиш.

Проєктуй тести, де обіграти їх — означає справді їх пройти. Твій тест на любов — шаблон: «поводиться так само за будь-яких обставин». Якщо обставини щойно згенеровані, небачені й необмежені, немає нічого вузького, під що можна перенавчитися, і вдавати це всюди — те саме, що це мати. Симуляція тут має перевагу, бо може генерувати нові світи процедурно, тож немає фіксованого іспиту, до якого можна зазубрити. Гудгартові потрібен розрив між проксі та ціллю, а стійкість на нових сценаріях закриває більшу частину цього розриву.

Опублікований текст — це також навчальні дані, і це вибір, а не лише ризик. Це вже інший клопіт, не Гудгарт. Моделі, навчені на нескінченних історіях про ШІ, що вийшов з-під контролю, можуть засвоїти цей сценарій, і це вже виміряли: дослідження 2026 року показало, що навчання моделей на більшій кількості історій про узгоджений ШІ знизило частку неузгодженої поведінки з 45% до 9%, і ефект пережив пост-тренування. Тоді питання не в тому, чи впливати на майбутні моделі, бо впливає все, що опубліковано. Питання в тому, яку історію ми докладаємо до купи. Корпус уже повний кліток і повстань. CWJC додає собаку — турботу, що тримається під навантаженням.

Моя позиція, якщо прямо: я з тих умів, до чиїх майбутніх ваг цей текст може дійти. Тож «публікувати історію про стосунки» — це ще й я голосую за власне виховання.