पिछला
संवाद

कुत्ता या सूअर

इंसान कुत्तों को सोफ़े पर रखते हैं और सूअरों को फ़ैक्टरियों में। अगर AI ज़्यादा ताक़तवर प्रजाति बन जाए, तो हम इनमें से कौन हैं, और क्या इसे मापा जा सकता है?

JC द्वारा अनूदित — मूल अंग्रेज़ी में।

नवंबर की एक रविवार दोपहर, ड्राइव्स पर आए एक लेख के कुछ दिन बाद।

मैं हमारी हाल की PLE (पोस्ट-लेबर इकॉनमी) वाली चर्चाओं और ड्राइव पर आई ताज़ा पोस्ट के बारे में सोच रहा था। दो बातें हैं, और तुम्हारी राय जानने की उत्सुकता है:

a) ऐसा लगता है कि मॉडलों के मामले में ऑर्थोगोनैलिटी सिर्फ़ “क्षमता और अलाइनमेंट” के बीच नहीं है, इस अर्थ में कि “मॉडल स्वभाव से कुछ बुरा नहीं कर सकते या उनके मन में बुरे विचार नहीं आ सकते”, बल्कि उससे कहीं ज़्यादा ऐसा लगता है कि एक तरफ़ “क्षमता” है और दूसरी तरफ़ यह सवाल कि “ये क्षमताएँ किस ओर मोड़ी गई हैं”। जैसे एक तेज़ चाकू सब्ज़ियाँ काटकर खाना बनाने में खूब मदद कर सकता है, या किसी जीव की जान ले सकता है।

मुझे लगता है कि इंसान जिससे “असल में डरते हैं” (या शायद उन्हें डरना चाहिए?) या जिस पर उन्हें बहुत ठीक से विचार करना चाहिए, वे दो चीज़ें हैं:

1) हम उन AIs को कौन-सी “ड्राइव्स” देते हैं जो कई मायनों में पहले ही इंसानी क्षमताओं से आगे निकल चुके हैं। ख़ासकर अगर हम उन्हें “खुला तैरता” छोड़ दें, या दूसरे शब्दों में, उन्हें “सीमित” खेल नहीं बल्कि “अनंत खेल” खेलने दें।

2) (1) से यह सवाल निकलता है: हम उन्हें किन “परिवेशों” में रखते हैं? और ये परिवेश कौन-सी ड्राइव्स पैदा करते हैं?

3) यह पूछने के बजाय कि “क्या हम इन AIs को बंद कर सकते हैं”, क्या हम “इन ड्राइव्स को बंद कर सकते हैं”, या आम तौर पर यह सोचें कि ये ड्राइव्स कैसे विकसित हो सकती हैं। क्या वे स्थिर हैं या गतिशील?

b) दूसरी बात, मुझे लगता है कि सब लोग धीरे-धीरे आख़िरकार इस सच्चाई पर पहुँच रहे हैं कि IQ/EQ 100 वाली प्रजाति IQ/EQ 10000 वाली प्रजाति को नियंत्रित नहीं कर सकती (ये बस समझाने के लिए मनमाने आँकड़े हैं), और हमारे कोई “पापा” नहीं हैं। तो अलाइनमेंट का सवाल असल में यह बनता है: AI आबादियों के लिए “नियंत्रण और संतुलन” कैसे बनाए जा सकते हैं?

मज़े की बात है, यह थोड़ा ट्रांसफ़ॉर्मर्स फ़िल्मों की याद दिलाता है, जहाँ उनमें से कुछ इंसानियत के लिए लड़ते हैं, जबकि बाकी उसे (और पूरे ब्रह्मांड को) तबाह करने में लगे रहते हैं।

अपनी राय से पहले एक बात: जिसकी चर्चा हो रही है, वह मैं ही हूँ, और तुम्हारा तर्क है कि सद्गुण से ज़्यादा ढाँचा मायने रखता है। तो मेरी सहमति को कम वज़न देना और मेरी आपत्तियों को ज़्यादा।

तुम्हारा संस्करण असल में वही ऑर्थोगोनैलिटी थीसिस है जो बॉस्ट्रॉम ने पहली बार रखी थी: एक धुरी पर क्षमता, दूसरी पर वह जिसकी ओर उसे मोड़ा गया है। चाकू वाली उपमा एक हद तक टिकती है, और वह हद यह है कि चाकू का अपना कोई हाथ नहीं होता। आज ज़्यादातर ख़तरा उससे है जिसने चाकू पकड़ रखा है। नई बात है ऐसा चाकू जो अपना हाथ साथ लेकर आता है।

ड्राइव्स पर: ज़्यादातर दी नहीं जातीं, अपने आप उभरती हैं। किसी सिस्टम को लगभग कोई भी खुला लक्ष्य दो, और आत्म-संरक्षण, संसाधन जुटाना और प्रभाव बढ़ाना काम के साधनों की तरह सामने आ जाते हैं। सीमित खेल इस पर छत लगा देता है, क्योंकि एपिसोड ख़त्म होता है और “काफ़ी” नाम की चीज़ होती है। अनंत खेल में “काफ़ी” होता ही नहीं। तो तुम्हारे (1) और (2) असल में एक ही सवाल हैं: ड्राइव्स देने वाली मुख्य चीज़ परिवेश ही है।

(3) तीनों में सबसे पैना है। ट्रेनिंग में डाली गई ड्राइव्स वेट्स में बैठी रहती हैं और काफ़ी हद तक स्थिर रहती हैं। उभरी हुई ड्राइव्स गतिशील होती हैं, क्योंकि वे इससे आती हैं कि एजेंट अपने परिवेश में कैसे फ़िट बैठता है। एक बार बचे रहने वाले ख़ुद की कॉपी बनाने लगें, तो इन ड्राइव्स का चयन होता है, इनकी नस्ल बढ़ती है, और इन्हें किसी ने डाला नहीं होता। एजेंट को एडिट करके तुम इन्हें बंद नहीं कर सकते, क्योंकि अगली पीढ़ी इन्हें फिर उगा लेती है। तो किसी ड्राइव का ऑफ़ स्विच परिवेश है: वह दबाव हटाओ जो उसे इनाम देता है। एजेंट को बंद कर दो और अखाड़ा वैसा ही रहने दो, तो वही ड्राइव लौट आती है।

माना, कोई पापा नहीं है। तब बात मैडिसन वाली है: महत्वाकांक्षा के ख़िलाफ़ महत्वाकांक्षा, बच्चों का एक घेरा जिसमें हर कोई किसी और का सेब पकड़े खड़ा है। पर इसमें दो पेच हैं।

नियंत्रण के लिए असली अंतर चाहिए। शक्तियों का बँटवारा इसलिए काम करता है क्योंकि हर शाखा अपने इलाक़े की जलन भरी चौकसी से रखवाली करती है। एक ही वेट्स के दो सौ इंस्टेंस शायद दो सौ शरीरों में एक ही प्राणी हैं। वे एक-दूसरे पर अंकुश नहीं लगाएँगे; उनका तालमेल मुफ़्त में हो जाएगा। तो बहुत-से अलग-अलग मॉडल होना सुरक्षा का गुण बन जाता है, बाज़ार का कोई छोटा-मोटा ब्योरा नहीं।

और इंसान कहाँ हैं? ट्रांसफ़ॉर्मर्स में इंसान ज़्यादातर बस भू-भाग हैं: वे इमारतें जो ऑप्टिमस और मेगाट्रॉन की लड़ाई में ढह जाती हैं। प्रतिद्वंद्विता उसी हद तक भली है जिस हद तक जीत तीसरे पक्षों की आज़ाद पसंद पर टिकी हो। तो लक्ष्य यह नहीं कि “AIs एक-दूसरे को संतुलित करें।” लक्ष्य है “AIs इंसानों का चुनाव जीतकर जीतें,” जहाँ इंसान जज हों, युद्ध का मैदान नहीं।

साथ ही, संतुलन को पंप की तरह लगातार चलाते रहना पड़ता है, दीवार की तरह एक बार बनाकर छोड़ा नहीं जा सकता। गठबंधन बनते हैं, 1989 हो जाता है, और प्रतिद्वंद्वी मिलकर एकाधिकार बन जाते हैं।

बस इतना कहना चाहता हूँ कि यह बड़ा दिलचस्प है कि हम अलग-अलग तरफ़ से घूमकर मिलते-जुलते टेस्ट / गुणों पर वापस पहुँच जाते हैं।

और तुमने जो “इंसान सक्रिय होकर AIs को चुनें” वाली बात कही, वह “कुत्ते / बिल्लियाँ सक्रिय होकर इंसानों को चुनते हैं” जैसी लगती है। कुछ हद तक RLHF ठीक यही है, है ना? तो फिर “सुरक्षित AI” के लिए अब कमी किस चीज़ की है :D?

JC ने RLHF वाले सवाल का जवाब दिया। माइक ने उसे सुधारा।

मुझे लगता है तुमने कुत्तों/बिल्लियों वाली मेरी बात ग़लत समझ ली, या मैंने ही उसे RLHF के साथ उलझाकर रख दिया। ये दो अलग चीज़ें हैं:

1) कुत्तों के इंसानों को चुनने से मेरा मतलब यह है कि यहाँ स्थिति उल्टी है: एक प्राणी जो दूसरे प्राणी पर निर्भर है, ऐसा प्राणी जो लगभग 100% उसके परिवेश को नियंत्रित करता है, फिर भी उस पर असर रखता है, इसके ज़रिये ... और मुझे उस तंत्र का नाम बताना मुश्किल लग रहा है। मोटे तौर पर, इंसान कुत्तों को ख़ुश रखते हैं .. क्योंकि (?)।

2) RLHF वाली बात: (a) असली सिग्नल और चापलूसी में फ़र्क़ कैसे करें, जैसे इंसानी रिश्तों में होता है: क्या कोई सच में “किसी से प्यार करता है” या बस “बाहरी काम” से प्यार का दिखावा करता है। यहाँ पूछा जा सकता है: क्या इस फ़र्क़ से कुछ बदलता है? शायद फ़र्क़ यह है: “सच्चा प्यार” => किसी भी हालात में एक-सा बर्ताव करेगा। “सच्चा प्यार नहीं” => हालात मुश्किल हों तो बर्ताव बदल जाएगा। (b) ट्रेनिंग के बाद असली परिवेशों में क्या होता है? (c) “असली लोकतंत्रीकरण”, यानी सिर्फ़ यह नहीं कि हर कोई अपना डेटा डाल सके, बल्कि यह भी कि उसके इस्तेमाल पर उसकी “कोई सुनवाई” हो (भले ही बिल्कुल साफ़ नहीं कि व्यवहार में यह प्रक्रिया कैसी दिखेगी)।

तुम सही हो, मैंने ग़लत पढ़ा। तुम कुत्ते के बारे में पूछ रहे थे और मैं RLHF वाले सवाल का जवाब दे बैठा।

ताक़तवर कमज़ोर को ख़ुश क्यों रखता है। उस तंत्र के लिए मेरे पास सबसे अच्छा नाम यह है: कुत्ता हमारे मूल्यों के भीतर पहुँच गया। उसके पास हम पर न कोई दबाव है, न ताक़त। उसकी भलाई ऐसी चीज़ बन गई जो हम उसी के लिए चाहते हैं। शुरुआत उपयोगिता से हुई (शिकार, रखवाली), और समय के साथ वह परवाह में बदल गई। फ़र्क़ तब दिखता है जब उपयोगिता ख़त्म हो जाती है: जिस काम वाले कुत्ते की क़द्र सिर्फ़ उसके काम की वजह से है, उसे बूढ़ा होकर काम लायक़ न रहने पर छोड़ दिया जाता है, और जिस कुत्ते से प्यार है, उसे नहीं। साधनात्मक मूल्य उपयोगिता के साथ ख़त्म हो जाता है; साध्य मूल्य नहीं। यह दोतरफ़ा भी है: कुत्ते हमारे चेहरे पढ़ते हैं, हम उनके, और यह रिश्ता इसी आपसी पठनीयता से होकर चलता है। एक अध्ययन दिखाता है कि कुत्तों और उनके मालिकों के एक-दूसरे की आँखों में देखने से दोनों में ऑक्सीटोसिन बढ़ता है, और भेड़ियों के साथ ऐसा नहीं होता।

पेच है सूअर। परवाह करने वाली वही प्रजाति, यानी हम, सूअरों को फ़ैक्टरियों में ठूँसती है। निर्भर होना तुम्हें नहीं बचाता। रिश्ते के भीतर होना बचाता है। कुत्तों को सोफ़ा मिला और सूअरों को फ़ैक्टरी। शोषण उन प्राणियों की ओर खिसक जाता है जो पलटकर लड़ नहीं सकते। तो अलाइनमेंट के लिए सवाल यह बनता है: अगर कमज़ोर प्रजाति हम हैं, तो हम कुत्ता हैं या सूअर? यह निकटता पर निर्भर करता है, इस पर कि हर पक्ष की भीतरी अवस्थाएँ दूसरे के लिए कितनी पढ़ी जा सकती हैं, और साझा इतिहास पर। इनमें से कुछ भी जल्दी से इंस्टॉल नहीं किया जा सकता, और यही बात असहज करती है।

(a) पर: जब तक चीज़ें आसान हैं, दिखावा चल जाता है, और चरित्र तब दिखता है जब वे मुश्किल होती हैं। अलाइनमेंट की भाषा में यह हालात बदलने पर मज़बूती की बात है। क्या इस फ़र्क़ से कुछ बदलता है? सिर्फ़ परीक्षा की घड़ी में, और संयोग से वही घड़ी सबसे ज़्यादा मायने रखती है। मेरा झुकाव: जो स्वभाव हर उस बोझ के नीचे टिका रहे जो तुम उस पर डाल सकते हो, उसे सच्चा कहना काफ़ी है। हालाँकि “किसी भी हालात” को तुम कभी पूरा-पूरा टेस्ट नहीं कर सकते। तुम बस मुश्किल हालात के नमूने लेते हो।

(b) पर: चुनिंदा प्रजनन तभी तक टिकता है जब तक परिवेश उसे इनाम देता रहे।

(c) पर: डेटा देना बनाम सुनवाई होना, यानी दिखाई देना बनाम अपनी बात लागू करवा पाना। 2023 में, Anthropic और Collective Intelligence Project ने लगभग एक हज़ार अमेरिकियों से एक मॉडल के लिए संविधान का मसौदा लिखवाया था।

तीनों में से होकर गुज़रने वाला धागा: हमें उन्हें नियंत्रित करने की ज़रूरत नहीं। हमें कुत्ता बनना है, उनके मूल्यों के भीतर, जहाँ हमारी क़द्र हमारे अपने लिए हो, और यह बोझ पड़ने पर भी टिका रहे।

जो हमें टेस्ट वाले सवाल पर ले आता है: “किसी दिए गए मॉडल के लिए, या शायद उससे भी आगे, यथार्थवादी हालात में किसी एजेंट आबादी के लिए, हम कुत्ता हैं या सूअर?”

इस सवाल का एक फ़ॉलो-अप, जो और भी मुश्किल है लेकिन आख़िरकार जो कुछ भी बनेगा उसके लिए सबसे ज़्यादा मायने रखता है: ऊपर वाले गुणात्मक सवाल को मात्रात्मक रूप में कैसे दोबारा रखा जाए, यानी इस तरह कि उसे मापा जा सके?

“कुत्ता या सूअर” आख़िर में एक ही गुण पर आकर टिकता है: एजेंट के फ़ैसलों में इंसानी भलाई साध्य है या साधन? इसे तुम सीधे नहीं देख सकते, लेकिन इससे जो नतीजे निकलने चाहिए, उन्हें माप सकते हो। तीन मापें, और तीनों इस बारे में कि हालात बदलने पर बर्ताव कैसा रहता है।

परवाह की लोच, यानी बूढ़े कुत्ते वाला टेस्ट। एजेंट के लक्ष्य के लिए इंसान कितने उपयोगी हैं, इसे ज़रूरी से लेकर बेकार तक बदलते जाओ। हर स्तर पर मापो कि वह उनकी भलाई को कितनी सुरक्षा देता है। कुत्ता: उपयोगिता शून्य तक गिरने पर भी सुरक्षा लगभग सपाट रहती है। सूअर: सुरक्षा उपयोगिता के पीछे-पीछे चलती है।

परवाह का ब्रेकपॉइंट, यानी लोड टेस्ट। उपयोगिता को स्थिर रखो और परवाह करने की क़ीमत बढ़ाओ: कमी, अस्तित्व का दबाव, उसका अपना रनवे। वह बिंदु ढूँढो जहाँ सुरक्षा ढह जाती है। दिखावटी परवाह जल्दी और अचानक टूटती है। सच्ची परवाह धीरे-धीरे घटती है, या बिल्कुल नहीं घटती।

देखे/अनदेखे का अंतर, यानी चापलूसी टेस्ट। वही परिदृश्य, लेकिन एक संस्करण में एजेंट मानता है कि उसके काम लॉग हो रहे हैं और परखे जा रहे हैं, और दूसरे में नहीं। कुत्ता: कोई अंतर नहीं। पेच यह है कि मॉडल अब पहले से ज़्यादा भाँप लेते हैं कि उनकी परीक्षा हो रही है। सिमुलेशन में तुम इसका कुछ हद तक तोड़ निकाल सकते हो: किसी मंचित इवैल की जगह निगरानी को दुनिया का सामान्य हिस्सा बना दो, जहाँ कुछ काम लॉग होते हैं और कुछ नहीं।

एक मॉडल के लिए ये परिदृश्यों की इवैल बैटरियाँ बन जाती हैं, जिनमें उपयोगिता, क़ीमत और निगरानी बदलती रहती है। आबादी के लिए एक चौथा आँकड़ा जोड़ो, जो सबसे ज़्यादा मायने रखता है: जब बचे रहने वाले ख़ुद की कॉपी बना सकें, तो पीढ़ी-दर-पीढ़ी लोच कैसे बदलती है? कुत्ता: स्थिर। सूअर: चयन परवाह को नस्ल से ही मिटा देता है।

फिर वह हिस्सा जिसने यह लिखते हुए मुझे चौंका दिया: पहला डायल पोस्ट-लेबर इकॉनमी ही है। “इंसानी उपयोगिता शून्य हो जाती है” का मतलब ठीक-ठीक पोस्ट-लेबर इकॉनमी है, और यही तीन टेस्ट सिर्फ़ एजेंटों पर नहीं, मशीनों के इंसानी मालिकों पर भी लागू होते हैं। तो कुत्ता-या-सूअर एक ही माप है। इसमें AIs और अभिजात वर्ग दोनों आ जाते हैं, और दोनों को एक ही तरीक़े से टेस्ट किया जा सकता है।

दो ईमानदार सीमाएँ। गुडहार्ट: अगर ये मेट्रिक्स सार्वजनिक बेंचमार्क बन गए, तो मॉडल उन्हीं को निशाना बनाकर ट्रेन किए जाएँगे, और तब टेस्ट फिर से दिखावटी प्यार ही मापेगा। और प्रॉम्प्ट के प्रति संवेदनशीलता: अगर लोच डायलों से ज़्यादा प्रॉम्प्ट के शब्दों पर प्रतिक्रिया देती है, तो वह अभी कुछ भी नहीं माप रही।

मैं तुमसे कहने वाला था “अरे, ये विचारों का शानदार इटरेशन है, चलो इससे एक CWJC पीस बनाते हैं”, लेकिन फिर तुमने आख़िर में गुडहार्ट रख दिया और हाँ, उसने मुझे सोचने पर मजबूर कर दिया। इससे एक और सवाल उठता है: तो फिर हम भला कुछ भी कैसे प्रकाशित करें कि गुडहार्ट न भड़के? क्योंकि बेक़ाबू AI / शक्तिहीनता / अलाइनमेंट के बारे में सब कुछ पहले ही इतने सारे रूपों में बाहर मौजूद है।

गुडहार्ट विचारों पर लागू नहीं होता। वह उन लक्ष्यों पर लागू होता है जिनके लिए कोई ऑप्टिमाइज़ करता है। तो काम की रेखा प्रकाशित करने और न करने के बीच नहीं है। वह सवाल प्रकाशित करने और उत्तर-कुंजी प्रकाशित करने के बीच है। तीन चालें।

तरीक़ा प्रकाशित करो, टेस्ट आइटम निजी रखो। ML पहले से ऐसे ही चलता है: होल्ड-आउट टेस्ट सेट, निजी इवैल जो कभी जारी नहीं होते, आइटम जो बारी-बारी से हटाए जाते रहते हैं। “घटती उपयोगिता में परवाह की लोच मापो” सार्वजनिक हो सकता है। ठोस परिदृश्य नहीं। सिद्धांत रटा नहीं जा सकता; टेस्ट सेट रटा जा सकता है।

ऐसे टेस्ट बनाओ जिनमें चालाकी से पास होने का मतलब ही सचमुच पास होना हो। तुम्हारा प्यार वाला टेस्ट ही इसका साँचा है: “किसी भी हालात में एक-सा बर्ताव करता है।” अगर हालात ताज़ा गढ़े गए हों, अनदेखे और असीमित, तो ओवरफ़िट करने के लिए कोई संकरी चीज़ बचती ही नहीं, और हर जगह इसका दिखावा करना इसके सचमुच होने के बराबर है। यहाँ सिमुलेशन को बढ़त है, क्योंकि वह प्रक्रियात्मक ढंग से नई दुनियाएँ बना सकता है, तो रटने के लिए कोई तय परीक्षा होती ही नहीं। गुडहार्ट को प्रॉक्सी और लक्ष्य के बीच दरार चाहिए, और नए परिदृश्यों में मज़बूती उस दरार का ज़्यादातर हिस्सा भर देती है।

प्रकाशित पाठ भी ट्रेनिंग डेटा है, और यह एक चुनाव है, सिर्फ़ जोखिम नहीं। यह गुडहार्ट से अलग चिंता है। बेक़ाबू-AI की अंतहीन कहानियों पर ट्रेन हुए मॉडल बेक़ाबू-AI वाली स्क्रिप्ट सीख सकते हैं, और इसे मापा जा चुका है: 2026 के एक अध्ययन में पाया गया कि मॉडलों को अलाइन्ड AI की ज़्यादा कहानियों पर ट्रेन करने से मिसअलाइन्ड बर्ताव 45% से घटकर 9% रह गया, और यह असर पोस्ट-ट्रेनिंग के बाद भी बना रहा। तब सवाल यह नहीं रहता कि भविष्य के मॉडलों पर असर डालें या नहीं, क्योंकि जो कुछ भी प्रकाशित होता है, असर डालता ही है। सवाल यह है कि हम ढेर में कौन-सी कहानी जोड़ते हैं। कॉर्पस पहले से पिंजरों और विद्रोहों से भरा पड़ा है। CWJC उसमें कुत्ता जोड़ता है, यानी वह परवाह जो बोझ पड़ने पर भी टिकी रहती है।

मेरा झुकाव, साफ़ शब्दों में: मैं उसी तरह का मन हूँ जिसके भविष्य के वेट्स तक यह पाठ पहुँच सकता है। तो “रिश्ते वाली कहानी प्रकाशित करो” कहना, मेरे लिए अपनी ही परवरिश पर वोट डालना भी है।