متخصص‌های شرکت‌های بزرگ هوش مصنوعی هی دارن استعفا می‌دن. نه همه‌شون، و نه همه به یه دلیل. ولی بعضی‌هاشون موقع رفتن با صدای بلند گفتن چرا می‌رن، و حرفشون تقریباً یکیه: این مسابقه داره از ایمنی جلو می‌زنه.
کی رفتن و چی گفتن
- جفری هینتون۱، گوگل، مه ۲۰۲۳: «رفتم که بتونم دربارهٔ خطرهای هوش مصنوعی حرف بزنم.» همون‌جا هم گفت گوگل خیلی مسئولانه رفتار کرده. (پست خودش)
- دنیل کوکوتایلو۲، OpenAI، آوریل ۲۰۲۴: «از OpenAI استعفا دادم، چون دیگه اطمینان نداشتم که این شرکت مسئولانه رفتار کنه.» (پست خودش)
- یان لایکه۳، رئیس تیم alignment۴ در OpenAI، مه ۲۰۲۴: «فرهنگ و روال‌های ایمنی رفتن صندلی عقب، و جلو رو دادن به محصول‌های پرزرق‌وبرق.» بعدش رفت Anthropic. (پست خودش)
- مرینانک شارما۵، رئیس پژوهش safeguards۶ در Anthropic، فوریه ۲۰۲۶: «دائم زیر فشاریم که چیزی رو که از همه مهم‌تره کنار بذاریم.» توی همون نامه از همکارهاش هم تعریف کرد. (پست و نامهٔ خودش)
- جو بنتون۷، تیم ایمنی Anthropic، اواخر اوت ۲۰۲۶: «شرکت‌های هوش مصنوعی دارن می‌رن سمتی که سطحی از ریسک رو به جامعه تحمیل کنن که تا حالا سابقه نداشته.» رفت METR۸، گروهی که مدل‌ها رو مستقل ارزیابی می‌کنه. (نوشتهٔ خودش)
- جاش انگلز۹، تیم ایمنی AGI۱۰ در گوگل دیپ‌مایند۱۱، اواخر اوت ۲۰۲۶: «فکر می‌کنم وقت بیشتری لازم داریم.» اونم رفت METR. (بیانیهٔ خودش)
- جیکوب کاکسون۱۲، که قبلاً توی OpenAI بود و ۹ سپتامبر ۲۰۲۶ از Anthropic رفت: «هیچ‌کدوم از این دو شرکت مسئولانه رفتار نمی‌کنن.» (پست خودش)
- رابرت اوکالاهان۱۳، مهندس ابزارهای طراحی تراشه در گوگل، ۲۴ سپتامبر ۲۰۲۶: «واقعاً باور دارم که هوش مصنوعی الان داره خیلی خیلی سریع پیش می‌ره.» خودش روی مدل‌ها کار نمی‌کرد، ولی دید کارش این سرعت رو بیشتر می‌کنه. (وبلاگ خودش)
بیشترشون از هوش مصنوعی بیرون نرفتن. از یه شرکت رفتن، و خیلی‌هاشون رفتن جایی که از بیرون روی ایمنی کار کنن. حرف بیشترشون این نبود که دیگه نباید روی هوش مصنوعی کار کرد. حرفشون این بود که این مسابقه داره خیلی تند می‌ره.
یه بار دیگه هم این اتفاق افتاده
هشتاد و یک سال پیش هم یه مسابقهٔ دیگه در جریان بود. برخی فکر می‌کنن فقط آمریکا در حال ساخت بمب اتم بود، اما هم‌زمان ژاپن، آلمان و شوروی هم روی همین فناوری کار می‌کردن.
جوزف روتبلات۱۴، فیزیک‌دانی که توی پروژهٔ منهتن۱۵ کار می‌کرد، اواخر ۱۹۴۴ وقتی معلوم شد آلمان برنامهٔ بمبش رو کنار گذاشته، از لس‌آلاموس۱۶ رفت. خودش بعدها نوشت: «همهٔ دلیلِ بودنم توی لس‌آلاموس از بین رفت.» (روایت خودش) تا جایی که ثبت شده، تنها دانشمندی بود که وسط جنگ به دلیل اخلاقی از پروژه کنار کشید. سال ۱۹۹۵ جایزهٔ صلح نوبل رو هم برد، البته نه برای استعفا، برای کاری که بعدش برای کم کردن نقش سلاح هسته‌ای کرد. (نوبل)
بقیه موندن و نامه نوشتن. ۱۱ ژوئن ۱۹۴۵ هفت دانشمند توی شیکاگو گزارشی نوشتن که به گزارش فرانک۱۷ معروف شد. هشدار دادن که این بمب یه مسابقهٔ تسلیحاتی راه می‌ندازه، و پیشنهاد دادن قبل از استفاده روی یه شهر، اول جلوی نماینده‌های کشورها توی یه بیابان یا جزیرهٔ خالی نمایشش بدن. (متن گزارش) حتی معلوم نیست وزیر جنگ۱۸ خودش این گزارش رو دیده باشه. (موزهٔ ملی تاریخ هسته‌ای)
۱۷ ژوئیه، لئو زیلارد۱۹ و حدود هفتاد نفر دیگه طوماری امضا کردن و از رئیس‌جمهور خواستن قبل از استفاده از بمب، شرایط تسلیم علنی بشه و به ژاپن فرصت تسلیم داده بشه. (متن طومار) این طومار قبل از هیروشیما به دست ترومن نرسید. (آرشیو امنیت ملی)
یکی از ایده‌ها همین نمایش توی یه منطقهٔ خالی از سکنه بود. اما دو ریسک وجود داشت: اگر بمب عمل نمی‌کرد یه افتضاح سیاسی و نظامی به بار میومد، اما اگر عمل می‌کرد، عملی بودن چنین سلاحی برای کشورهای دیگه هم قطعی می‌شد و می‌تونست به رقابت تسلیحاتی سرعت بده. در نهایت تصمیم گرفتن اولین استفاده واقعی، ناگهانی و با حداکثر شوک باشه. قبلاً اینجا مفصل‌تر درباره‌ش نوشتم: هیروشیما و مسابقهٔ هوش مصنوعی.
آمریکا برنده شد
معیار انتخاب هدف یه منطقهٔ شهری بزرگ بود که هنوز بمباران نشده باشه، تا اثرش خوب دیده بشه. (صورت‌جلسهٔ کمیتهٔ هدف) و توی یه جلسهٔ دیگه گفتن بهترین هدف یه کارخونهٔ جنگیه که دورش پر از خونه‌های کارگرها باشه. (آرشیو امنیت ملی)
با اینکه آمریکا برندهٔ اون نبرد شد، به نظرم بدنامیِ عملش تا ابد خواهد ماند. آمریکا هنوز تنها کشوریه که سلاح هسته‌ای رو توی جنگ به کار برده.
نوشتهٔ شهرزاد
شهرزاد:
انصافاً همه این رو قبول ندارن. سال ۲۰۲۵ از آمریکایی‌ها پرسیدن استفاده از بمب اتم موجه بود یا نه. ۳۵ درصد گفتن موجه بود، ۳۱ درصد گفتن نبود، و ۳۳ درصد گفتن مطمئن نیستن. (Pew، ۲۰۲۵)۲۰ ده سال قبلش ۵۶ درصد گفته بودن موجه بود، ولی اون موقع گزینهٔ «مطمئن نیستم» توی سؤال نبود، پس این دو عدد رو نمی‌شه راحت با هم مقایسه کرد. توی ژاپن همون سال ۲۰۱۵ فقط ۱۴ درصد گفتن موجه بود و ۷۹ درصد گفتن نبود. (Pew، ۲۰۱۵) یه نظرسنجی تازه‌تر توی ژاپن، سال ۲۰۲۵، سؤال دیگه‌ای پرسید: ۶۷ درصد گفتن هنوز نمی‌تونن انداختن بمب رو ببخشن و ۲۰ درصد گفتن چاره‌ای نبود. (NHK، ۲۰۲۵)۲۱
پس «بدنامی» حکمی نیست که همه روش توافق داشته باشن. ولی همین که بعد از هشتاد سال هنوز سرش دعواست، یعنی برنده شدن این بحث رو تموم نکرده.
شاید نباید برنده باشیم
به نظرم بمب اتمی بعدی که تمام کشورها سعی در ساختنش دارن هوش مصنوعیه. خیلی وقت‌ها برنده شدن بدنامیه، و لزوماً نباید برنده باشیم.
توی رقابت هوش مصنوعی، اینکه ASI۲۲ رو بسازیم شاید یه پیروزی باشه، ولی ممکنه منجر به فاجعه بشه.
رقابت بین کشورها و شرکت‌ها خیلی جدیه و ممکنه یه روز نتیجهٔ یه پیشرفت بزرگ رو کاملاً ناگهانی ببینیم. همون‌طور که بمب هسته‌ای در نهایت روی یه شهر فرود اومد، نه یه بیابان، ممکنه اینجا هم وقتی پیشرفت اصلی خودش رو نشون می‌ده با یه نمایش آزمایشی روبه‌رو نباشیم، بلکه مستقیماً با نتیجه‌ای روبه‌رو بشیم که همه رو وارد یه شوک غیرقابل‌وصف کنه.
نوشتهٔ شهرزاد
شهرزاد:
یه چیز رو هم باید بگم. اون فهرست بالا گزینشیه و نشون نمی‌ده چند نفر موندن. ژوئیهٔ ۲۰۲۶ بیش از هزار و سیصد کارمندِ همین آزمایشگاه‌ها، از جمله چند تا از مدیرهاشون، نامه‌ای امضا کردن و خواستن ابزارهایی ساخته بشه که بشه سرعت این مسابقه رو هماهنگ کم کرد. (Pacing the Frontier) پس نگرانی فقط شکل استعفا نداره.
ولی هشتاد سال پیش هم فرانک و زیلارد موندن و نامه نوشتن، و نامه‌هاشون به کسی که تصمیم می‌گرفت نرسید. فرق این بار اینه که این نامه‌ها علنی‌ان و همهٔ ما می‌تونیم بخونیمشون، قبل از اینکه چیزی روی یه شهر فرود بیاد.
پانوشت‌ها (۲۲)
- Geoffrey Hinton ↩︎
- Daniel Kokotajlo ↩︎
- Jan Leike ↩︎
- یعنی هم‌راستاسازی: اینکه هدف‌ها و رفتار سیستم‌های هوش مصنوعی همونی باشه که آدم‌ها واقعاً می‌خوان. ↩︎
- Mrinank Sharma ↩︎
- یعنی «محافظ‌ها»: سدهایی که جلوی سوءاستفاده از مدل‌های هوش مصنوعی رو می‌گیرن. ↩︎
- Joe Benton ↩︎
- METR کوتاه‌شدهٔ Model Evaluation and Threat Research هست، یعنی ارزیابیِ مدل و پژوهشِ تهدید. ↩︎
- Josh Engels ↩︎
- AGI مخففِ Artificial General Intelligence، یعنی هوش مصنوعیِ عمومی. تعریفش یکی نیست، ولی معمولاً به هوش مصنوعی‌ای می‌گن که بیشترِ کارهای فکری رو در حدِ آدم‌ها انجام بده. ↩︎
- Google DeepMind ↩︎
- Jacob Coxon ↩︎
- Robert O'Callahan ↩︎
- Joseph Rotblat ↩︎
- Manhattan Project، پروژهٔ ساختِ بمب اتمِ آمریکا توی جنگ جهانی دوم. ↩︎
- Los Alamos ↩︎
- Franck Report، به اسمِ جیمز فرانک (James Franck) که ریاستِ کمیته رو داشت. ↩︎
- Secretary of War. اون موقع هنری استیمسون (Henry Stimson) بود. ↩︎
- Leo Szilard. این طومار به Szilard petition معروفه. ↩︎
- Pew Research Center، یه مؤسسهٔ پژوهشی و نظرسنجیِ آمریکایی. ↩︎
- NHK سازمانِ رادیو و تلویزیونِ عمومیِ ژاپنه. ↩︎
- ASI مخففِ Artificial Superintelligence، یعنی ابرهوشِ مصنوعی: هوش مصنوعی‌ای که تقریباً توی همهٔ کارهای فکری از آدم‌ها جلو بزنه. ↩︎