Frene İlk Kim Basacak? Yapay Zekâ Yarışı, Mahkûmlar Çıkmazı ve İnsanlığın Büyük Sınavı

 

İnsanlık, ürettiği makinelerden hiçbir zaman bugünkü kadar umutlanmamıştı.

Belki hiçbir zaman onlardan bugünkü kadar korkmamıştı da.

Tekerlek ayağımızın sınırlarını genişletti. Teleskop gözümüzü gökyüzüne taşıdı. Bilgisayar hesaplama gücümüzü büyüttü. Yazı belleğimizi, matbaa bilgiyi çoğaltma kapasitemizi, hesap makinesi aritmetik yükümüzü kafatasımızın dışına çıkardı.

Bu nedenle yapay zekânın zihnimizi genişletmesi tek başına yeni bir durum değil.

Asıl yenilik başka yerde.

Tarihte ilk kez bir araç yalnızca bizim için hesaplama yapmakla kalmıyor; giderek daha fazla ölçüde yargının kendisine ortak oluyor.

Ne yazacağımız konusunda öneride bulunuyor. Hangi kodun hatalı olduğunu söylüyor. Hangi verinin önemli olabileceğini seçiyor. Hangi yöntemin daha iyi sonuç vereceğini tahmin ediyor. Bilimsel araştırmalara katılıyor, deney tasarımına yardımcı oluyor, yazılım geliştiriyor ve yeni yapay zekâ sistemlerinin ortaya çıkış sürecinde giderek daha fazla rol üstleniyor.

Bütün bunlar insanlık için olağanüstü fırsatlar barındırıyor.

Fakat aynı laboratuvarların koridorlarında başka bir soru da giderek daha yüksek sesle soruluyor:

Bu yarış nereye kadar sürmeli?

Daha da önemlisi:

Bir noktada yavaşlamak gerekirse frene ilk kim basacak?

Yapay zekâ çağının en büyük problemlerinden biri tam burada başlıyor.

Çünkü bazen tehlikeyi görmek, ondan kaçınmaya yetmez.

Sisin İçindeki Yarış

İki yarış otomobili düşünün.

Yan yana ilerliyorlar.

Her ikisinin de motoru güçlü.

Direksiyonlarında son derece yetenekli sürücüler var.

Arkalarında dünyanın en iyi mühendislerinden oluşan ekipler çalışıyor.

Başlangıçta pist düz.

Daha hızlı olan kazanacak.

Takımlardan biri motor gücünü artırıyor.

Diğeri karşılık veriyor.

Biri aracını hafifletiyor.

Diğeri daha iyi bir yazılım geliştiriyor.

Her geliştirme karşı tarafı yeni bir geliştirmeye zorluyor.

Hız yükseliyor.

Rekabet büyüyor.

Pistin ilerisi sise gömülü.

Sisin içinde keskin bir viraj olduğunu söyleyenler var; düz yol olduğunu söyleyenler de.

Kimse emin değil.

Ama bir şeyden herkes emin:

Yarışı kaybeden takım dağılır.

Temkinli olan bellidir:

Yavaşlamak.

Fakat ilk sürücünün aklından şu düşünce geçiyor:

“Ben yavaşlarsam ama o yavaşlamazsa beni geçer.”

Birkaç saniye sonra başka bir ihtimal beliriyor:

“Ya o yavaşlarsa? Ben hızımı korursam yarışı kazanırım.”

Sonra üçüncü düşünce geliyor:

“Peki sisin içindeki viraj?”

Cevap kısa:

“O bir ihtimal. Kaybetmek ise kesin.”

Karşıdaki sürücü de aynı hesabı yapıyor.

İkisi de sisin ardında ne olduğunu bilmiyor.

İkisi de hızın tehlikeli olabileceğini düşünüyor.

Fakat hiçbiri ayağını gazdan çekmiyor.

Sorun artık yalnızca viraj ihtimali değildir.

Sorun şudur:

Frene ilk basanın kaybedeceğine inanılmasıdır.

Kesin bir kayıp, muhtemel bir felaketten daha ağır basıyor.

Kapıyı Çarpanlar Nereye Gitti?

Son yıllarda gelişmiş yapay zekâ laboratuvarlarında çalışan bazı araştırmacılar kurumlarından ayrıldı. Bazıları güvenlik kaygılarını daha rahat dile getirmek istedi. Bazıları teknolojik yeteneklerin güvenlik çalışmalarından daha hızlı ilerlediğini düşündüğünü açıkladı. Bazı güvenlik ekipleri dağıtıldı, küçültüldü veya yeniden yapılandırıldı.

Elbette her ayrılığın nedeni aynı değildi. Her araştırmacı aynı tehlikeyi görmüyor. Her şirket aynı politikayı izlemiyor.

Bütün bu hikâyelerin içinde yine de üzerinde düşünmeye değer ortak bir nokta var:

Laboratuvarın kapısını çarpıp çıkanların önemli bir bölümü yarıştan tamamen çıkmadı.

Başka bir laboratuvara geçti.

Yeni bir araştırma şirketi kurdu.

Başka bir ekipte aynı problemler üzerinde çalışmayı sürdürdü.

İlk bakışta burada bir çelişki varmış gibi görünebilir.

“Bu yarış bu kadar tehlikeliyse neden tamamen bırakmıyorlar?” diye sorabiliriz.

Fakat mesele bireysel tutarsızlıktan daha derin olabilir.

Belki yarış öyle kurulmuştur ki vicdan bile yarıştan çıkamaz.

Yalnızca yarışın içinde daha dikkatli bir koşucu olmaya çalışır.

Bir araştırmacı “Ben çalışmazsam daha dikkatsiz biri çalışacak.” diye düşünebilir. Bir şirket “Biz yavaşlarsak rakibimiz öne geçecek.” hesabını yapabilir. Bir devlet ise “Biz kendimizi sınırlandırırsak başka ülkeler aynı şeyi yapmayacak.” sonucuna varabilir.

Her cümle kendi içinde mantıklı görünüyor.

Sorun da zaten burada.

Bazen felaketler mantıksız insanların kararlarından doğmaz.

Herkes kendi açısından mantıklı davranabilir; herkesin mantıklı davranması ise birlikte kötü bir sonuca yol açabilir.

Oyun teorisi bu paradoksa yıllar önce bir isim verdi:

Mahkûmlar Çıkmazı.

Mahkûmlar Çıkmazı: Korku ve Ayartma

İki suç ortağının yakalandığını düşünün. Polis onları ayrı odalara koyuyor ve birbirleriyle iletişim kurmalarına izin vermiyor. Her birine iki seçenek sunuluyor: Susmak veya diğerini ele vermek.

İkisi de susarsa hafif ceza alacaklar. Biri konuşur, diğeri susarsa konuşan kurtulacak; susan ağır ceza alacak. İkisi de konuşursa ikisi de orta düzeyde ceza alacak.

Şimdi mahkûmlardan birinin yerine geçelim.

Karşıdaki kişinin ne yapacağını bilmiyoruz.

Eğer o susarsa konuşmak daha avantajlı.

Eğer o konuşursa yine konuşmak daha avantajlı.

Dolayısıyla konuşmak bireysel açıdan mantıklı görünüyor.

Diğer mahkûm da aynı hesabı yapıyor.

Sonuçta ikisi de konuşuyor.

İkisi de kaybediyor.

Oysa ikisi de susabilseydi her ikisi için de daha iyi bir sonuç ortaya çıkacaktı.

Mahkûmlar Çıkmazı'nın asıl çarpıcı tarafı budur: Kimsenin kötü olması gerekmez. Kimsenin aptal olması da gerekmez. Herkes rasyonel olabilir. Buna rağmen herkesin rasyonel davranışı, kolektif olarak irrasyonel bir sonuç üretebilir.

Şimdi sorgu odalarının yerine yapay zekâ laboratuvarlarını koyalım.

Susmak, güvenlik amacıyla yavaşlamak olsun.

Konuşmak ise tam hızla devam etmek.

Bir laboratuvar yöneticisi “Biz altı ay güvenlik testleri yaparken rakibimiz çok daha gelişmiş bir model çıkarırsa ne olacak?” diye düşünebilir.

Bu korkudur.

Ardından ikinci düşünce gelir:

“Rakibimiz yavaşlarsa biz devam edip öne geçebiliriz.”

Bu ise ayartmadır.

Karşı taraf da aynı hesabı yaptığında iki tarafın ortak sonucu bellidir:

İkisi de hızlanır.

Şirketlerin yerine devletleri koyduğumuzda oyunun özü değişmez. Yalnızca bahis büyür. Artık masada yalnızca pazar payı yoktur; ekonomik üstünlük, bilimsel prestij, istihbarat kapasitesi, askerî avantaj, ulusal güvenlik ve stratejik bağımsızlık vardır.

Bütün bunların arkasında ise insanlık kadar eski bir korku durur:

Geride kalmak.

Belki yapay zekâ yarışını hızlandıran en güçlü motorlardan biri silikon, veri veya elektrik değildir.

Belki o motor insan zihninin içindedir.

Adı da şudur:

“Ya onlar bizden önce yaparsa?”

Her Rekabet Çıkmaz Değildir: Geyik Avı

Burada önemli bir ayrım yapmak gerekiyor. Her rekabet Mahkûmlar Çıkmazı değildir. Oyun teorisinde buna benzeyen başka bir model daha vardır: Geyik Avı.

İki avcı düşünün. Birlikte hareket ederlerse büyük bir geyik avlayabilirler ve bu geyik ikisini de uzun süre doyurabilir. Tek başlarına ise yalnızca küçük bir tavşan yakalayabilirler. Eğer karşımdaki avcının geyik için bekleyeceğinden eminsem benim için de en iyi seçenek onunla birlikte beklemektir.

Burada karşı tarafın işbirliğini kullanarak büyük bir avantaj elde etme ihtimali yoktur. Asıl soru “Ya ben beklerken o giderse?” sorusudur. Bu nedenle Geyik Avı esas olarak güven problemidir.

Mahkûmlar Çıkmazı daha zordur. Orada karşı taraf işbirliği yapsa bile anlaşmayı bozmak bana avantaj sağlayabilir. Bu ayrım yapay zekâ tartışmalarında hayati önemdedir.

Bazı aktörler gerçekten yavaşlamak isteyebilir fakat rakibinin yavaşlayacağına güvenmiyordur. Bu durumda güvenilir anlaşmalar, şeffaflık ve karşılıklı doğrulama işe yarayabilir.

Bazı aktörler açısından ise rakibin yavaşlaması doğrudan fırsattır. Rakip fren yaparsa kendisi gaza basabilir. İşte orada Mahkûmlar Çıkmazı başlar.

Mahkûmlar Çıkmazı ise yalnızca “Birbirimize güvenelim.” diyerek çözülemez. Çünkü bazı oyunlarda güven sorunu çözse bile teşvik sorunu devam eder. Karşı tarafın sözünü tutacağını bilseniz dahi sözünüzü bozmak hâlâ kazançlıysa sistem kırılgandır.

Çözüm insanların daha erdemli olmasını beklemek değildir.

Kuralları değiştirmektir.

“Biz Yapmazsak Başkası Yapar”

Tam bu noktada yapay zekâ yarışının en güçlü cümlelerinden biri karşımıza çıkıyor:

“Biz yapmazsak başkası yapar.”

Bu cümleyi hafife almak kolaydır. Oysa argümanın güçlü bir tarafı vardır. Güvenliği önemseyen bütün araştırmacılar yarıştan çekilirse onların yerini daha az dikkatli aktörler alabilir. En gelişmiş sistemler üzerinde güvenlik araştırması yapabilmek için teknolojinin sınırında bulunmak gerekebilir. Sektörün nasıl düzenleneceği konusunda gerçek bilgiyle konuşabilmek için teknolojinin nasıl geliştirildiğini bilmek gerekir.

Bu nedenle yarışta kalmak bazı insanlar açısından gerçekten de bir güvenlik stratejisi olabilir.

Problem, argümanın sınırında başlıyor.

Yarışta kalmak ile yarışı hızlandırmak aynı şey değildir. Teknolojinin sınırında bulunmak başka şeydir; sınırı mümkün olan her fırsatta ileri itmek başka şey. Pratikte bu ikisi arasındaki çizgi kolayca silinebilir.

İkinci problem daha insani. Herkes kendisini sorumlu aktör olarak görür. Her şirket “Biz rakibimizden daha dikkatliyiz.” diyebilir. Her devlet “Bu teknoloji bizim elimizde daha güvenli.” diye düşünebilir. Her araştırmacı “Ben yaparsam en azından doğru şekilde yaparım.” sonucuna varabilir.

Belki hepsi bunu samimiyetle söylüyordur.

Fakat herkes aynı cümleyi söylediğinde ortaya tuhaf bir soru çıkar:

Gerçekten en dikkatli olan kim?

Cevabı tarafların kendisine bırakırsak herkes kendi yarış arabasının en güvenli olduğuna inanacaktır.

Üçüncü problem ise daha tehlikelidir. “Biz yapmazsak başkası yapar” cümlesi neredeyse her şeyi meşrulaştırabilecek bir gerekçeye dönüşebilir. Bir şirket “Biz geliştirmezsek rakibimiz geliştirir.”, bir ülke “Biz yapmazsak başka ülke yapar.”, bir araştırmacı “Ben çalışmazsam başkası çalışır.” diyebilir.

Böylece herkes kendi kararını henüz gerçekleşmemiş başka bir aktörün muhtemel davranışıyla açıklar. Sorumluluk kaybolmaz; yalnızca sürekli başka birinin omzuna taşınır. Sonunda kimse kendisini yarışın gerçek faili olarak görmez.

Fakat yarış devam eder.

Hatta hızlanır.

Bu nedenle “biz daha dikkatliyiz” cümlesinin gerçek değerini belirleyen şey niyet değildir.

Doğrulanabilirliktir.

Dikkatli olduğunuzu söylemek kolaydır.

Dikkatli olduğunuzu başkalarının sınayabileceği bir sistem kurmak çok daha zordur.

Hızlanmanın Kendisi Hızlanırsa

Bugünkü yapay zekâ sistemlerinin bilimkurgu filmlerindeki gibi kendi başlarına laboratuvar kurup sürekli kendilerini geliştiren bağımsız varlıklar olmadığını özellikle belirtmek gerekir.

Fakat daha sessiz bir dönüşüm yaşanıyor.

Yapay zekâ giderek daha fazla kod yazıyor, yazdığı kodu inceliyor, hataları buluyor, deney tasarlamaya yardımcı oluyor, bilimsel literatürü tarıyor, araştırma süreçlerini hızlandırıyor ve yeni yapay zekâ modellerinin geliştirilmesinde insanlara destek oluyor.

Burada önemli bir eşik ihtimali ortaya çıkıyor.

Eğer yapay zekâ bir gün yapay zekâ araştırmasını ciddi biçimde hızlandırırsa yarışın doğası değişebilir.

Çünkü o noktada yalnızca hız artmayacaktır.

Hızlanmanın kendisi de hızlanabilir.

Bugün geliştirilen sistem yarının sisteminin ortaya çıkmasını hızlandırabilir. Yarının sistemi bir sonrakini daha hızlı geliştirebilir.

Bu ihtimal kesinleşmiş bir gelecek değildir.

Bir olasılıktır.

Bir araştırma sorusudur.

Bir risk senaryosudur.

Fakat yarış mantığı açısından önemli bir sonuç doğurur. Öne geçmenin ileride daha büyük avantajlar sağlayacağı düşüncesi güçlendikçe geride kalma korkusu da büyür. Frene basmanın maliyeti yükselir.

Ortaya rahatsız edici bir paradoks çıkar:

Freni en fazla gerektirebilecek gelecek, frene basmayı en pahalı hâle getirebilir.

Fren Motorun Düşmanı Değildir

İnsanlık teknoloji tarihini çoğu zaman motorların tarihiymiş gibi anlatıyor.

Daha hızlı trenler.

Daha güçlü motorlar.

Daha büyük uçaklar.

Daha yüksek binalar.

Daha hızlı bilgisayarlar.

Oysa medeniyet yalnızca motor yaparak ilerlemedi.

Fren yaparak da ilerledi.

Asansörlerin yükselmesini mümkün kılan yalnızca güçlü motorlar değildi. İnsanların onlarca kat yükseğe çıkmaya cesaret edebilmesini sağlayan güvenlik mekanizmaları da teknolojinin parçasıydı.

Trenlerin hızlanmasını sağlayan yalnızca lokomotif gücü değildi. Vagonların gerektiğinde birlikte ve güvenilir şekilde durabilmesi de demiryolunu dönüştürdü.

Uçakları yalnızca jet motorları güvenli hâle getirmedi. Yedek sistemler, bakım prosedürleri, kontrol listeleri, pilot eğitimleri ve kazalardan çıkarılan dersler de havacılığın kendisidir.

Nükleer enerji yalnızca reaktörden ibaret değildir. Kontrol sistemleri, güvenlik katmanları ve acil durum prosedürleri de teknolojinin ayrılmaz parçalarıdır.

Yapay zekâda ise bazen garip bir zihinsel ayrım yapıyoruz. Daha güçlü bir model ortaya çıktığında buna “ilerleme” diyoruz. Güvenlik için getirilen sınırlamalar söz konusu olduğunda ise bunları ilerlemenin önünde duran engeller gibi görüyoruz.

Belki de en büyük kavramsal hatalarımızdan biri burada yatıyor.

Fren, motorun düşmanı değildir.

Fren güçlü bir motorun kullanılabilmesinin şartıdır.

Motorunu sürekli güçlendirdiğiniz bir otomobilin frenlerini geliştirmiyorsanız teknolojiyi ilerletmiyorsunuzdur.

Yalnızca hızlandırıyorsunuzdur.

Hız ile ilerleme aynı şey değildir.

Bu ayrımı yapay zekâ çağında yeniden öğrenmemiz gerekebilir.

Belki çağımızın en önemli inovasyonu daha güçlü bir zekâ üretmek olmayacaktır.

Belki asıl büyük inovasyon, daha güçlü zekâyı güvenli biçimde yönetebilmek olacaktır.

Çıkmazdan Çıkış: Gelecek, Doğrulama, Kurallar

Peki bu çıkmazdan nasıl çıkacağız?

İlk cevap çoğu zaman romantiktir: “Birbirimize güvenmeliyiz.” Keşke mesele bu kadar basit olsaydı. Güven önemlidir fakat güven tek başına sistem değildir. Üç şey daha gerekir: gelecek, doğrulama ve kural.

İlk olarak gelecek. Yapay zekâ yarışındaki aktörler birbirleriyle yalnızca bir kez karşılaşmayacak. Bugünkü şirketler yarın yeniden karşı karşıya gelecek; bugünün devletleri sonraki teknoloji dalgasında yine aynı masaya oturacak. Bugün verilen sözler yarın hatırlanacak.

Tekrarlanan oyunlarda itibar önemlidir. Bugün kazanılan küçük bir avantaj, yarın büyük bir işbirliği kaybına dönüşebilir. Başka bir ifadeyle geleceğin gölgesi bugünkü davranışı değiştirebilir.

İkinci unsur doğrulamadır. Bir şirketin “Merak etmeyin, güvenliği önemsiyoruz.” demesi yeterli değildir. Bir devletin “Bu sistemi sorumlu biçimde kullanacağız.” demesi de yeterli değildir. Önemli olan bu iddiaların ne kadarının dışarıdan sınanabildiğidir.

Bağımsız güvenlik testleri yapılabilir. Modeller üçüncü taraflarca değerlendirilebilir. Belirli yetenek eşiklerinde uygulanacak güvenlik prosedürleri önceden açıklanabilir. Büyük hesaplama altyapıları belirli düzeylerde izlenebilir. Risk değerlendirmeleri standartlaştırılabilir.

Nükleer silah kontrolü tarafların birbirini sevmesiyle işlemedi; uydu gözetimiyle, sayım protokolleriyle ve yerinde denetim yapan müfettişlerle işledi.

Geleceğin güvenlik sistemi de iyi niyet üzerine değil, mümkün olduğunca doğrulanabilir davranış üzerine kurulmalıdır.

Eski bir söz bunu hâlâ güzel anlatıyor:

“Güven, ama doğrula.”

Üçüncü unsur ise kurallardır. Eğer rakibin yavaşlaması bana olağanüstü bir avantaj sağlıyorsa yalnızca ahlaki çağrıların yeterli olmasını bekleyemeyiz. Bazı davranışların bedeli olmalı, bazı güvenlik standartları ortaklaştırılmalı, belirli eşiklerde bağımsız denetim devreye girmeli ve ihlallerin yaptırımı bulunmalıdır.

Motor sporları bu meseleyi çoktan çözdü. Güvenlik donanımı takımların vicdanına bırakılmaz; federasyon herkese zorunlu kılar. Bu yüzden hiçbir takım kafes taktığı için yarış kaybetmez.

Çünkü Mahkûmlar Çıkmazı'nın çözümü insanların bir gecede daha iyi insanlar olması değildir. Çoğu zaman çözüm, kötü sonuca götüren teşvikleri değiştirmektir.

İnsanlardan kahramanlık beklemek yerine kahramanlığa ihtiyaç duymayacak sistemler kurmak daha gerçekçi olabilir.

Frene basmak yalnızca bireysel erdeme bırakılırsa frene ilk basan gerçekten kaybedebilir. Fakat herkes için aynı kurallar geçerliyse güvenlik artık rekabet dezavantajı olmaktan çıkar; oyunun doğal parçası hâline gelir.

Sorun Teknoloji mi?

Buradan yapay zekâ düşmanlığı sonucu çıkarmak büyük hata olur.

Sorun zekânın gelişmesi değildir.

Yapay zekâ sağlıkta, bilimde, eğitimde, mühendislikte ve insanlığın çözmekte zorlandığı pek çok problemde olağanüstü imkânlar sunabilir.

Belki bugün hayal bile edemediğimiz keşiflerin kapısını açacaktır.

Sorun teknoloji değildir.

Asıl sorun, teknolojik kapasitemiz ile onu yönetme kapasitemiz arasındaki mesafenin büyümesi ihtimalidir.

İnsanlık tarih boyunca benzer bir yanılgıya defalarca düştü.

Bir şeyi yapabiliyor olmamızın onu yapmamız gerektiği anlamına geldiğini sandık.

Oysa bunlar farklı sorulardır.

“Yapabilir miyiz?” teknik bir sorudur.

“Yapmalı mıyız?” etik bir sorudur.

“Kim karar verecek?” siyasi bir sorudur.

“Sonuçlarından kim sorumlu olacak?” toplumsal bir sorudur.

Yapay zekâ bu dört soruyu aynı anda önümüze koyuyor.

Belki de en zor soru beşincisidir:

“Frene basılması gerektiğinde frene kim basacak?”

İşin ironik tarafı burada başlıyor.

İnsanlık yapay zekânın bir gün kontrolden çıkıp çıkmayacağını tartışıyor.

Belki önce kontrol etmeyi öğrenmemiz gereken şey yapay zekâ değildir.

Kendi rekabetimizdir.

Çünkü yarışın temelinde yalnızca teknoloji bulunmuyor.

Prestij var.

Para var.

Pazar payı var.

Bilimsel üstünlük var.

Askerî güç var.

Ulusal çıkar var.

Yine o eski duygu:

Geride kalma korkusu.

Belki geleceğin süper zekâsından önce çözmemiz gereken problem, insan zekâsının kadim problemlerinden biridir:

Birbirimize tamamen güvenmeden nasıl işbirliği yapacağız?

Cevap yalnızca “Birbirimize güvenelim.” olamaz.

Daha gerçekçi cevap şudur:

Birbirimizin iyi niyetine mecbur kalmayacağımız sistemler kuralım.

Doğrulayalım.

Denetleyelim.

Kuralları ortaklaştıralım.

İhlalin bedelini belirleyelim.

İşbirliğini iyi insanların tercihi olmaktan çıkarıp sistemin mantıklı seçeneği hâline getirelim.

Sis Hâlâ Orada

Şimdi yeniden yarış pistine dönelim.

İki otomobil başlangıç çizgisinden çok uzakta.

Motorlar artık ilk turdakinden çok daha güçlü.

Her yeni turda araçlar biraz daha hızlanıyor.

Tribünler daha fazla performans istiyor.

Yatırımcılar daha büyük sonuçlar bekliyor.

Devletler geride kalmak istemiyor.

Rakip takım yeni bir motor geliştirdiğinde diğer garajın ışıkları sabaha kadar sönmüyor.

Pistin ilerisindeki sis hâlâ orada.

Belki sisin içindeki viraj düşündüğümüz kadar keskin değildir.

Belki güvenlik teknolojileri zamanında yetişecektir.

Belki bugün korktuğumuz senaryoların önemli bir bölümü hiçbir zaman gerçekleşmeyecektir.

Bunların hepsi mümkündür.

Başka ihtimaller de mümkündür.

Riskin gerçekleşeceğini kesin olarak bilmek zorunda değiliz.

Bazen ihtimal küçük olsa bile sonuç yeterince büyükse onu ciddiye almak gerekir.

Yapay zekâ için de aynı zihinsel olgunluğa ihtiyacımız var.

Asıl mesele yapay zekâdan korkmak değildir.

Asıl mesele teknolojiye tapmamaktır.

İlerlemenin her zaman hızlanmak anlamına gelmediğini anlayabilmektir.

Bazen ilerlemek için hızlanmak gerekir.

Bazen yön değiştirmek gerekir.

Bazen yeni bir yol açmak gerekir.

Bazen durmak gerekir.

Bazen de en gelişmiş teknoloji, zamanında çalışan bir frendir.

Çünkü yapay zekâ yarışının trajedisi kimsenin frenin gereksiz olduğunu düşünmesi değildir.

Asıl trajedi şudur:

Herkes frenin gerekli olabileceğini görüyor, fakat frene ilk basanın kaybedeceğinden korkuyor.

Belki bu nedenle çağımızın en büyük meselesi daha güçlü bir yapay zekâ üretmek olmayacak.

Asıl sınav, ürettiğimiz gücü yönetecek kurumları, kuralları ve bilgeliği aynı hızda geliştirip geliştiremeyeceğimiz olacak.

Geleceğin tarihçileri bugüne baktığında hangi şirketin hangi modeli birkaç ay önce çıkardığını muhtemelen çok önemsemeyecek.

Hangi ülkenin yarışın hangi aşamasında öne geçtiği de belki yalnızca dipnotlarda kalacak.

Onların soracağı daha büyük bir soru olabilir:

İnsanlık, kendisinden daha güçlü bir zekâ yaratmaya yaklaşırken gerektiğinde frene basabilecek kadar bilge miydi?

Çünkü yapay zekâ çağının en büyük kumarı makinelerin ne kadar zeki olacağı değildir.

Asıl kumar şudur:

İnsanlık, eline geçen gücü yönetebilecek kadar bilge olacak mı?