От момента в който започнах да се занимавам със създаването на нови технологии, техните етически измерения винаги са ме занимавали, но едва през есента на 1998 аз започнах да разбирам по-ясно колко големи са заплахите, които ни очакват през 21-ия век. Мога да датирам началото на моето безпокойство с деня, в който се срещнах с Рей Кързуайл, заслужено известния изобретател на първата четяща машина за слепи и много други удивителни неща.
Както Рей, така и аз бяхме говорители на конференцията Телекосмос, свикана от Джордж Гилдър и аз го срещнах случайно на бара в хотела след като нашите представяния бяха преминали. Седях заедно с Джон Сърл, един философ от Бъркли, който се занимава с проблемите на съзнанието. Докато си говорехме, Рей дойде при нас и така започна един разговор, темата на който ме преследва до ден днешен.
Бях пропуснал лекцията на Рей, както и последвалата я дискусия, на която Рей и Джон бяха присъствали – и сега те започнаха от мястото, на което бяха прекъснали. Рей твърдеше, че скоростта на технологическото подобрение ще се ускори и че ние ще станем роботи или ще се сраснем с роботи или нещо такова, а Джон отговаряше, че това не може да стане, защото роботите не могат да имат съзнание.
Макар че бях слушал подобни разговори и по-рано, аз винаги бях смятал, че роботи, притежаващи съзнание, са неща, принадлежащи към сферата на научната фантастика. Но сега слушах силни аргументи в подкрепа на тезата, че това ще стане много скоро, при това от някого, когото уважавах. Бях объркан и озадачен, особено като се има пред вид доказаната способност на Рей да измисля и създава бъдеще. Вече знаех, че технологии като генното инженерство и нанотехнологиите ни дават възможността да преобразим света, но един реалистичен и непосредствено предстоящ сценарий, свързан със съзнателни роботи ме изненада много.
Лесно е човек да се почувства озадачен и уморен от такива технологични пробиви. Почти всеки ден ние слушаме за някакъв нов технологически или научен напредък. Но това не беше обикновено предвиждане. В бара на хотела Рей ми даде част от книгата си Епохата на съзнателните машини, която тогава подготвяше за печат и в която обрисуваше една предвиждана от него утопия – утопия, в която хората постигат почти безсмъртие след като се преобразят с помощта на роботна нанотехнология. Докато четях, моето усещане за неудобство само се засили; бях уверен, че той със сигурност би трябвало да подценява опасностите и вероятността от катастрофи по този път.
Най-много ме обезпокои един пасаж, в който се описваше един дистопичен сценарий:
Новото предизвикателство на лудитството
Първо, нека приемем, че компютърните специалисти ще успеят да разработят интелигентни машини, които могат да вършат всичко по-добре от хората. В този случай, предполагаме, работата ще бъде вършена от огромни, високо организирани системи от машини и човешкото усилие ще бъде ненужно. Възможни са два случая. На машините може да бъде разрешено да вземат всички решения самостоятелно, без човешки надзор, или човешкият контрол може да бъде запазен.
Ако на машините се разреши да вземат решения самостоятелно, ние можем да правим каквито и да било допускания по въпроса за резултатите, защото е невъзможно да се предположи как точно ще се държат такива машини. Можем само да посочим, че съдбата на човечеството ще бъде в ръцете на машините. Може да се спори, че хората никога няма да бъдат толкова глупави да предоставят контрола в ръцете на машините. Но ние не говорим нито за свободно предаване на властта в ръцете на машините, нито пък за волево заграбване на властта от тяхна страна. Ние говорим за това, че човечеството лесно може да си позволи да бъде завлечено до положение на такава зависимост от машините, че практически да не му остане друг избор освен да приеме техните решения. Тъй като обществото и неговите проблеми стават все по- и по-сложни, а машините стават все по-интелигентни, хората ще оставят машините да вземат все повече решения вместо тях самите, просто защото машинно взетите решения ще носят по-добри резултати от решенията, взети от хора. Евентуално ще се стигне до положение, при което решенията, необходими за поддържането на системата в ред ще бъдат толкова комплексни, че хората няма да бъдат в състояние да ги вземат. На това ниво машините вече фактически ще притежават контрола. Хората няма да са в състояние просто да изключат машините, защото те ще са толкова зависими от тях, че изключването им би било равносилно на самоубийство.
От друга страна, възможно е човешкият контрол над машините да бъде запазен. В този случай средният човек може да получи контрол върху определени собствени машини като колата или персоналния си компютър, но контролът върху огромните системи ще бъде в ръцете на един нищожен елит – точно както е и днес, но с две много важни разлики. Благодарение на подобрената техника елитът ще притежава по-голям контрол над масите; и понеже човешката работа няма да бъде повече необходима, масите ще бъдат ненужни, те ще бъдат просто едно безполезно натоварване на системата. Ако елитът е безскрупулен, неговите представители могат просто да решат да унищожат масата от хора. Ако са по-хуманни, те биха могли да използват пропаганда или други психологически или биологически техники за намаляване на раждаемостта докато масата от хора измре, оставяйки света на разположение на елита. Или, ако елитът се състои от мекосърдечни либерали, те могат да решат да играят ролята на добри пастири за останалата част от човечеството. Те ще се грижат за това физическите нужди на всекиго да бъдат задоволени, децата да растат при психологически хигиенични условия, всеки да има благотворно хоби, което да го държи в заетост, а всеки, който се чувства незадоволен да бъде подложен на „лечение“ за премахване на неговия „проблем“. Разбира се, животът ще бъде толкова безсмислен, че хората ще трябва да бъдат биологично или психологически променени за да се премахне или тяхната нужда от участие във властта или да се направи така, че те да „сублимират“ нагона за власт в някакво безвредно хоби. Тези променени човешки същества може и да бъдат щастливи в такова общество, но те със сигурност няма да бъдат свободни. Те ще са били редуцирани до положението на домашни животни.
В книгата не става ясно, поне докато не се обърне страницата, че авторът на този пасаж е Теодор Качински – Унабомбаджията. Аз не съм апологет на Качински. Неговите бомби убиха трима и раниха много други хора по време на терористична кампания, която продължи 17 години. Една от бомбите му тежко рани моя приятел Дейвид Гелернтър – един от най-блестящите и надарени с въображение компютърни специалисти на нашето време. Както и много от колегите ми, аз често имах чувството, че бих могъл да бъда следващата мишена на Унабомбаджията.
Действията на Качински бяха убийствени и, по мое мнение, открито умопомрачени. Той е лудит, това е ясно, но просто да се каже това не е достатъчно, за да се оборят неговите аргументи; колкото и да ми е трудно да го призная, аз открих в този пасаж нещо, заслужаващо внимание. И се чувствах задължен да го оборя.
Дистопичното виждане на Качински описва непреднамерените последствия, един проблем, добре познат от замислянето и използването на технологии, при това проблем, който има ясно отношение към закона на Мърфи – „Всичко, което може да отиде накриво, ще го направи.“ (Всъщност, това е закона на Финагъл, което пък показва, че Финагъл е бил прав). Прекомерното използване на антибиотици доведе до това, което може би е най-големия познат ни проблем от тоя род: появата на бактерии, устойчиви срещу антибиотици и много по-опасни от досегашните. Подобни неща се случиха и когато опитите да се премахнат маларийните комари чрез ДДТ ги направиха устойчиви на този химикал; маларийните паразити пък получиха гени, устойчиви срещу множество лекарства.
Причината за много такива изненади изглежда е ясна: системите, с които се оперира, са сложни, включващи взаимодействия и обратни връзки между множество съставни части. Всякакви промени в такава една система се разрастват по начин, труден за предсказване; това е особено валидно за случаите, в които са замесени човешки действия.
Започнах да показвам цитата на Качински от Епохата на съзнателните машини на някои мои приятели; обикновено им подавах книгата, оставях ги да прочетат цитата и след това наблюдавах реакцията им след като узнаеха кой го е написал. Долу горе по същото време намерих и книгата на Ханс Морейвиц Роботът: проста машина с превъзходна мисъл. Морейвиц е един от водещите учени в областта на роботиката и беше основател на една от най-големите в света програми за изследвания в това направление, към университета Карнеги-Мелън. Роботът ми даде повече материал, който можех да изпитвам върху приятелите си – материал, удивително сходен и помагащ на аргументите на Качински. Например:
В краткосрочна перспектива (ранните 2000 години)
„Биологичните видове почти никога не оцеляват след срещи с превъзхождащи ги конкуренти. Преди десет милиона години южна и северна Америка са били разделени от потъналия тогава панамски провлак. Южна Америка, както и Австралия, е била населена от двуутробни млекопитаещи, включително торбести съответствия на плъховете, елените и тигрите. Когато провлакът, свързващ северна и южна Америка се е надигнал, само за няколко хиляди години северните плацентни видове, с малко по-ефективна обмяна на веществата, както и репродуктивна и нервна система, са успели да отстранят почти всички южни двуутробни млекопитаещи.
При един напълно свободен пазар, по-високо развитите роботи сигурно биха въздействали на хората по начин, сходен на оня, за който току-що стана дума (и по който хората вече са въздействали на неизброими други видове). Роботските индустрии биха се конкурирали безжалостно едни други за неща като материя, енергия и пространство, като в този процес биха повишили цената си извън обсега на хората. Неспособни да си позволят повече нещата, необходими за живот, биологическите хора биха били изтикани извън сферата на съществуване.
Може би все още има място за дишане, защото ние не живеем в напълно свободен пазар. Правителствата налагат не-пазарно поведение, особено чрез събирането на данъци. Ако се прилага благоразумно, правителствената принуда би могла да поддържа човешкото население във висок стил върху плодовете на роботизиран труд, може би за много дълго време.“
Дистопия като от учебник – и Морейвиц едва започва. Той продължава по-нататък, дискутирайки как нашата главна работа в 21-ия век ще бъде „осигуряването на сътрудничество от страна на роботските индустрии“ чрез прокарването на закони, постановяващи, че те трябва да бъдат „добри“, а след това описвайки колко сериозно опасен може да бъде един човек „след като веднъж е бил превърнат в неограничен супер интелигентен робот“. Виждането на Морейвиц е, че роботите евентуално ще ни наследят – че хората неизбежно са осъдени на изчезване.
Тогава реших, че е време да говоря с моя приятел Дани Хилс. Дани стана известен като съосновател на Thinking Machines Corporation, която построи един много мощен паралелен суперкомпютър. Въпреки сегашната ми титла на главен учен в Sun Microsystems, аз съм по-скоро компютърен архитект, отколкото учен – и уважавам познанията на Дани в областта на информацията и физическите науки повече от тия на която и да било друга личност, която познавам. Осен това Дани е много уважаван футурист, който мисли в дългосрочна перспектива – преди четири години той учреди фондацията Long Now, която трябва да създаде часовник, предназначен да съществува 10 000 години, в един опит да се покаже колко жалко краткосрочен е обсега на внимание в нашето общество.
И така, аз прелетях до Лос Анжелес със спешната цел да вечерям с Дани и неговата съпруга, Пати. Преминах през вече рутинната си процедура, представяйки идеите и пасажите, които намирах толкова обезпокоителни. Отговорът на Дани – насочен предимно към сценария на Кързуайл за съчетаване на хора и роботи – дойде бързо и доста ме изненада. Той просто каза, че промените ще дойдат постепенно и ние сигурно ще свикнем с тях.
Предполагам обаче, че не бях напълно изненадан. В книгата на Кързуайл вече бях видял цитат от Дани, в който той казва „Аз съм толкова привързан към тялото си колкото и всеки друг, но ако бих могъл да стана на 200 години с тяло от силикон, ще се съглася.“ Изглеждаше, че той се чувства спокойно при мисълта за процеса и съпътстващите го рискове, докато аз не се чувствах така.
Докато говорех и мислех за Кързуайл, Качински и Морейвиц, аз внезапно си припомних един роман, който бях чел преди почти двадесет години – Бялата чума от Франк Хърбърт – в който един молекулярен биолог полудява поради безсмисленото убийство на семейството му. За да търси отмъщение, той създава и разпространява една нова и високо заразна болест, която убива нашироко, но избирателно. (Сигурно имаме късмет, че Качински беше математик, а не молекулярен биолог). Спомних си също и за Борга от Star Treck, един рояк от същества, отчасти биологични, отчасти роботизирани, със силна склонност към разрушение. Катастрофи, подобни на тези от Борга са тема на научната фантастика, така че защо никога преди не съм бил загрижен от мисълта за такива роботски дистопии? И защо други хора не се чувстваха по-загрижени поради тези кошмарни сценарии?
Част от отговора сигурно трябва да се търси в нашето отношение към новото, в нашата склонност към моментална фамилиарност и сляпо приемане. Свикнали да живеем с почти рутинни научни открития, ние все още трябва да привикваме с мисълта, че най-убедителните технологии на 21-ия век – роботиката, генното инженерство и нанотехнологията – представят по-различна заплаха от технологии, които са се появили по-рано. И по-специално: роботите, конструираните организми и наноботите споделят един опасен подсилващ фактор: те могат да се саморазпространяват. Една бомба избухва само веднъж – но един бот може да се превърне в множество такива и много бързо да излезе от контрол.
Голяма част от моята работа през последните 25 години беше свързана с компютърните мрежи, при които изпращането и приемането на съобщения създава възможността за възпроизвеждане, излизащо извън контрол. Но докато възпроизвеждането в един компютър или компютърна мрежа действително може да бъде неприятност, в най-лошия случай то прави една машина неизползваема или проваля една мрежа/мрежова функция. Неконтролируемото възпроизвеждане при тези нови технологии води до много по-голям риск: рискът от съществено увреждане на физическия свят.
Всяка от тези технологии предлага също и едно неизказано обещание: мечтата за почти-безсмъртие, което Кързуайл вижда в неговите роботски сънища, ни тласка напред; генетичното инженерство скоро може да предложи средства, ако не и директни лечения, за повечето болести; нанотехнологията и наномедицината могат да се обърнат срещу още повече злини. Заедно, те биха могли значително да удължат нашата средна продължителност на живот и да подобрят качеството на нашия живот. И все пак с всяка от тези технологии, една поредица от малки, по отделно смислени напредъци, води до натрупването на голяма мощ и, като последица, голяма опасност.
Какво беше по-различно в 20-ия век? Разбира се, технологиите залегнали в основата на оръжията за масово унищожение – атомни, биологически и химически (АБХ) – бяха мощни, а оръжията бяха огромна заплаха. Но създаването на атомни оръжия изискваше, поне за известно време, достъп до много редки, по същество почти недостъпни суровини и високо защитена информация; биологическите и химически оръжия и програми също изискваха организация на много високо ниво.
Технологиите на 21-ия век – генетика, нанотехнология и роботика (ГНР) – са толкова мощни, че те могат да произведат напълно нови видове злополуки и злоупотреби. И, което е най-опасно, в началото тези злополуки и злоупотреби са напълно в полето на достъп на индивиди или малки групи. Те няма да изискват огромни съоръжения или редки суровини. Познанието само по себе си ще позволи тяхното използване.
По този начин ние имаме възможността да създаваме не само оръжия за масово унищожение, но и познавателно-базирано масово унищожение, чиято разрушителност в огромна степен е подсилена от неговата способност за самовъзпроизвеждане.
Струва ми се, че няма да бъде пресилено ако се каже, че ние сме на ръба на по-нататъшното усъвършенстване на едно безкрайно зло – едно зло, чиито възможности се разпространяват далеч отвъд онези, които оръжията за масово унищожение дадоха на националните държави, зло, даващо удивителна и ужасяваща власт на индивиди-екстремисти.
[…]
Мечтата на роботиката винаги е била, че, на първо място, интелигентните машини ще могат да работят вместо нас, позволявайки ни да водим безгрижен живот, връщайки ни в рая. И въпреки това, в неговата история на тези идеи, Дарвин сред машините, Джордж Дайсън предупреждава: „В играта на живота и еволюцията на масата седят трима играчи: хората, природата и машините. Аз съм твърдо на страната на природата. Но природата, предполагам, е на страната на машините“. Както видяхме, Морейвиц също е съгласен с това, вярвайки, че ние действително бихме могли да не успеем да преживеем сблъсъка с превъзхождащи ни роботски видове.
Колко скоро би могъл да бъде построен такъв един робот? Идещите подобрения в изчислителните ни възможности изглежда ще го направят възможно някъде към 2030. И след като веднъж един интелигентен робот съществува, стъпката до роботски вид е много малка – за един интелигентен робот, който може да прави по-добри копия от самия себе си.
Друга една мечта на роботиката е, че ние ще успеем постепенно да заменим самите себе си с роботска технология, постигайки почти безсмъртие чрез възможността да натоварим съзнанието си в изкуствено тяло; това е процеса, с който, както Дани Хилс смята, ние ще свикнем постепенно и който Рей Кързуайл описва елегантно в Епохата на съзнателните машини.
Но ако ние сме запечатани в нашата технология, какви са шансовете, че след това ще бъдем самите себе си или дори човешки същества? Струва ми се, че едно роботско съществуване няма да бъде като човешкото в който и да било разбираем за нас смисъл, че роботите в никакъв случай няма да бъдат наши деца, че по този път нашата човечност лесно може да бъде изгубена.
Генното инженерство обещава да революционизира селското стопанство чрез повишаване на добивите от реколтите, същевременно намалявайки използването на пестициди; да създаде десетки хиляди нови видове бактерии, растения, вируси и животни; да замести възпроизводството (или да го допълни) чрез клониране; да създаде лечения за множество болести, увеличавайки продължителността и качеството на живота ни – и още много, много други неща. Сега вече ние със сигурност знаем, че тези дълбоки промени в биологическите науки са неизбежно предстоящи и те ще променят всички наши представи за това какво е живота.
Технологии – особено като клонирането на хора –, усилиха нашето осъзнаване на дълбоките етически и морални въпроси, с които се сблъскваме. Ако например ние бихме се преправили под формата на няколко различни и неравни видове, използвайки силата на генното инженерство, с това ние бихме застрашили идеята за равенство, която е крайъгълния камък на нашата демокрация.
[...]
Осъзнаването на опасностите, присъщи на генното инженерство, постепенно започва да нараства, както става ясно от уводната статия на Лъвинс. Обществеността вече е осведомена (и се чувства не много удобно при мисълта за) генетично модифицирани храни – и, както изглежда, започва да отхвърля идеята, че такива храни би трябвало да се разпространяват без специални етикети.
Но технологията на генното инженерство е вече много по-напреднала. Както Лъвинс отбелязва, министерството на земеделието вече е одобрило около 50 генетично модифицирани зърнени храни за неограничено разпространение; повече от половината соя, произвеждана по света и около една трета от царевицата вече съдържат гени, добавени към тях от други живи форми.
Множеството чудеса на нанотехнологията бяха първо представени от физика Ричард Фейнмън, носител на Нобелова награда, в една реч, която той държа през 1959 и по-късно публикува под заглавие „Има още много място на дъното“. Книгата, която обаче ме впечатли най-много, в средата на 80-те, беше Машините на сътворението от Ерик Дрекслър, в която той красиво описва как манипулирането на енергия на атомно ниво би могло да създаде едно утопично бъдеще на изобилието, където почти всичко би могло да бъде произвеждано евтино и почти всяка мислима болест или физически проблем би могъл да бъде решен чрез използването на нанотехнология и изкуствен интелект.
Една следваща книга Освобождавайки бъдещето: нанотехнологичната революция, на която Дрекслър бе съавтор, се опитва да представи някои от промените, които биха могли да се случат в един свят, в който бихме имали „монтьори“ (асемблери) на молекулярно ниво. Тези асемблери биха направили възможни между другото: невероятно евтина слънчева енергия; лечение за рака и обикновената настинка чрез подсилване на човешката имунна система; едно по същество пълно пречистване на околната среда; немислимо евтини джобни суперкомпютри (всъщност, всеки продукт би бил производим чрез асемблерите, при това на стойност, не по-висока от тази на дърво); полети в космоса, по-достъпни от презокеанските пътувания в наши дни; и накрая – възстановяването на вече изчезнали видове.
Спомням си, че се чувствах добре след като прочетох Машините на сътворението. Като човек на технологиите, тя ми даде едно усещане за спокойствие – с други думи, нанотехнологиите ни показваха, че е възможен невероятен прогрес и че, всъщност, той може би е неизбежен. Ако нанотехнологията беше нашето бъдеще, то аз не се чувствах силно заставен да решавам толкова много проблеми в настоящето. Аз щях да стигна до утопичното бъдеще на Дрекслър когато му дойдеше времето; значи бих могъл да се наслаждавам малко повече на живота тук и сега. Като се имаше пред вид неговото виждане, май че нямаше много смисъл да се будува непрекъснато, през цялото време.
Виждането на Дрекслър ми донесе и доста удоволствие. От време на време аз описвах чудесата на нанотехнологията на хора, които още не бяха чували за тях. След като ги подразнех с нещата, описани от Дрекслър, аз им давах моята собствена домашна работа: „Използвай нанотехнология, за да създадеш вампир; за допълнителен актив, създай противоотрова“.
Но заедно с тези чудеса идваха и опасности, които ми бяха доста ясни. На една конференция по нанотехнология през 1989 аз казах: „Не може просто да си правим науката и да не се тревожим за тези етически въпроси“. Но по-късните ми разговори с физици ме убедиха, че нанотехнологията може и изобщо да не проработи – или поне да не проработи в близко бъдеще. Скоро след това аз се преместих в Колорадо, в една секретна зона, където междувременно се бях установил и фокусът на работата ми се измести в областта на софтуера за интернет и по-точно върху идеите, които по-късно се превърнаха в Джава и Джини.
И тогава, миналото лято, Бросл Хаслахър ми каза, че молекулярна електроника от нано-мащаб вече е практически възможна. Това бяха нови новини, поне за мен, а мисля и за доста хора още – и те радикално промениха мнението ми за нанотехнологията. Това отново ме изпрати при Машините на сътворението. Препрочитайки книгата на Дрекслър след повече от десет години, аз бях слисан от осъзнаването на факта колко малко си спомнях за доста дългия дял „Опасности и надежди“, включващ дискусия по въпроса как нанотехнологиите могат да станат „машини на разрушението“. Действително, четейки този предпазливо написан материал днес, аз съм поразен от това колко наивно изглеждат някои от предложенията за сигурност, направени от Дрекслър и колко по-големи ми се струват опасностите сега, отколкото те са се стрували на него. (Предвиждайки и описвайки много от техническите и политически проблеми, свързани с нанотехнологията, Дрекслър създаде института Foresight през късните 1980 „за да помогне на обществото да се подготви за някои очаквани напреднали технологии“ – най-вече нанотехнологията).
Един пробив на нанотехнологичните асемблери изглежда много вероятен през следващите 20 години. Молекулярната електроника – новата област на нанотехнологията, в която молекулите са елементите на електрическата верига –, би трябвало да съзрее бързо и да стане невероятно изгодна в рамките на нашето десетилетие, което ще предизвика появата на огромни инвестиции във всички нанотехнологии.
За нещастие, както и при атомните технологии, много по-лесно е да се създадат разрушителни начини за използване на нанотехнологията, отколкото градивни. Нанотехнологията притежава ясно определени военни и терористични аспекти и съвсем не е необходимо да бъдеш самоубиец, за да започнеш да разпространяваш едно масово разрушително нанотехнологично устройство – такива устройства могат да бъдат направени така, че да разрушават избирателно, като например засягат само определена географска област или група от хора, които се различават по някакви генетични признаци.
Едно непосредствено следствие от фаустовата сделка за получаване на огромната мощ на нанотехнологията е, че ние се подлагаме на огромен риск – риска да разрушим биосферата, от която зависи целия живот.
Както обясни самият Дрекслър:
„Растения“ с „листа“ не по-ефективни от днешните слънчеви батерии биха могли лесно да задминат реалните растения, задръствайки биосферата с негодна за ядене зеленина. Жилави всеядни „бактерии“ биха могли да изместят реалните бактерии; те биха могли да се разпространяват като летящ цветен прашец, да се размножават бързо и да превърнат биосферата в прах за броени дни. Опасни самовъзпроизводители (replicators) лесно биха могли да станат прекалено устойчиви, малки и бързо разпространяващи се, за да бъдат спрени – поне ако ние не сме достатъчно подготвени. Достатъчно трудности имаме с контролирането на вируси и дрозофили.
Сред експертите по нанотехнология тази заплаха е станала известна под името „проблем на сивата лига“. Макар че не е необходимо масите от неконтролирани самовъзпроизводители да бъдат непременно сиви или лепкаво-лигави, названието „сива лига“ подчертава факта, че самовъзпроизводители, способни да унищожат живота, могат да бъдат по-малко вдъхновяващи и от някой вид плевел. Те могат да бъдат по-висши в еволюционен смисъл, но това не ги прави ценни.
Заплахата от сивата лига прави едно нещо пределно ясно: има определени видове злополуки със самовъзпроизвеждащи се асемблери, които ние не можем да си позволим.
Сивата лига със сигурност би представлявала един доста депресивен край на нашето човешко приключение тук на Земята, много по-лош от огън или лед, при това такъв, който би могъл да произлиза от обикновена лабораторна злополука. Упс!
Най-много от всичко, онова, което би трябвало да ни накара да забавим темпото, е способността за разрушително самовъзпроизвеждане при генетиката, нанотехнологията и роботиката. Самовъзпроизвеждането е операционния модус на генното инженерство, което използва репродуктивните механизми на клетката, както и най-сериозната опасност, залегнала в основата на „сивата лига“ в нанотехнологията. […] В една скорошна статия на Стюарт Кауфман в Nature, озаглавена „Самовъзпроизвеждането: дори пептидите го правят“ се дискутира откритието, че един пептид с 32 аминокиселини може да „катализира своя собствен синтез“. Ние не знаем колко широко разпространена е тази способност, но Кауфман отбелязва, че тя може би указва възможността за „път към самовъзпроизвеждане на молекулярните системи на много по-широка основа от чифтосването на бази, познато от Крик и Уотсън“.
Всъщност ние вече разполагаме, при това от години насам, с ясни предупреждения срещу опасностите, свързани с широкото разпространение на ГНР технологиите – срещу възможността за масово разрушение, осъществено само на основата на познание. Но тези предупреждения не бяха широко публикувани; обществените дискусии бяха напълно недостатъчни. В разпространяването на предупрежденията няма печалба.
Атомните, биологически и химически технологии, използвани в оръжията за масово унищожение на 20-ия век бяха – и все още са, най-вече военни, те бяха разработвани в държавни лаборатории. В рязък контраст с тях, ГНР технологиите на 21-ия век имат ясно определена търговска употреба и биват разработвани предимно от корпоративни предприятия. В нашето време на триумфиращ комерсиализъм технологията – с науката като нейна прислужница – ни предоставя серия от почти вълшебни изобретения, които са и най-феноменално доходните за всички времена. Ние агресивно преследваме обещанията на тези нови технологии във вече от нищо не спъваната система на глобален капитализъм с нейните многобройни финансови поощрения и конкурентни напрежения.
Това е първият момент в историята на нашата планета, при който един вид, чрез своите доброволни действия, се превръща в опасност за самия себе си – както и за огромно число от други видове..
Може би това е едно вече обичайно развитие, вече случило се в много светове – една планета, новооформена, се върти спокойно около своята звезда; животът бавно се развива; разгръща се шествие от живи същества; появява се разум който, поне до известен момент, дава огромна способност за оцеляване; и тогава бива изобретена технологията. Съществата започват да разбират, че има неща като закони на природата, че тези закони могат да бъдат открити чрез експерименти и че познаването на тези закони може да бъде впрегнато както за спасяването, така и за отнемането на живот – и двете до степен, непозната дотогава. Науката, както те разбират, дава огромна мощ. Само за миг те създават устройства, които променят света. Някои планетарни цивилизации успяват да намерят по-нататъшния път, поставят граници на онова, което може и трябва да бъде направено – и преминават невредими през времената на опасност. Други, не толкова благоразумни или с по-малко късмет, загиват.
Това е Карл Сейгън, описващ през 1994, в Бледата синя точка, своето виждане за човешкото бъдеще в космоса.
[...]
Ако бихме могли, като вид, да се споразумеем по това какво искаме, накъде се отправяме и защо, сигурно бихме направили нашето бъдеще много по-малко опасно – тогава бихме могли да разберем от какво можем и трябва да се откажем. В противен случай лесно можем да си представим една нова надпревара във въоръжението на основа на ГНР технологии, както вече се случи с АБХ технологиите през 20-ия век. Това е може би най-големият риск, защото, след като една такава надпревара е започнала веднъж, вече става много трудно тя да бъде спряна. Но сега – за разлика от времето на проекта Манхатън – ние не сме във война, изправени срещу един неумолим враг, който заплашва нашата цивилизация; вместо това ние сме движени от нашите навици, желания, икономическа система и нашата състезателна нужда от познание.
Вярвам, че ние всички желаем пътя ни да бъде определен от нашите колективни ценности, етика и морал. Ако бяхме придобили повече колективна мъдрост през последните няколко хиляди години, то един диалог с тази цел би бил по-осъществим и невероятните сили, които се готвим да пуснем в ход, не биха били толкова тревожещи.
Човек би могъл да помисли, че ние можем да бъдем принудени към такъв диалог от нашия инстинкт за самосъхранение. Да, индивидите изглежда притежават едно ясно изразено такова желание, но поведението ни като вид, струва ми се, не е съвсем в наша полза. Докато бяхме заети с атомната заплаха ние често се отнасяхме нечестно към самите себе си и едни към други, увеличавайки по този начин опасността многократно. Дали това се дължеше на политически мотиви или просто бяхме избрали да не гледаме напред, или действахме толкова ирационално защото бяхме изправени срещу такива тежки заплахи? Не знам, но във всеки случай това не предвещава нищо добро.
Новите кутии на Пандора са вече почти отворени, но ние май още не сме го забелязали. Идеите не могат да бъдат затворени обратно в кутия; за разлика от урана или плутония те не се нуждаят от това да бъдат изкопани и рафинирани – и те могат да бъдат копирани свободно. Веднъж излезли навън, те са навън. Чърчил отбеляза веднъж – в един прочут и несръчен комплимент –, че американският народ и неговите ръководители „с неизбежност вършат онова, което е правилно, след като преди това са опитали всички други алтернативи“. В този случай обаче трябва да действаме по-прецизно, тъй като да извършим правилното нещо едва в последния момент може да означава, че сме изгубили всякакъв шанс да го извършим изобщо.
Както каза Торо: „Ние не караме железницата; тя кара нас“. Точно това е, срещу което трябва да се борим в нашето време. Въпросът е: „Кой е господарят?“, ще успеем ли да ние надживеем собствените си технологии?
Ние се втурваме в новия век без план, без контрол, без спирачки. Дали вече сме отишли твърде далеч, за да можем да променим курса? Аз не мисля така, но ние непрекъснато се опитваме – и последния шанс да упражним контрол, нашата последна защитна точка, се приближава много бързо. Ние вече имаме първите домашни роботи, както и търговско-достъпни техники на генното инженерство; нашите техники от нано-мащаб се развиват бързо. И макар че развитието на тези технологии преминава през редица стъпки, то не винаги е задължително последната стъпка при проверката на една технология да бъде най-трудната – както стана например при проекта Манхатън и теста Тринити. Пробивът, водещ до лудо самовъзпроизвеждане в роботиката, генното инженерство или нанотехнологията може да дойде съвсем неочаквано, повтаряйки изненадата, която изпитахме когато научихме за клонирането на първото млекопитаещо.
[…]
Но къде можем да търсим нова етическа основа, която да определи направлението ни? Аз намирам, че идеите от книгата Етика за новото хилядолетие от Далай Лама могат много да ни помогнат. Както много хора сигурно знаят, но малцина се вслушват, Далай Лама твърди, че най-важното нещо е да водим живот, изпълнен с любов и съчувствие към другите и че нашите общества трябва да развият едно по-силно усещане за всеобщата ни отговорност и взаимозависимост; той предлага един стандарт за положително етическо поведение за индивидите и обществата [...]
Далай Лама твърди по-нататък, че ние трябва да разберем какво прави хората истински щастливи и да приемем силното указание, че нито материалния прогрес, нито преследването на власт и познание е най-важното – че има граници на това, което науката и научното равитие могат да ни дадат.
Нашето западно разбиране за щастието изглежда идва от гърците, които го определяха като „упражняването на жизнени сили по един превъзходен начин, в живот, който им дава простор“.
Разбира се, ние се нуждаем от това да намерим в живота си смислени предизвикателства, ако искаме да бъдем щастливи в онова, което ни очаква. Но аз мисля, че трябва да намерим по-различни отдушници за творческите си сили, отвъд културата на постоянен икономически растеж; този растеж, общо взето, е бил благодатен в продължение на неколкостотин години, но той не ни е дал неподправено щастие и сега вече ние трябва да изберем между преследването на неограничен растеж чрез наука и технология – и ясните опасности, които го съпровождат.
Измина повече от година от моята среща с Рей Кързуайл и Джон Сърл. Виждам наоколо основания за надежда в призивите към предпазливост и отказ, както и в хората, които открих – хора, които са също толкова загрижени за опасното положение, в която се намираме, колкото и аз. Аз изпитвам, освен това, едно по-дълбоко чувство за лична отговорност – не поради работата, която вече съм извършил, а поради оная, която ще върша тепърва, на мястото, където науките се сливат.
Но много други хора, които знаят за тези опасности, ми се струват странно мълчаливи. Когато бъдат притиснати, те отвръщат с контраудара „това не е нищо ново“ – като че ли осъзнаването на това, което може да се случи, е достатъчен отговор. Те ми казват: университетите са пълни с био-етици, които по цял ден се занимават с тези неща. Те ми казват: за това вече е писано, при това от експерти. Те се оплакват: твоите страхове и твоите аргументи вече отдавна са остарели.
Не знам къде тези хора крият страховете си. Като архитект на комплексни системи аз навлизам в тази област като генералист. Но омаловажава ли това моите безпокойства? Съзнавам колко много е писано, говорено и преподавано за всичко това, при това от авторитети. Но означава ли това, че тези неща са стигнали до хората? Означава ли това, че можем да обезценим опасностите пред нас?
Да се знае не означава да не се действа. Можем ли да се съмняваме в това, че познанието е станало оръжие, което упражняваме срещу самите себе си?
Опитът на атомните учени ясно показва необходимостта от поемане на лична отговорност, опасността от това, че нещата могат да се развият прекалено бързо, както и начина, по който един процес може да придобие свой собствен живот. Както те, така и ние можем да създадем непреодолими проблеми за нищожно кратко време. Ако не искаме да бъдем изненадани по подобен начин от последствията на нашите изобретения, ние трябва мислим повече, предварително.
Моето професионално занимание е подобряването на софтуерната надеждност. Софтуерът е сечиво – и като майстор на сечива аз трябва да се боря с начините, по които моите сечива могат да бъдат използвани. Винаги съм смятал, че повишаването на надеждността на софтуера, като се имат пред вид множеството начини, по които той се използва, ще направят света едно по-сигурно и по-добро място; ако бих започнал да вярвам в противното, аз бих бил морално задължен да спра тази работа. Но вече мога да си представя, че такъв ден може скоро да дойде.
Всичко това ме кара да се ядосвам, но поне не ме прави меланхоличен. Отсега нататък за мен прогресът ще бъде нещо горчиво-сладко.
Спомняте ли си красивата предпоследна сцена от Манхатън, в която Уди Алън лежи на кушетката си и диктува в един касетофон? Той пише разказ за хора, които си създават ненужни, невротични проблеми, защото това им помага да избягват сблъсъка с по-неразрешими, ужасяващи проблеми, свързани с вселената.
Накрая той стига до въпроса „Защо си струва да се живее живота?“ и изрежда нещата, които правят живота ценен за самия него: Граучо Маркс, Уили Мейс, втората част на симфонията Юпитер, записа на Луис Армстронг Блуз на картофената глава, шведски филми, Възпитание на чувствата от Флобер, Марлон Брандо, Франк Синатра, ябълките и крушите на Сезан, раците в ресторанта на Сам Уо и, накрая, истинския хит: любимото му лице, Трейси.
Всеки от нас има своите скъпоценни неща и, грижейки се за тях, ние откриваме същността на нашата човечност. В края на краищата, нашата огромна способност да се грижим за другите е това, което ме кара да оставам оптимист когато мисля за опасностите, които ни очакват.
Непосредствената ми надежда е да стана участник в една много по-обширна дискусия по нещата, за които стана дума тук, с хора от различен произход, в обкръжения не предразположени към страх от или предпочитание на технологията заради самата нея.
[...]
И тъй, аз все още търся; има още много неща, които трябва да науча. Дали ние ще успеем или ще се провалим, дали ще оцелеем или ще станем жертва на тези технологии, още не е решено. Аз отново закъснявам – вече е 6 часа сутринта. И все пак се опитвам – опитвам се да намеря по-добри отговори, да разруша магията и да ги освободя от камъка.
