Президентът Обама в разговор с учения Джои Ито и журналиста Скот Дадич
© WIRED
Трудно е да си представим някоя друга технология, която през следващите 50 години ще оформи света ни в по-голяма степен от изкуствения интелект. В хода на машинното самообучение, което позволява на компютрите ни да учат сами, се появяват множество нововъведения, вариращи от сферите на медицинската диагностика до автомобили, които се управляват сами. Но заедно с тях се появяват и множество нови грижи, Кой ще контролира тези технологии? Ще ни отнемат ли те работните места? Опасни ли са? Президентът Обама, в компанията на директора на световноизвестната Медийна лаборатория към Масачузетския институт по технологии (МИТ) Джои Ито и журналиста Скот Дадич, обсъжда някои важни за всички ни аспекти на тази проблематика.
Скот Дадич: Благодаря и на двама ви, че сте тук. Как върви денят ви, господин президент?
Барак Обама: Плътно. Продуктивно. Нали разбирате, някоя и друга международна криза…
Дадич: Искам да концентрирам разговора ни около темата за изкуствения интелект (ИИ), който се превърна от научна фантастика в реалност, променяща животите ни. В кой точно момент осъзнахте, че епохата на реалния ИИ е настъпила?
Обама: Най-общото ми наблюдение е, че той се просмуква в животите ни по най-различни начини, а ние просто не ги забелязваме. Част от причините за това се крият във факта, че начините, по които си представяме ИИ, са оцветени от популярната култура. Има едно важно разграничение (вероятно добре познато на мнозина от вашите читатели), между общия ИИ и специализирания ИИ. В научната фантастика ние слушаме най-често за общия ИИ, нали? Компютрите започват да стават по-умни от нас и евентуално стигат до извода, че ние не сме чак толкова полезни, а след това или ни дрогират, за да ни държат тлъсти и щастливи, или ставаме част от Матрицата. Собственото ми впечатление, базиращо се на разговорите с основните ми научни съветници е, че ние сме на достатъчно далечно разстояние от това. Но си струва да се мисли за него, понеже то разширява въображението ни и ни кара да мислим по въпросите на избора и свободната воля, които всъщност имат сериозни отражения върху специализирания ИИ, тоест използването на алгоритми и компютри за изпълняване на все по-сложни задачи. Специализираният ИИ навлиза във всички аспекти от животите ни, от медицината и транспорта до начините, по които се разпределя електричеството – и той обещава да създаде една несравнимо по-продуктивна и по-ефективна икономика. Ако бъде направляван по подходящ начин, той може да създаде огромно благоденствие и нови възможности. Но с него са свързани и определени негативни страни, които ще трябва да обмислим, за да не елиминираме работни места. Той би могъл да увеличи неравенството. Би могъл да намали работните места.
Джои Ито: Това може и да подразни някои от студентите ми в МИТ, но една от грижите ми е, че това винаги е била област, в която се е подвизавала една банда, съставена предимно от момчета, най-вече бели, които изграждат основната компютърна материя около ИИ и се чувстват по-добре когато разговарят с компютри, отколкото с реални човешки същества. Много от тях живеят с усещането, че ако биха могли да реализират тази научна фантастика, общия ИИ, няма да ни се налага да се занимаваме повече с объркани неща като политика и общество. Те мислят, че машините просто ще решат всички тези проблеми вместо нас.
Обама: Да, така е.
Ито: Но те подценяват трудностите, а аз живея с усещането, че тази е годината, в която компютърният интелект се превръща в нещо повече от проблем на компютърните науки. Всички трябва да разберат, че начините, по които ИИ се държи, са важни. В Медийната лаборатория ние използваме понятието разширен интелект[1]. Защото реалният въпрос е как да вградим обществени ценности в ИИ.
Обама: Когато разговаряхме преди доста време, Джои използваше примера на самоуправляващите се коли. Тази технология е по същество вече тук. Ние разполагаме с машини, които могат да вземат куп бързи решения и драстично да намалят пътните катастрофи, да повишат ефективността на транспортната ни мрежа, както и да помогнат при решаването на проблеми като емисиите на въглероден двуокис, които причиняват затоплянето на планетата. Но Джои направи едно много елегантно възражение, което е, „А какви ще са ценностите, които ще внедрим в колите си?“ Ще има най-различни решения, които трябва да се направят, и класическият проблем е: добре, даже и ако колата се управлява сама, вие можете да се намесите и да спасите живота на някой пешеходец, но пък в резултат да се блъснете и да убиете себе си. Това е морален въпрос. Кой ще определя тези правила?
Ито: Когато разигравахме дилемата за трамвайната мотриса[2], установихме, че повечето хора харесват идеята да се пожертват шофьора и пътниците, за да се спасят повече хора. Освен това казаха, че никога няма да купят самоуправляваща се кола. [Смее се].
Дадич: И, щом вече навлизаме в полето на тези етически въпроси, то каква е ролята на правителството?
Обама: Начинът, по който аз виждам регулативните структури в процеса на появата на ИИ е, че на ранните фази от развитието на технологиите трябва да се позволява да разцъфтяват хиляди цветя. А правителството трябва да добавя сравнително лек контрол, да инвестира масивно в изследователска работа и да прави всичко възможно за преливане между сферите на базисните и приложните изследвания. А когато технологиите започнат да се разрастват и съзряват, то и проблемът за внедряването им в съществуващите регулативни структури става по-труден, тоест правителството трябва да се намесва повече. Не винаги, за да принуждава технологиите да се вместват в съществуващите рамки, а за да прави така, че регулациите отразяват възможно най-широка ценностна база. Инак може и да установим, че поставяме в неизгодна ситуация определени хора и групи.
Ито: Не знам дали сте чували за движението за неврологично разнообразие, но Темпъл Грандин[3] говори много за това. Тя казва, че Моцарт, Айнщайн и Тесла, всички те щяха да бъдат считани за аутисти, ако живееха в наши дни.
Обама: Да, може и да са били в спектъра.
Ито: Именно, в спектъра. И ако бихме били в състояние да елиминираме аутизма и направим всички хора „невро-нормални“, то готов съм да се обзаложа, че един куп хлапета от МИТ нямаше да бъдат каквито са. Един от проблемите, независимо дали говорим за аутизма или за разнообразието изобщо, се състои в това кога можем да оставяме пазарът да решава. Макар че сигурно не бихте си пожелали Айнщайн като ваше дете, то и думите „Ами, искам просто едно нормално дете“ едва ли водят до максимална обществена полза.
Обама: Това ни води до по-големия въпрос, с който се борим през цялото време, когато става дума за ИИ. Част от онова, което ни прави хора, са чудатостите. Те са мутациите, неудачниците, грешките, които създават изкуство или ново изобретение, нали? Трябва да приемем, че ако една система е перфектна, тя е и статична. А част от онова, което ни прави живи, се състои в това, че сме динамични и че се изненадваме. Едно от предизвикателствата, за които ще трябва да мислим, е къде и кога точно трябва да очакваме нещата да функционират именно по начина, който се очаква, без изненади.
Дадич: Когато говорим за разширения интелект в смисъла, отнасящ се до правителството, частния бизнес и академичните среди, то къде би трябвало да се намира центърът на тези изследвания, ако изобщо би могло да има център?
Ито: Аз мисля, че МИТ сигурно ще твърди, че [центърът] трябва да бъде в МИТ. [Смее се.] В исторически план това вероятно биха били група хора от академичните среди, подкрепяни от правителството. Но в момента повечето то лабораториите за милиарди долари са в ръцете на бизнеса.
Обама: Ние знаем хората, които ги финансират и, ако разговаряте с Лари Пейдж или други като него, то общата им умонагласа, по разбираеми причини, е „Последното нещо, от което имаме нужда, е някаква група бюрократи, които да ни забавят, докато преследваме еднорога там навън“.
Част от проблема, който наблюдаваме, се състои в това, че общият ни ангажимент за базисни изследвания, като общество, е намалял. Доверието ни в колективното действие е подкопано, отчасти вследствие от идеология и реторика.
Аналогията, която все още използваме, когато стане дума за големи технологически постижения, дори и петдесет години по-късно, е полетът до Луната. А някой ми припомни наскоро, че космическата програма е била само половин процент от Брутния национален продукт. Това не звучи като много, но в днешни долари това биха били 80 милиарда долара, които бихме харчили ежегодно… за ИИ. В момента харчим може би по-малко от милиард. Това със сигурност ще се ускори, но част от нещата, които ще трябва да разберем е, че ако бихме желали ценностите на една разнообразна общност да бъдат въплътени в тези новаторски технологии, то правителственото финансиране ще трябва да бъде част от тях. И че ако правителственото финансиране не бъде част от процеса, то всички тези въпроси, които Джои повдига – за ценностите, въплъщавани в тези технологии – ще бъдат потенциално изгубени или поне недостатъчно дебатирани.
Дадич: Засягате едно особено интересно напрежение, за което е писал Джои: разликата между новаторството, което се случва по периферията и новаторството, което се случва в нещо от рода на космическата програма. Как бихме могли да направим така, че прокарването на всички тези идеи действително да се случи?
Обама: Опитах се да подчертая, че само от факта, че правителството финансира и помага да се събират данните, още не следва, че крием нещо или че само военните го имат. Нека ви дам един много конкретен пример: част от нашия проект в областта на прецизната медицина се състои в събирането на достатъчно голяма база данни с човешки геноми, събрана от достатъчно разнообразна група американци. Но вместо да даваме пари на Станфорд или Харвард, където те държат [за себе си] собствените си данни, сега ние имаме цялата тази генетична база, до която всеки има достъп. Има общ набор от ценности, обща архитектура, които осигуряват, че този вид изследвания се споделят, а не се използват от и облагодетелстват само една група.
Дадич: Но тук със сигурност има някои рискове. Чували сме от хора като Елон Маск и Ник Бостром[4], които са загрижени от потенциалната възможност ИИ да надмине нашата способност да го разбираме. Докато се движим напред, как да мислим за тези страхове, като се опитваме да защитаваме не само себе си, но и човечеството като цяло?
Обама: Позволете ми да започна с онова, което според мен е една далеч по-належаща грижа – че това е проблем, който може да бъде решен в категорията на специализирания ИИ, и че трябва да внимаваме с него. Ако имате компютър, който може да играе ГО – много сложна игра с множество вариации – то създаването на алгоритъм, който ви позволява да постигате максимални печалби на нюйоркската борса най-вероятно не е много далеч. И ако даден човек или организация стигнат дотам първи, те биха могли да съборят пазара на акциите много бързо, или поне биха могли да повдигнат въпроси относно честността на играта по финансовите пазари.
А освен това би могло да има алгоритъм, който казва, „Иди и проникни в базата с атомните кодове и разбери как да се пуснат някои ракети“. Ако това е единствената му задача, ако той се самоподобрява и е наистина ефективен, то получавате проблеми. Моите указания към националния екип по сигурността са, не се безпокойте толкова много за машините, които ще завладеят света. Безпокойте се от възможността не-държавни или просто враждебни действащи лица да проникнат в системите – и в този смисъл те не са кой знае колко по-различни от останалата работа по кибер-сигурността, която вършим в момента. Това просто означава, че трябва да бъдем по-добри, защото хората, които биха могли да пуснат в ход тези системи са много добри в наше време.
Ито: По принцип съм съгласен. Единствената ми уговорка е, че все пак има някои хора, които смятат, че шансът да се появи ИИ от общ вид през следващите десет години е доста висок. Но според мен за да се стигне до това ще има нужда от дузина или две най-различни [научни] пробиви. Така че може да се наблюдава кога точно се случват тези пробиви.
Обама: И ви трябва само някой, който да седи достатъчно близо до кабела. [Смее се.] Видите ли да се случва нещо такова, дърпайте щекера от контакта, а?
Ито: Важното е да се намерят хората, които искат да използват ИИ за добро – общности и лидери – и да се намерят начини да им се помага.
Обама: В традиционния смисъл, когато мислим за сигурност и самозащита, ние мислим в категориите на брони или стени. Аз обаче започвам все повече да мисля в категории като вируси и антитела. Част от причините, поради които кибер-защитата продължава да е толкова трудно нещо, се състои в това, че опасността идва не от няколко танка, които пълзят към вас, а от цял куп системи, които са уязвими за проникване на вируси. Това означава, че трябва да мислим другояче за сигурността си, да правим други инвестиции, които може и да не са толкова секси, но в края на краищата могат да се окажат изключително важни.
Прекарвам доста време в тревоги, свързани с неща като епидемиите. Не можете да построите стени срещу следващия смъртоносен грипен вирус, който може да се донесе до бреговете ни. Вместо това трябва да можем да създаваме структури, които да изграждат системи на здравеопазване по всички части на света, да включват механизми, които да ни предупреждават когато се появява нещо, така че да имаме бързи протоколи и организации, с чиято помощ да правим много по-умни ваксини. Така че, ако вземете даден модел на здравеопазване и си помислите как бихме могли да работим, нали разбирате, по проблемите на кибер-защитата, то много неща могат да се окажат изключително полезни при обмислянето на заплахите, свързани с ИИ.
Ито: И само още едно нещо, което ми се струва интересно, когато започнем да мислим за микробиома [микроорганизмите, които ни обитават, бел. пр.]. Има много свидетелства в подкрепа на идеята, че пускането на добри бактерии, които да се борят срещу лошите бактерии, е напълно възможна стратегия.
Обама: Абсолютно. Все още не позволявам на Съни и Бо[5] да ме ближат, защото, докато ги разхождам по страничната поляна, някои от нещата, които те намират и дъвчат, просто не ги искам, хм. [Смее се.]
Ито: Трябва да преосмислим значението на думата „чист“ – и тук няма особено голяма разлика дали говорим за кибер-защита или национална сигурност. Според мен идеята, че могат да се издават стриктни заповеди и да се елиминира всеки възможен патоген е малко трудна.
Дадич: Съществува ли риск всичко това да създаде някакъв нов вид оръжейна надпревара?
Обама: Според мен няма съмнение в това, че създаването на международни норми, протоколи и механизми за проверка на кибер-сигурността изобщо, и на ИИ по-специално, се намира още в детска възраст. Проблемът е толкова интересен отчасти и поради това, че разделителната линия между защита и нападение е толкова неясна. А във време, когато има толкова голямо недоверие в правителството, това прави нещата трудни. Когато по цял свят имате страни, които считат Америка за водещата кибер-сила, то е време за нас да кажем, „Готови сме да се самоограничим, ако и вие сте готови да ограничите себе си“. Предизвикателството тук е, че най-сложните държавни играчи – Русия, Китай, Иран – не винаги споделят същите ценности и норми като нас. Но ще трябва да представим това като международен въпрос, ако бихме искали да бъдем ефективни.
Ито: Мисля, че живеем в златен период, в който хората искат да разговарят едни с други. Ако можем да направим така, че финансирането и енергията отиват в подкрепа на откритото споделяне, то има множество положителни ефекти.
Обама: Мисля, че Джои е напълно прав и това е причината, поради която свикваме цяла серия от срещи с всички, които се интересуват от това. Едно от нещата, за които не сме говорили чак толкова много, и към което искам отново да се върна е, че наистина трябва да помислим за икономическите импликации. Защото повечето хора в наше време не се тревожат особено много от въпроса за това кога машините ще ни задминат [the singularity]. Те се тревожат от неща като „Кога ли работата ми ще бъде взета от някоя машина?“
Аз клоня към оптимистичната страна – в исторически план ние сме абсорбирали множество нови технологии и хората обикновено откриват, че се създават нови работни места, или емигрират, и стандартите ни на живот по правило се повишават. Наистина, в момента може и да се намираме в малко по-различен период, поради всеобщата приложимост на ИИ и други технологии. Висококвалифицираните хора се оправят добре в тези системи. Те са в състояние да упражняват талантите си, могат и да работят с машините по начини, които разширяват обхвата им, продажбите, продуктите и услугите им.
Зле платените, нискоквалифицирани индивиди стават все пò и по-заменими. Работните им места може и да не бъдат отнети, но заплатите им не се увеличават. И ако бихме искали да направляваме успешно този преход, то ще трябва да имаме обществен разговор по въпроса. Как подготвяме хората, как правим така, че икономиката продължава да включва всички, при условие, че произвеждаме повече от всякога, но все пò и по-голяма част от продукта отива в ръцете на малка групичка на върха? Как да осигурим на хората доходи, достатъчни за нормален живот? И какво означава всичко това от гледна точка на подкрепата за неща като изкуствата и културата, или осигуряване на грижа за [военните ни] ветерани? Социалното тяло трябва да абсорбира тези нови технологии, икономическите ни модели – също.
Ито: Всъщност е напълно непредвидимо кои работни места се оказват заместени, защото, обзалагам се, ако бихте имали компютър, който разбира медицинската система, който е много добър в диагностиката и подобни неща, то медицинската сестра или аптекарят вероятно са много по-малко застрашени от лекаря – те са по-малко скъпи. Всъщност има множество висококвалифицирани работи – примерно адвокати или одитори – които може и да изчезнат. Докато голяма част от работните места в сектора на услугите, изкуствата, както и всички занятия, за които компютрите не са много подходящи, едва ли ще бъдат заменени. Не знам какво мислите за всеобщия минимален доход[6], но когато наблюдаваме как хората постепенно биват заменяни, то се появява и тази идея, че можем да погледнем към други модели – примерно академичните среди или изкуствата, където хората имат цели, не директно свързани с парите. Мисля, че един от проблемите е това общо мислене, „как може да си умен, когато нямаш пари?“ В академичните среди аз виждам множество умни хора без пари.
Обама: Отново сте прав – именно това е, което имам предвид когато казвам, че трябва да преоформим социалното тяло. Сега, дали точно идеята за всеобщия доход е правилният модел – дали тя ще бъде приета от широка маса хора? – това е дебат, който ще имаме през следващите 10 или 20 години. Имате право и когато казвате, че работните места, които ще бъдат изместени от ИИ не са просто нискоквалифицирани; те могат да бъдат и висококвалифицирани, но свързани с повторяеми действия, които могат да се извършват от компютри. Несъмнено е обаче, че с все по-широкото внедряване на ИИ и потенциалното забогатяване на обществото, връзката между производство и разпределение, тоест колко работите и колко получавате, става все пò и по-размита – компютрите вършат все по-голяма част от работата. А като следствие от това ние трябва да вземем някои трудни решения. Недоплащаме учителите, въпреки факта, че това е истински трудна работа, много трудна за вършене от компютри. Така че се нуждаем от преоценка на нещата и хората, които ценим и за които сме съгласни да плащаме повече колективно – били те учители, медицински сестри, придружители на стари хора, майки или бащи, които се грижат за децата вкъщи, артисти, тоест всички неща, които са неизмеримо важни за нас точно сега, но не са поставени особено високо на стълбицата на обществения авторитет. Това е разговор, който ще трябва да започнем.
Дадич: Господин президент, коя технология според вас ще помогне най-много при справянето с предизвикателствата, които самият вие виждате в управлението?
Обама: Има доста неща, които трябва да направим, за да стане управлението по-удобно за ползване, примерно да направим изпращането на данъчния формуляр поне също толкова лесно, колкото е поръчването на пица или купуването на самолетни билети. Независимо от това дали става дума за насърчаване на хората да гласуват или измъкването на Големите данни от сянката, така че да могат да се ползват по-лесно – има огромно количество работа, която трябва да се свърши, за да се довлекат федералното и местните правителства до 21 век. Пропастта между броя на талантливите хора, работещи във федералното правителство и в частния бизнес всъщност изобщо не е чак толкова голяма. Но технологическата пропаст е масивна. Когато за пръв път дойдох тук [в Белия дом, бел. пр.], винаги си представях Командната зала като нещо супер-страхотно, като Том Круз в Minority Report, където движеше различни данни с ръцете си. Нещата обаче изобщо не са такива. [Смее се.] Особено когато се стигне до преследване на терористи някъде по другата страна на Земното кълбо, филмите винаги представят някакви всемогъщи инструменти, които уж вече имаме, а всъщност… всъщност те изобщо не са тук и [правителството] е драстично зле финансирано, не добре конципирано.
Що се отнася до по-широки въпроси, свързани с технологиите, аз съм твърд привърженик на идеята, че ако успеем да се справим със затоплянето на климата, ако съумеем да натиснем спирачките и разберем как да избегнем двуметровото повишаване на океанското ниво, то човечеството ще се справи с останалите предизвикателства. Настроен съм силно оптимистично. Свършили сме вече доста работа, но имаме да извървим още много дълъг път.
Правилното разбиране на това как трябва да се регулира Интернет по начини, които са обозрими, прозрачни и сигурни, които ни позволяват да хващаме злодеите, но и не дават на правителството толкова много власт над животите ни, че да се превърне в инструмент за потисничество – ние все още работим над всичко това. Някои от проблемите са технологически – добър пример в тази връзка е кодирането на информация. Срещал съм се и с либертарианци, и с хора от службите за национална сигурност, много пъти. И проблемът всъщност се оказва изключително заплетен, защото никой не е в състояние да ми даде истински добър отговор на въпроса как да помирим скритите противоречия в някои от тези въпроси.
И тъй като това е граничен въпрос, то може би последното нещо, което би трябвало да спомена е, че аз си оставам голям фен на космическите програми. А работата по това как да направим така, че да се придвижим към следващото ниво на космически пътешествия е нещо, което сериозно недофинансираме. Частният сектор върши доста добра работа, защото все повече измества правителственото финансиране в някои от сферите на „Хайде сега, защо пък не?“, на лудешките идеи. Когато мислим за космически полети, ние все още си представяме онези химически реакции, които използвахме по времето на полетите на Аполо. Петдесет години по-късно вече изглежда, че имаме нужда от сериозен пробив в тази област (не знам дали вече разполагаме с дилициеви кристали[7]).
Дадич: Разбирам, че сте фен на Стар Трек. Това беше филмов сериал, вдъхновен от едно утопично разбиране за технологиите – кое от всичко това оформи собственото ви разбиране за бъдещето?
Обама: Умирах си за Стар Трек когато бях дете. Филмите бяха винаги толкова хубави. Онова, което направи поредицата да устои на времето беше, че всъщност в нея не става дума за технологии. Темата тук са ценности и отношения. Което обяснява успеха ѝ, въпреки принципно слабите специални ефекти (примерно, кацат на някоя планета и вие ги гледате как се движат между скали от картон). [Смее се.] Но това нямаше значение, тъй като в сериите ставаше дума за споделяна човечност и вяра в способността ни да решаваме проблеми.
Един скорошен филм въплъщава същия този дух – Марсианецът. Не защото има някакъв сложен сюжет, а защото показва как група от най-различни хора се опитва да реши проблем. При това те влагат много изобретателност и здрава работа, изпълнени са с увереност, че ако там някъде има решение, то ще го намерим. Това е, което обичам най-много в Америка и то е причината, поради която тя продължава да привлича хора от целия свят, въпреки всички предизвикателства, пред които сме изправени – този дух на „О, ще го измислим някак“. Онова, което ценя най-много в науката е тази представа, че можем да го измислим. Е, ще опитаме ето това – а ако не проработи, ще разберем защо не работи и ще опитаме нещо друго. И ще се радваме на грешките си, защото това ще ни научи как в края на краищата да прещракаме нещото, над което се блъскаме. И ако някога изгубим този дух, то ще изгубим най-важното за Америка, пък и за човека изобщо, според мен.
Ито: Напълно съм съгласен – аз също обичам оптимизма на Стар Трек. Но освен това мисля, че Федерацията е удивително разнообразна, екипът е удивително разнообразен, а злодеите обикновено не са злодеи, те просто са подведени.
Обама: Стар Трек, като всяка добра история, ни казва, че всички сме сложни и че у всеки от нас има по малко от капитан Кърк или от Спок, или от Скоти, а може би и малко Клингон, нали? Но това е, което имам пред вид когато казвам, че трябва да го разберем. Част от разбирането се състои в способността да се работи отвъд бариери и различия. Има една определена вяра в рационалността, смекчавана от малко смирение. Което важи и за най-доброто изкуство и наука. В смисъл, че притежаваме тези невероятни мозъци, които би трябвало да използваме и че все още драскаме по повърхността, но не трябва да ставаме прекалено наперени. Трябва постоянно да си припомняме, че има много неща, които не знаем.
[1] Разширеният интелект използва машинно обучение, за да разширява възможностие на човешкия интелект. (Всички бележки под линия са на авторите).
[2] Проблемът за трамвайната мотриса е изследване на МедияЛаб , при което участниците трябва да размислят върху определени ситуации на неизбежна загуба, свързани със самоуправляващите се автомобили. Например, по-добре ли е да умрат петима пътници, за да се спасят петима пешеходци, или обратно – да се пожертват пешеходците?
[3] Темпъл Грандин е професорка в Колорадския държавен университет. Тя е аутистка и често говори по тази тема.
[4] Ник Бостром е именит философ от Оксфордския университет, който предупреждава срещу потенциалните опасности, идещи от ИИ.
[5] Президентските любимци, два португалски териера, собственост на семейство Обама.
[6] Всеобщият минимален доход [Universal basic income] е концепция, според която всички граждани трябва да получават поне достатъчен за живот, гарантиран доход, предоставян от правителството като форма на социално осигуряване.
[7] Дилицевите кристали са научно-фантастичен източник на енергия, използван в почти всички космически кораби на Федерацията от телевизионната серия „Стар трек“.
