К.Г.

“Wired”, Выпуск 8.04 - апрель 2000
http://www.wired.com/wired/archive/8.04/joy.html

Оригинальный текст: см. здесь

С того момента, когда я оказался вовлеченным в создание новых технологий, их этические измерения распространились и на меня, но лишь осенью 1998 я с тревогой осознал, насколько большая опасность встала перед нами в 21-ом столетии. Моя беззаботность закончилась в тот день, когда я встретил Рэя Курцвейля, заслуженно знаменитого изобретателя первого считывающего устройства для слепых и многих других удивительных вещей.

Мы оба, Рей и я, были докладчиками на конференции в George Gilder's Telecosm, и я столкнулся с ним случайно в баре гостиницы после того, как закончились оба наших заседания. Я сидел с Джоном Сэрлом, философом из Беркли, изучающим проблемы сознания. В то время как мы говорили друг с другом, Рэй приблизился, и началась беседа, к предмету которой я часто возвращаюсь и по сей день.

Я пропустил начало рассказа Рэя и последующий обмен мнениями между ним и Джоном, когда Рэй сказал, что скорость усовершенствования технологий должна возрасти и что нам предстоит стать роботами, или киборгами, или чем-то подобным этому, а Джон возразил, что этого не может случиться, потому что роботы не способны сознавать.

Когда я слышал подобный разговор прежде, мне всегда казалось, что разумные роботы могут быть только в царстве научной фантастики. Но теперь от того, кого я уважал, я услышал сильный аргумент в пользу реальной возможности такой ситуации в самое ближайшее время. Я был озадачен сказанным: в особенности, в силу проверенной способности Рэя представлять и творить будущее. Я уже знал, что новые технологии подобно генной инженерии и нанотехнологиям дали нам в руки могущество переделывать мир, но реалистический и неизбежный сценарий пришествия разумных роботов поразил меня.

Руки опускаются от подобных прозрений. О некотором технологическом или научном прогрессе мы слышим в новостях почти каждый день. Да произнесенное и не было никаким заурядным предсказанием. В баре гостиницы Рэй вкратце познакомил меня с содержанием своей готовящейся к выходу книги «Эпоха одухотворенных машин», красной линией которой была предвиденная им утопия - утопия, в которой люди приблизились к бессмертию, становясь едиными с роботами. От прочтения подобного, мое ощущение беспокойства только усилилось: я был уверен, что Рэй должен был преуменьшить опасности, преуменьшить вероятность печального финала на этом пути.

Я всерьез обеспокоился поисками выхода, соответствующего не тупиковому сценарию:

Для начала позвольте постулировать то, что ученые-компьютерщики преуспели в развивающихся разумных машинах настолько, что те могут делать все вещи лучше, чем люди. По всей видимости, в том случае, когда вся совокупность работ сможет выполняться повсеместно распространенной, высоко организованной системой машин, то исчезнет необходимость в каком бы то ни было человеческом усилии. Далее возможен любой из двух вариантов. Машинам можно было бы разрешить принимать все свои решения вне человеческого надзора, либо, иначе, человеческий контроль над машинами по-прежнему сохраняется.

Если машинам позволить принимать решения самостоятельно, то мы не можем делать никаких догадок относительно результатов, поскольку невозможно предположить, как такие машины могли бы себя вести. Укажем только, что судьба человеческой расы зависела бы от милосердия машин. Конечно, можно утверждать, что люди никогда не будут достаточно глупы, чтобы передать всю власть машинам. Но мы не предполагаем ни того, что человеческая раса добровольно переложит власть на машины, ни того, что те сами умышленно ее захватят. Что мы действительно предполагаем – так это то, что человечество легко может позволить себе дрейфовать к состоянию такой зависимости от машин, что оно не будет иметь никакого практического выбора, но примет все решения машин. Поскольку общество и проблемы, которые стоят перед ним, становятся все более сложными, а машины – все более разумными, то люди станут доверять машинам принимать вместо себя все большее число решений просто потому, что определенное машиной, принесет лучшие результаты, чем установленное человеком. В конце концов, может быть достигнута ступень, на которой решения, необходимые для управления системой будут настолько сложны, что интеллект людей окажется неспособным к их генерации. На этой стадии эффективное управление перейдет к машинам. Люди уже не станут способными даже просто выключить их, потому что будут столь от них зависеть, что выключение оказалось бы равносильным самоубийству.

С другой стороны, возможно и такое, что человеческий контроль над машинами останется сохранен. В этом случае средний человек сможет контролировать некоторые частные собственные механизмы, вроде своего автомобиля или персонального компьютера, но управление большими системами машин окажется в руках крошечной элиты – точно так же, как и сегодня, – но с двумя отличиями. Благодаря усовершенствованным методам, элита получит больший контроль над массами; а в силу того, что человеческая работа больше не будет необходима, массы окажутся лишним, бесполезным бременем на системе. Если элита безжалостна, они могут просто решить истребить большую часть человечества. Если же гуманна – то могут использовать пропаганду или другие психологические или биологические методы, чтобы уменьшить коэффициент рождаемости, пока большинство не вымрет, оставив мир элите. Или, если элита состоит из мягкосердечных либералов, то они могут решить поиграть роль хороших пастухов по отношению к остальной части человеческой расы. Они проследят, чтобы всеобщие физические потребности были удовлетворены, чтобы все дети взращены психологически в гигиенических условиях, чтобы у каждого было здоровое увлечение, с целью заставить всякого напряженно трудиться, а любой, кто может показаться неудовлетворенным, должен будет подвергнуться "обработке" для излечивания его "проблемы". Конечно, жизнь станет настолько бесцельна, что людей придется в биологическом, либо в психологическом отношении проектировать, чтобы или обработкой устранить их потребность во власти, или заставить "засушить" это влечение до некоторого безопасного хобби. Подобные спроектированные люди могут даже испытывать счастье в таком обществе, но, конечно, они будут максимально несвободны. Фактически, их статус будет уменьшен до домашнего животного ¹⁾.

В книге (имеется в виду книга Р. Курцвейля «Эпоха одухотворенных машин» – прим. Перев.) не обнаружишь, пока не перевернешь соответствующей страницы, что автором описанного выше пути развития событий является Теодор Кащинский – бомбист-одиночка. Я никак не апологизирую Кащинского. Его бомбы в течение 17-летней кампании террора убили трех человек и ранили многих других. Одна из его бомб серьезно ранила моего друга Дэвида Джелернтера, одного из самых блестящих и проницательных ученых-компьютерщиков нашего времени. Подобно многим из моих коллег, я чувствовал, что и сам, возможно, легко могу стать следующей целью бомбиста.

Действия Кащинского были убийственны и, на мой взгляд, преступно безумны. Он – чистый луддит, но, просто сказав так, не означает парировать его аргумент; как это ни трудно для меня признать, я увидел некое достоинство в рассуждении о подобном пути одиночки. Я чувствовал в себе необходимость этому противостоять.

Взгляд Кащинского на утопию описывается, как «непреднамеренные последствия» – хорошо известная проблема, связанная с проектом и использованием технологии, и тем, что ясно укладывается в закон Мерфи - "То, что может идти не так, как надо, обязательно случится" (Фактически, это - закон Финэйгла (ср. «Если эксперимент удался, то что-то здесь не так» – прим. Перев.), который сам по себе показывает, что Финэйгл был прав.) Наше злоупотребление антибиотиками привело тому, что пока может быть самой большой из проблем [с которыми мы столкнулись]: появились бактерии, устойчивые к антибиотикам и намного более опасные, чем прежде. Похожие вещи произошли, когда попытки устранять малярийных москитов, используя ДДТ, заставили тех приобрести устойчивость к ДДТ; малярийные паразиты аналогичным образом обзавелись генами мульти-лекарственной резистентности ²⁾.

Причина многих таких неожиданностей кажется ясной: системная организация сложна, предполагая прямые и обратные взаимодействия между многими своими составляющими. Любые изменения в таких системах каскадируют способами, которые трудно предсказать; что особенно верно, когда касается деятельности человека.

Я начал показывать друзьям выдержку Кащинского из «Эпохи одухотворенных машин»; я вручал им книгу Курцвейля, позволять читать цитату, а затем наблюдал их реакцию, когда они обнаруживали, кем это написано. Примерно в то же самое время я нашел книгу Ханса Моравека «Робот: Абсолютный механизм для трансцендентного мышления». Моравек - один из лидеров в исследовании роботехники, и был основателем самой большой в мире программы ее изучения в Carnegie Mellon University. «Робот…» дал мне еще больше материала, чтобы проверить его на моих друзьях – материала, удивительно созвучного аргументу Кащинского. Например:

Биологические виды почти никогда не переживают столкновения с превосходящими конкурентами. Десять миллионов лет назад, Южная и Северная Америка были разделены затонувшим Панамским перешейком. Южная Америка, подобно нынешней Австралии, была населена сумчатыми млекопитающими, включая таковые разновидности крыс, оленей, и тигров. Когда перешеек, соединяющий Север и Южную Америку поднялся, потребовалось всего несколько тысяч лет для того, чтобы северные плацентарных виды с более эффективными метаболизмами и репродуктивными и нервными системами заместили и устранили почти всех южный сумчатых.

В полностью свободном рыночном пространстве роботы в силу своего превосходства, конечно, потеснили бы людей, как Североамериканские плацентарные потеснили южноамериканских сумчатых (и как сами люди потеснили другие бесчисленные биологические виды). Роботизированные индустрии энергично конкурировали бы между собой за материю, энергию, и пространство, как бы между прочим выведя их цену за пределы человеческой досягаемости. Неспособные получать необходимые для жизни потребности, биологические люди оказались бы выдавленными из бытия.

Однако, вероятно, некоторая отдушина все же есть, потому что мы не живем в полностью свободном рыночном пространстве. Правительство навязывает нерыночное поведение, в особенности, когда собирает налоги. Благоразумно применяемое правительственное принуждение могло бы поддерживать человеческую популяцию на высоком уровне на плодах трудов роботов сколь возможно долгое время.

Учебник утопии и Моравек только бередят рану. Они продолжают рассуждать, как нашей главной работой в 21-ом столетии будет "гарантированно продолжительная кооперация роботизированных индустрий", декретом устанавливая, что "это хорошо", ³⁾ и описывать, как всерьез опасный человек может быть "когда-нибудь переделан в безгранично суперинтеллектуального робота". Взгляд Моравека состоит в том, что роботы в конечном счете наследуют нам и ясно, что люди пребывают перед своим исчезновением.

Я решил, что пришло время говорить с моим другом Дэнни Хиллисом. Дэнни стал известным как соучредитель Thinking Machines Corporation, которая строила очень мощный параллельный суперкомпьютер. Несмотря на мою текущую должность, Руководитель научного отдела в Sun Microsystems, я все же в большей степени компьютерный архитектор, чем ученый, и я уважаю знание Дэнни информационных и физических наук больше, чем кого-либо другого из известных мне людей. Дэнни - также высоко ценящийся прогностик, думающий надолго вперед - четыре года назад он начал Long Now Foundation, который строит часы, предназначенные для работы в течение 10 000 лет, в попытке привлечь внимание к ничтожно короткому интервалу существования нашего общества. (См. «Test of Time», «Wired» 8.03, page 78.)

И потому я полетел в Лос-Анджелес специально для того, чтобы пообедать с Дэнни и его женой Пати. Я провел с ними свою теперь отработанную практику, показывая идеи и подходы, которые увидел настолько тревожащими. Ответ Дэнни – специфично сосредоточенный на сценарии Курцвейля о людях, сливающихся с роботами - прибыл незамедлительно, и весьма меня удивил. Он просто сказал, что перемены произойдут постепенно, и что мы к ним привыкнем.

Но все же, полагаю, совершенно изумленным я не был. Я видел замечание Дэнни в книге Курцвейля, где тот говорил: "Я, как и любой другой, люблю свое тело, но если тело из кремния даст мне двукратное превосходство, то предпочту его". Казалось, что мой собеседник был в мире с этим процессом и сопутствующими ему рисками, тогда как я не был.

Разговаривая и размышляя о Курцвейле, Кащинском и Моравеке, я внезапно вспомнил роман, который читал почти 20 лет назад – «Белая Чума» Франка Герберта – в котором молекулярного биолога доводят до безумия бессмысленным убийством его семейства. Чтобы отомстить, он создает и распространяет новую и очень заразную болезнь, которая убивает повсеместно, но избирательно. (Нам повезло, что Кащинский, был математик, а не молекулярный биолог.) Мне также пришел на память улей из борговского «Звездного похода», образованный очень агрессивными существами, отчасти биологической, отчасти из роботехнической природы. Борго-подобные бедствия - основной элемент научной фантастики, тогда почему же я не был обеспокоен подобными утопиями прежде? (Почему других людей не вывели из безмятежности эти кошмарные сценарии?)

Часть ответа, конечно, коренится в нашем отношении к новому – в предубеждении о дружбе с первого взгляда и несомненном приятии. Приученные к почти обыденному сожительству с крупными научными достижениями, мы должны все же согласиться с фактом, что самые выдающиеся технологии 21-ого столетия - роботехника, генная инженерия, и нанотехнология – представляют собой иную угрозу, чем та, что была прежде. Определенно, роботы, сконструированные организмы и наноботы являются фактором усиления опасности: Они способны самовоспроизводиться. Бомба взорвется только единожды - но и один «…бот» способен стать многими и быстро выйти из-под контроля.

Большая часть моей работы в течение прошлых 25 лет была посвящена компьютерной организации сети, где посылка и получение сообщений допускают возможность выходящего из-под контроля умножения. Но когда в компьютере или компьютерной сети подобное действие может обернуться неприятностью, то в худшем случае это искалечит машину или обрушит сеть или ее службы. Безудержное самоумножение в упомянутых новейших технологиях несет с собой намного больший риск: риск вещественного ущерба в физическом мире.

Каждая из этих технологий также сулит несказанные перспективы: нас увлекают грезы близости бессмертия, которые Курцвейль видит в своих мечтах робота; генная инженерия может вскоре обеспечить лечение – если не попросту излечить – большинства болезней; а нанотехнологии и наномедицина применимы к еще большему числу заболеваний. Вместе они могли значительно увеличить среднюю продолжительность и улучшить качество наших жизней. Однако с каждой из этих технологий последовательность небольших, индивидуально воспринимаемых подвижек ведет к накоплению огромного могущества и, соответственно, огромной опасности.

Чем отличилось 20-е столетие? Конечно, технологии, лежащие в основе оружия массового поражения (ОМП) - ядерного, биологического, и химического (ЯБХ) – были мощны, и оно представляло собой огромную угрозу. Но построение ядерного оружия требовало, по крайней мере, какое-то время, доступа к редкому – в действительности фактически недоступному – сырью и высоко защищенной информации; программы биологических и химических вооружений также тяготели к требованиям действий высокого уровня допуска.

Технологии 21-ого столетия - генетика, нанотехнологии и роботехника (ГНР) - является настолько мощными, что способны породить целые новые классы аварий и технологических нарушений. И что наиболее опасно, те и другие впервые оказались широко распространены и в пределах досягаемости отдельных индивидов или маленьких групп. Этим технологиям не потребуется громоздкое оборудование или редкое сырье. Знаний одиночки хватит, чтобы их применить.

Таким образом, мы стоим перед возможностью применения не только оружия массового поражения, но и дозволенного знания массового поражения (KMD), этой пагубы, гигантски усиленной мощью самоумножения.

Я думаю, не будет преувеличением сказать, что мы находимся на острие дальнейшего завершения предельного зла – зла, чья возможность распространяться далеко за пределами той, которую оружие массового поражения определило национальным государствам, к удивлению и ужасу потворствующих сему экстремалов.

Ничто на том пути, который привел меня к компьютерам, не подсказывало, что мне предстоит столкнуться с названным выше родом проблем.

Мою жизнь вела глубокая потребность задавать вопросы и находить на них ответы. Когда мне было 3 года, я уже мог читать, так что мой отец отдал меня в начальную школу, где я сидел на коленях руководителя и читал тому рассказы. Я начал школу рано, позже пропустил ступень и убежал в книги – я был невероятно мотивирован к тому, чтобы учиться. Я много спрашивал, часто досаждая этим взрослым.

Став подростком, я очень заинтересовался наукой и техникой. Я хотел стать радиолюбителем, но не имел денег, чтобы купить оборудование. Любительское радио было Интернетом своего времени: увлечением, очень захватывающим и весьма уединенным. Поиск денег на стороне моя мать задавила в корне – мне не суждено было стать радиолюбителем; я и так уже был достаточно антиобщественен.

Возможно, у меня не было большого числа близких друзей, но я был переполнен идеями. В средней школе я открыл для себя больших авторов научной фантастики. В особенности я запомнил «Есть скафандр – будешь путешествовать» Хайнлайна и «Я – робот» Азимова с его Тремя Законами Роботехники. Я был очарован описаниями космических путешествий, и хотел обзавестись телескопом, чтобы смотреть на звезды; а пока я не имел денег, чтобы купить или сделать это сам, я выискивал в библиотеке книги по изготовлению телескопа и вместо этого их читал. Я парил в своем воображении.

По четвергам ночью мои родители играли в боулинг, и мы дети оставались дома одни. В одну из таких ночей я познакомился с оригинальной версией «Стар Трека» Гена Родденберри, и программа произвела на меня большое впечатление. Я был готов принять его, в стиле вестерн – с большими героями и приключениями – представление о том, что люди имеют будущее в космосе. Видение Родденберри столетий претворилось в изображение эпохи со строгими моральными ценностями, воплощенными в кодексах, подобных Главной Директиве: не вмешиваться в развитие менее технологически продвинутых цивилизаций. Это было невероятно привлекательно для меня; этические люди, не роботы, доминировали в этом будущем, и я воспринял мечту Родденберри, как часть себя самого.

В средней школе я превосходил других в математике, и когда пришел неопытным студентом на технический факультет Университета Мичигана, я взял продвинутый учебный план корифеев этой дисциплины. Решение математических проблем было захватывающим вызовом, но когда я обнаружил существование компьютеров, то нашел для себя нечто намного более интересное: машина, в которую можешь вложить программу, ищущую решение проблемы, и которая способна быстро проверить это решение по его нахождении. Компьютер имел ясное понимание правильного и неправильного, истинного и ложного. Правильны ли мои идеи? Машина могла дать мне ответ. Это было очень соблазнительно.

Я был достаточно удачлив для того, чтобы получить работу, программируя первые суперкомпьютеры, и открыл для себя удивительную мощь больших машин в цифровой форме моделировать передовые проекты. Когда я в середине 1970-ых дипломированным специалистом окончил высшую школу в Беркли, то начал засиживаться допоздна, часто на всю ночь, изобретая новые миры в компьютерах.

В «Муке и экстазе», биографическом романе Ирвинга Стоуна о Микеланджело, Стоун очень образно описал то, как Микеланджело высвобождал статуи из глыб, "развеивая мраморные чары", вырезая по образам в своей голове ⁴⁾. В моменты моего наибольшего вдохновения, программное обеспечение в компьютере появлялось тем же самым способом. Как только внутри меня возникал образ, я чувствовал, что это уже пребывает там, в машине, ожидая, чтобы быть выпущенным. Ночное бдение казалось малой ценой, чтобы дать этому свободу - чтобы придать идее законченную форму.

После нескольких лет в Беркли я начал отсылать кое-что из программного обеспечения, которое я написал – инструкции в системе Паскаля, приложения к Unix, и редактор текста названный «vi» (который, к моему удивлению, является все еще широко используемым более, чем 20 лет спустя) - другим, тем, которые имели подобный миникомпьютеры – небольшой PDP-11 и VAX. Эти приключения с программным обеспечением в конечном счете превратились в версию Беркли операционной системы Unix, которая стала личным "катастрофой успеха" - так много людей хотели ее иметь, что я так никогда и не закончил мою диссертацию. Вместо этого я выполнил работу для DARPA (Defense Advanced Research Projects Agency - Управление перспективных исследовательских программ) по приложению Unix Беркли к Интернету и отладке ее надежности и применимости к эффективному управлению большими исследовательскими приложениями. Все это было и великой забавой, и очень полезным. И, честно говоря, я не видел никаких роботов здесь или где-нибудь поблизости

Однако, к началу 1980-ых, я потонул. Выпуски Unix были очень успешны, и мой небольшой проект сам по себе вскоре имел деньги и небольшой штат, но проблемой в Беркли всегда были не деньги, а место для офиса – не было комнаты для помощи, в которой проект нуждался, и когда показались на горизонте другие основатели Sun Microsystems, я ухватился за этот шанс, чтобы присоединиться к ним. В Sun долгие трудовые часы продолжились в первые дни рабочих станций и персональных компьютеров, и я получал удовольствие, участвуя в создании продвинутых микропроцессорных и Интернет-технологий, типа Java и Jini.

Из всего сказанного, я полагаю, понятно, что я – не луддит. Скорее я всегда имел сильную веру в ценность научного поиска истины и в способность большой техники нести материальный прогресс. Индустриальная Революция неизмеримо улучшила общую жизнь за последнюю пару столетий, и я всегда полагал, что мой род деятельности состоит в организации построения заслуживающих внимания решений реальных проблем, решения каждой проблемы во времени.

Я не был разочарован. Моя работа имела большее воздействие, чем я даже надеялся, и более широко использовалась, чем я мог разумно предполагать. Я потратил предыдущие 20 лет, все еще пытаясь выяснить, как делать компьютеры столь же надежными, какими мне хочется, чтобы они были (они все еще далеки от этого), и как сделать их простыми в использовании (цель, которая обрела даже еще сравнительно меньший успех). Несмотря на некоторый прогресс, проблемы, которые остаются, кажутся даже более обескураживающими.

Но в то время как я осознал наличие моральных дилемм, окружающих технологические результаты в областях подобных разработке вооружений, я и не предполагал, что я буду противостоять подобным проблемам в поле моей собственной деятельности, или, по крайней мере, не ожидал так скоро.

Вероятно, всегда трудно увидеть большее (чем ожидаешь) воздействие, в то время как находишься в вихре перемены. Неспособность понимать последствия наших изобретений, в то время, как мы находимся в экстазе открытия и усовершенствования, кажется, является общей ошибкой ученых и технологов; нас долго водила все перекрывающая страсть знать – что лежит в природе научного поиска – не останавливаясь, чтобы заметить, что движение к более новым и более мощным технологиям может забрать жизнь, как таковую

Я долго представлял себе, что большие подвижки в информационных технологиях производятся не трудами ученых-компьютерщиков, компьютерных архитекторов, или инженеров-электриков, но работами ученых-физиков. Физики Стивен Волфрам и Бросл Хасслакэр в начале 1980-ых познакомили меня с теорией хаоса и нелинейных систем. В 1990-ых я узнал о сложных системах из бесед с Дэнни Хиллисом, биологом Стюартом Кауффманом, нобелевским-лауреатом, физиком Марри Джелл-Манном, и другими. В последний раз понимание невероятных возможностей молекулярной электроники дали мне Хасслакэр и инженер-электрик и прикладной физик Марк Тростник.

В моей собственной работе в качестве со-дизайнеоа трех архитектур микропроцессора – SPARC (scalalable processor architecture – наращиваемая архитектура процессора, т.е. архитектура процессоров с изменяемой производительностью ), picoJava, и MAJC - и как проектировщик нескольких их исполнения, мне пришлось глубоко и непосредственно познакомиться с законом Мура. В течение многих десятилетий закон Мура правильно предсказывал экспоненциальных характер скорости усовершенствования полупроводниковых технологий. До прошлого года я полагал, что она могла бы соответствовать закону Мура только примерно до 2010 года, когда окажутся достигнутыми некоторые физические пределы. Для меня не было очевидным, что новая технология своевременно возникнет специально для того, чтобы удерживать гладкость прогресса.

Но из-за недавнего быстрого и радикального прорыва в молекулярной электронике - где индивидуальные атомы и молекулы заменяют литографически вытянутые транзисторы – и, соответственно, в нано-масштабных технологиях, мы будем способны выполнить или даже превысить в течение последующих 30 лет скорость усовершенствований согласно закону Мура. К 2030 г., мы, вероятно, будем способными строить машины, в количестве, в миллион раз более мощные, чем нынешние персональные компьютеры – что достаточно для того, чтобы осуществить мечты о Курцвейля и Моравека.

Поскольку эта огромная вычислительная мощь объединена с управляемыми успехами физических наук и с новыми, глубокими откровениями в генетике, высвобождается непомерная преобразовательная мощь. Названные комбинации открывают возможность полностью перепроектировать мир – к лучшему или к худшему: процессы воспроизведения и развития, которые были ограничены естественным миром, становятся царством человеческого произвола.

В проектировании программного обеспечения и микропроцессоров, я никогда не испытывал чувства, что разрабатываю разумный механизм. Программное обеспечение и аппаратные средства ЭВМ настолько хрупки, а способности машины "думать" так ясно отсутствуют, что, даже как возможность, подобное всегда казалось очень далеким будущим.

Но теперь, в перспективе достижения компьютерной мощности человеческого уровня приблизительно уже через 30 лет, предлагается новая идея: то, что я возможно работаю, чтобы создать инструментарий, который позволит построить технологии, могущие вытеснить нас, как биологический вид. Как я ощущаю себя при этом? Очень дискомфортно. Профессионально борясь за то, чтобы строить надежные системы программного обеспечения, мне кажется более, чем вероятным, что такое будущее не удастся так, как это некоторые люди могут себе вообразить. Мой личный опыт позволяет предположить, что мы слишком переоцениваем наши проектные возможности.

Учитывая невероятную мощь этих новых технологий, разве мы не должны задаться вопросом, как мы наилучшим образом сможем сосуществовать с ними? И если наше собственное исчезновение вероятный, или даже возможный результат нашего же технологического развития, то разве мы не должны двигаться с величайшей предосторожностью?

Суть мечты о роботах, прежде всего в том, что разумные механизмы смогут делать нашу работу за нас, позволяя нам жить беззаботно и возвращая нас в Эдем. Все же в своей истории подобных идей «Дарвин среди машин» Джордж Дизон предупреждает: "В игре жизни и эволюции за столом три игрока: люди, природа и машины. Я твердо на стороне природы. Но подозреваю, что природа на стороне машин". Как мы видим, Моравек с этим согласен, полагая, что мы вполне не сможем пережить столкновение с превосходящими нас видами роботов.

Как скоро такой разумный робот мог бы быть построен? Нарастающий прогресс в вычислительной мощи позволяет оценить такую возможность к 2030 г. И как только разумный робот появится, то это станет всего маленьким шагом к роботу, как виду – к разумному роботу, который может создавать продвинутые копии самого себя.

Вторая мечта о роботах состоит в том, что мы постепенно заменим себя по частям роботехникой, приближающей нас к бессмертию путем перегрузки в себя нашего сознания; именно об этом процессе Дэнни Хиллис думает, что мы постепенно привыкнем к нему, и это Рэй Курцвейль изящно детализовал «Эпохе одухотворенных машин». (Намеки на сказанное выше мы начинаем видеть во внедрении компьютерных устройств в человеческое тело, как проиллюстрировано на обложке «Wired», 8.02.)

Но если мы перегрузили себя в нашу технику, что является возможным, то останемся ли мы после этого собой или хотя бы даже просто людьми? Мне кажется намного более вероятным, что внутрироботное существование не походило бы на человеческое ни в каком смысле, что мы поймем: роботы ни по какому не могут быть нашими детьми, и эта дорожка вполне может привести к утрате нашей человеческой природы.

Генная инженерия обещает реконструировать сельское хозяйство, увеличивая плодоносность растений при сокращении использования пестицидов; создавать десятки тысяч новых разновидностей вирусов, бактерий, растений и животных; подменять воспроизводство или совмещать его с клонированием; создавать лекарства для многих болезней, увеличивая нашу продолжительность жизни и наше качество жизни; и многое, многое другое. Сегодня мы с уверенностью знаем, что эти глубокие изменения в биологических науках неизбежны и являются вызовом всем нашим представлениям о том, что такое жизнь.

Такие технологии, как клонирование человека, в особенности подняли наше понимание глубины этических и моральных проблем, перед которыми мы оказались. Если, например, мы продублировали себя в несколько отдельных и неравных разновидностей, используя мощь генной инженерии, то под угрозой оказывается само понятие равенства, являющееся важнейшим краеугольным камнем нашей демократии.

Не будет неожиданностью утверждение, что, учитывая невероятную мощь генной инженерии, суть проблемы безопасности в самом ее применении. Мой друг Аморай Ловинс недавно совместно с Хантером Ловинсом написал передовицу, в которой дал представление о некоторых из этих опасностей с точки зрения экологии. Среди их опасений то, что "новая ботаника выравнивает развитие растений по экономической, не эволюционной успешности. " (См. "Сказание о двух ботаниках", страница 247.) Профессиональная деятельность Аморая долгое время была сосредоточена на рассмотрении энергетической и ресурсной эффективности взятых во всей полноте систем, созданных человеком; такой взгляд на систему в целом часто находит простые, мудрые решения проблем, при ином подходе выглядящих трудными, и с пользой может быть приложен и к данному случаю.

Прочтя статью Ловинса, я видел в «Нью-Йорк Таймс» (19 ноября 1999) оппонирующую ему передовицу Грегга Истербрука о генетически-модифицированных зерновых культурах, под заголовком: "Продовольствие для будущего: Когда-нибудь в рис будет встроен витамин A. Если Луддиты не победят".

Являются ли луддитами Аморай и Хантер Ловинсы? Конечно, нет. Я полагаю, что все мы согласились бы, что золотой рис со встроенным витамином A является, вероятно, хорошей вещью, если был создан с надлежащей осторожностью и уважением к вероятным опасностям, связанным с перемещением генов через межвидовые границы.

Понимание опасностей, свойственных генной инженерии, начинает расти, как это отражено в передовице Ловинса. Широкая публика знает, и беспокоится о генетически измененных пищевых продуктах, и кажется, отклоняет представление о том, что таким пищевым продуктам можно разрешить быть без специальных отметок.

Но технология генной инженерии ушла уже очень далеко вперед. Как отмечает Ловинс, USDA уже одобрил для неограниченного выпуска приблизительно 50 генетически модифицированных зерновых культур; больше, чем половина мирового производства сои и одной трети зерна теперь содержит гены, присоединенные к ним от других форм жизни.

В то время как здесь существует множество важных проблем, главный объект моего собственного беспокойства в отношении генной инженерии является более узким: то, что это дает власть, чтобы - с военными ли целями, случайно, или в результате преднамеренного террористического акта - создать Белую Чуму.

Много чудес нанотехнологии вначале предполагались Нобелевским лауреатом, физиком Ричардом Фейнманом в его речи в 1959 г., впоследствии изданной под названием "У сути множество пространства". Книгой, которая произвела на меня большое впечатление в середине 80-ых, была «Инструменты творения» Эрика Дрекслера, в которой он прекрасно описал, как манипуляция материей на атомном уровне могла бы создать утопическое будущее изобилия, где почти все могло бы изготавливаться дешево, а едва ли не всякая вообразимая болезнь или физическая проблема решались, используя нанотехнологию и искусственный интеллект.

Последующая книга, «Будущее без препятствий: Нанотехнологическая революция», которую Дрекслер написал в соавторстве, воображает некоторые из перемен, которые могли бы иметь место в мире, в котором в наших руках оказались "ассемблеры" молекулярного уровня. Они могли сделать возможным невероятно дешевую солнечная энергию, лечение рака и насморка усилением человеческой иммунной системы, чрезвычайно полная очистка окружающей среды, возрождение исчезнувших биологических видов и фантастически недорогие карманные суперкомпьютеры (фактически, любой товар, произведенный посредством ассемблеров, по стоимости не будет большим, чем сделанный из древесины - космический полет окажется более доступным, чем нынешнее путешествие через океан).

Я помню доброе отношение к нанотехнологии после прочтения «Инструментов творения». Как технологу, это дало мне, ощущение спокойствия - то есть нанотехнология показала нам, что невероятный прогресс возможен, а в действительности, вероятно, и неизбежен. Если нанотехнология была нашим будущим, то я не чувствовал себя задавленным необходимостью решать так много проблем в настоящем. Я добрался бы к утопическому будущему Дрекслера в назначенное время; и при том мог бы также больше наслаждаться жизнью здесь и теперь. Учитывая его видение, было бессмысленным корпеть по ночам все время.

Фантазия Дрекслера также вела к большой доброй забаве. Время от времени я описывал чудеса нанотехнологий другим, которые об этом не слышали. Подразнив их всеми вещами, которые описал Дрекслер, я сам от себя назначал им домашнее задание: "Используйте нанотехнологию, чтобы создать вампира; а для дополнительного кредита сотворите противоядие".

Вместе с этими чудесами прибыли и откровенные опасности, о которых я был хорошо осведомлен. Поэтому я заявил на нанотехнологической конференции в 1989 г.: "Мы не можем просто делать нашу науку и при этом не волноваться об этических проблемах" ⁵⁾, но мои последующие беседы с физиками убедили меня, что нанотехнология пока даже не может работать - или, по крайней мере, не заработает как-нибудь вскоре. Спустя некоторое время после этого, я переехал в Колорадо к дрянным занятиям, как я установил, и переместил центр своей работы на программное обеспечение для Интернета, в особенности на идеях, которыми стали Java и Jini.

Потом, прошлым летом, Бросл Хасслакэр сказал мне, что наномасштабная молекулярная электроника стала теперь практической. Эти было новостью, по крайней мере, для меня и, я думаю, для многих людей - и это радикально изменило мое мнение о нанотехнологии. Пришлось вернуться к «Инструментам творения». Перечитывая работу Дрекслера после более чем 10 летнего перерыва, я встревожился, оттого что понял, как мало я запомнил из его длинной главы, названной "Опасности и надежды", включая обсуждение того, как нанотехнологии могут стать "двигателями разрушения". Действительно, при перепрочтении данного предостережения сегодня, я поразился тому, какими наивными у Дрекслера выглядят некоторые из предложений предосторожности, и насколько больше я сужу об опасности теперь чем, даже она виделась мне тогда. (Имевший с нанотехнологией ожиданные и описанные многочисленные технические и политические проблемы, Дрекслер создал в конце 1980-ых Институт Предвидения, "чтобы помочь подготовить общество к ожидаемым продвинутым технологиям" – и самой важной из них - нанотехнологии.)

Крупный прорыв к ассемблерам кажется весьма вероятным в течение следующих 20 лет. Молекулярная электроника - новая подобласть нанотехнологии, где круг элементов образован отдельными молекулами - должна вызреть быстро и в течение этого десятилетия стать чрезвычайно прибыльной, становясь причиной все больше возрастающих инвестиций во все другие области этой отрасли.

К сожалению, как с ядерной технологией, для нанотехнологии намного легче найти разрушительное применение, чем конструктивное. Нанотехнология имеет очевидные военные и террористические цели использования, и не следует становиться самоубийцей, выпустив в широком масштабе разрушительное нанотехнологическое устройство - такие устройства могут быть построены для избирательного поражения, например, только некоторой географической области или группы людей, обладающих генетической специфичностью.

Немедленный результат сделки Фауста состоит в получении большой мощи нанотехнологии и того, что мы чревато для себя рискуем - рискуем уничтожить биосферу, от которой зависит вся жизнь

Как объяснил Дрекслер: " Растения" с "листьями", не более эффективные, чем нынешние солнечные элементы могли бы конкурировать с реальными растениями, переполняющими биосферу несъедобной листвой. Жесткие всеядные "бактерии" могли бы конкурировать с реальными бактериями: они распространились бы подобно носимой ветром пыльце, стремительно бы размножались, и обратили бы биосферу в прах в течение дней. Опасные репликаторы легко могут оказаться слишком жесткими, маленькими и быстро распространяющимися, чтобы быть остановленными - по крайней мере, если мы к этому не подготовимся. Мы уже имеем достаточно неприятностей с контролем многих вирусов управления и плодовых мушек.

Среди знатоков нанотехнологии эта угроза стала известной как проблема "серой липучки" Хотя массы безудержно размножающихся организмов не должны быть серыми или клейкими, термин "серая липучка" подчеркивает, что репликаторы, способные стирать жизнь, возможно более отвратительны, чем разновидность крабовой травы. Они могли бы иметь превосходство в эволюционном смысле, но это качество не делает их ценными.

Угроза серой липучки делает совершенно ясной одну вещь: мы не можем позволить себе некоторые виды случайностей, связанных с копированием ассемблеров.

Серая липучка стала бы, конечно, гнетущим окончанием нашего человеческого пребывания на Земле, гораздо худшим, чем просто от огня или льда, и тем, которое могло произойти от заурядной лабораторной случайности ⁶⁾.

Мощь деструктивного самовоспроизведения в генетике, нанотехнологии и роботехнике (ГНР) более всего могла бы побудить нас сделать паузу. Саморепликация - принцип работы генной инженерии, которая использует ячейки машины, чтобы копировать свои модели, и главная опасность, лежащая в основе серой липучки в нанотехнологии. Истории взбесившихся роботов, наподобие Борговских, копирующих или видоизменяющих себя, чтобы убежать из этических ограничений, наложенных на них их создателями, хорошо описаны в наших научно-фантастических книгах и кино. Возможно даже, что саморепликация может быть более фундаментальна, чем мы думали, и, следовательно, тяжелее или даже вовсе неподконтрольна. Недавняя статья Стюарта Коффмана в «Nature», названная "Саморепликация: Даже пептиды делают это", обсуждает открытие, что пептид с 32 аминокислотами может "автокатализировать свой собственный синтез". Мы не знаем насколько широко распространена эта способность, но Коффман обращает внимание на то, что она может стать намеком "на маршрут к самовоспроизведению молекулярных систем на принципах намного более широких, чем соединение оснований Уотсона-Крика" ⁷⁾.

По правде говоря, мы в течение многих лет держали в руках ясные предупреждения об опасностях, свойственных широкому распространению знания ГНР-технологий - возможность наличия знания у одного позволит уничтожить множество. Но эти предупреждения не были широко оглашены; общественное обсуждение было очевидно неадекватным. Разглашение опасностей – не прибыльно.

Ядерная, биологическая, и химическая (ЯБХ) технологии в 20-ом столетии использовались в оружии массового поражения и были по большей части военные, созданные в правительственных лабораториях. По контрасту, в 21-ом веке ГНР-технологии имеют чисто коммерческое предназначение и развиваются почти исключительно корпоративными предприятиями. В эту эпоху торжествующего меркантилизма, технология – совместно со своей служанкой-наукой - представила ряд почти волшебных изобретений, которые являются совершенно феноменально прибыльными по сравнению со всем виденным прежде. Мы настырно движемся во след обещаниям этих новых технологий в рамках теперь уже несомненной системы глобального капитализма и его разнообразных финансовых стимулов и конкурентных давлений.

Это - первый эпизод в истории нашей планеты, когда некий биологический вид собственными волюнтаристическими действиями стал опасностью, как для самого себя, так и для обширного ряда других.

Возможно, существуют близкие последовательности событий, случающиеся во многих мирах - недавно образованная планета спокойно вращается вокруг своей звезды; жизнь медленно формируется; калейдоскопической чередой выстраивается развитие существ; появляется интеллект, который, по крайней мере, до некоторого момента, представляет огромную ценность для выживания; и тогда изобретается технология. Становится ясно, что существуют такие вещи, как законы природы, что эти законы могут быть обнаружены экспериментом, и знание этих законов, может быть использовано, и чтобы спасти, и чтобы отнять жизни – и то, и другое в беспрецедентных масштабах. Признается, что наука предоставляет огромные полномочия. В озарении создаются изменяющие мир приспособления. Немногие из планетарных цивилизаций выживают на этом пути, устанавливая пределы на то, что может и что не должно быть сделано, чтобы благополучно пройти через время угроз. Другие, не столь удачливые или столь благоразумные, обречены погибнуть.

Карл Саган написал в 1994 г. в Pale Blue Dot, книгу, описывающую его видение человеческого будущего в космосе. Я только теперь понимаю, как глубока была его проницательность, и как тягостно, что я пропускаю, и вероятно, пропущу его голос. При всем его красноречии, вклад Сагана состоял не в последнюю очередь в том, что из простого здравого смысла он определил, что, наряду с простотой, многие из ведущих защитников технологий 21-ого столетия выглядя нуждающимися.

Я помню из моего детства, что моя бабушка была настоятельно против злоупотребления антибиотиками. Она еще до Первой Мировой войны работала медсестрой и имела общепринятое тогда отношение к тому, что лечение антибиотиками, если они не были абсолютно необходимы, плохо для человека.

Она не то чтобы была врагом прогресса. В течение своих почти 70-летних трудов на поприще медсестры, она была свидетелем многих усовершенствований; мой дедушка, диабетик, извлек выгоду из очень продвинутых методов лечения, которые становились доступными в течение всей его жизни. Но она, подобно многим уравновешенным людям, вероятно, думала бы теперь, что мы очень высокомерны, разрабатывая роботизированную "заместительную разновидность", когда сами, очевидно, имеем столько неприятностей, занимаясь относительно простыми делами, и столько неприятностей, управляя - или даже просто понимая – себя самих.

Теперь я понимаю, что внутри нее было представление о природе порядка жизни, о потребности жить сообща и об уважении этого порядка. С этим уважением приходит и необходимое смирение, тогда как мы с нашей наглостью в начале 21-ого столетия испытываем недостаток ощущения опасности. Представления здравого смысла, основанные на таком отношении, часто более правильны по сравнению свидетельствами науки. Очевидная недолговечность и неэффективность человеческих систем, которые мы строили, должны дать нам всем возможность остановиться; недолговечность систем, которые я разрабатывал, меня, конечно же, смиряет.

Мы должны были извлечь уроки из создания первой атомной бомбы и окончания гонки вооружений. Мы поступали не слишком хорошо тогда, и параллели к нашей текущей ситуации также не дают успокоиться.

Попытка построить первую атомную бомбу была предпринята во главе с блестящим физиком Дж. Р. Оппенгеймер. Оппенгеймер естественно не имел политических интересов, но мучительно осознал, что он воспринимает, как серьезную угрозу западной цивилизации от Третьего Рейха, причем угрозу безусловно серьезную из-за возможности того, что Гитлер имел возможность получить ядерное оружие. Воодушевленный этим беспокойством, он привнес свой могучий интеллект, страсть к физике, и харизматические навыки лидера в Лос-Аламосу и возглавил быстрое и успешное усилие невероятного объединения великих умов, чтобы быстро изобрести бомбу.

Что является поразительным, так это то, как было удалено данное усилие, продолжавшееся так естественно после начального импульса. Вскоре после V-E-дня на встрече с некоторыми физиками, которые чувствовали, что проект возможно следует остановить, Оппенгеймер отстаивал необходимость его продолжения. Заявленная им причина кажется немного странной: не из-за беспокойства о больших жертвах при вторжении в Японию, но потому, что Организация Объединенных Наций, которой предстояло быть скоро сформированной, должна иметь представление об атомном оружии. Более вероятной причиной того, чтобы проект продолжался, является рекламировавшийся момент - первое атомное испытание, «Троица», было почти совсем близко.

Мы знаем, что к подготовке этого первого атомного испытания физики перешли, несмотря на большое количество возможных опасностей. Первоначально они волновались, основываясь на расчетах Эдварда Теллера, что атомный взрыв может поджечь атмосферу. Пересмотренное вычисление уменьшило опасность разрушения мира до шанса "три из миллиона". (Теллер говорит, что позднее он был способен отклонить перспективу атмосферного воспламенения полностью.) Оппенгеймер, тем не менее, был достаточно обеспокоен результатом «Троицы», так что принял меры к возможной эвакуации юго-западной части штата Нью-Мексико. И, конечно, была очевидная опасность старта ядерной гонки вооружений.

В течение месяца после того первого, успешного испытания две атомных бомбы разрушили Хиросиму и Нагасаки. Некоторые ученые предлагали, чтобы бомба просто была продемонстрирована, а не сброшена на японские города - говоря, что это намного улучшит возможности для контроля над вооружениями после войны - но тщетно. После трагедии Перл-Харбора, все еще свежей в умах американцев, было бы очень трудно для президента Трумэна приказать демонстрировать оружие, а не применить его, как он и сделал - желание быстро закончить войну и сохранить жизни, которые были бы потеряны при любом вторжении в Японию, было очень сильно. Тем не менее, отвергнутая правда была, вероятно, очень проста: как позднее сказал физик Фримен Дайсон, " Причина того, что она была сброшена только в том, что никто не имел мужества или прозорливости, чтобы сказать нет ".

Важно понять, насколько потрясенными были физики, после бомбардировки Хиросимы, 6 августа 1945. Они описывают, как накатывали эмоции: сначала, чувство исполненного долга, что бомба сработала, затем ужас о всех людях, которые были убиты, и наконец чувство уверенности, что ни в коем случае другая бомба не должна быть сброшена. Однако другую бомбу, конечно, сбросили - на Нагасаки - спустя всего три дня после бомбежки Хиросимы.

В ноябре 1945, спустя три месяца после атомных бомбардировок, Оппенгеймер стоял твердо позади позиции ученых, говоря, "невозможно быть ученым, если не полагаешь, что знание мира и могущество, которое это дает, представляют собой вещи, являющиеся сущностной мерой человечности, и что используешь их, чтобы помочь в распространении знания и будучи готовым брать на себя последствия этого".

Оппенгеймер, по сообщению Эчисон-Лилиенталь, продолжал работать с другими, которые, как говорит Ричард Роудс в своей недавней книге «Видение Технологии», «нашли способ предотвратить тайную ядерную гонку вооружений, не обращаясь к вооруженному мировому правительству"; их предложение по форме было передачей работ по ядерному оружию от национальных государств к международному агентству.

Это предложение привело к Плану Баруха, который был представлен Организации Объединенных Наций в июне 1946, но никогда не принят (возможно, потому, что, как предположил Роудс, Бернард Барух "настоял на обременении плана согласованными санкциями, " неизбежно обрекая его тем самым, даже и при том, что он будет " так или иначе почти наверняка отклонен сталинской Россией "). Другие усилия подвигнуть к разумным шагам по интернационализации ядерной энергии, чтобы предотвратить гонку вооружений, наталкивались или на американскую политику и внутреннее недоверие, или на недоверие Советов. Возможность избежать гонки вооружений была утрачена и очень быстро.

Два года спустя, в 1948 г., Оппенгеймер, казалось, достиг другого уровня в своих размышлениях, говоря, " В некотором роде изначального смысла, который не может совершенно исчезнуть ни в какой вульгарности, ни в каком юморе, ни в каком преувеличении, физики познали грех; и это то знание, которое они не могут потерять".

В 1949 г. Советы взорвали атомную бомбу. К 1955 г. и США, и Советский Союз проверили водородные бомбы, пригодные для доставки самолетом. И тем самым ядерная гонка вооружений началась.

Почти 20 лет назад, в документальном «Дне после Троицы» Фримен Дайсон суммировал научные позиции, которые привели нас к ядерной пропасти:

"Я прочувствовал это на себе. Блеск ядерного оружия. Он непреодолим, если приходишь к нему, как ученый. Чувствовать его в своих руках, выпускать его энергию, которой питаются звезды, заставлять исполнять приказы. Чтобы творить им чудеса – поднимать миллионы тонн скал в небо. Это – нечто, что дает людям иллюзию неограниченной власти, и это, до некоторой степени то, что ответственно за все наши неприятности - то, что мог бы назвать техническим высокомерием, которое надмевает людей, когда они видят то, что они могут сделать своими умами"⁸⁾.

Теперь, как и тогда, мы - создатели новых технологий и звезд предполагаемого будущего, влекомые на сей раз большей финансовой наградой и глобальным соревнованием, несмотря на явные опасности и едва оценивая, на что все это может походить, чтобы пробовать жить в мире, который является реалистическим результатом того, что мы творим и воображаем.

В 1947, Бюллетень ученых-атомщиков начал помещать на своей обложке Часы Судного Дня. В течение больше чем 50 лет, они показывали оценку относительной ядерной опасности, перед которой мы оказались, отражая изменяющиеся международные условия. Часы переводились 15 раз и сегодня, показывая девять минут до полуночи, отражают продолжающуюся и реальную опасность ядерного оружия. Недавнее дополнение Индии и Пакистана к списку ядерных держав увеличило угрозу недостижения цели его нераспространения, и эта опасность была отражена, подвинув в 1998 г. стрелки ближе к полуночи

Перед каким количеством опасностей мы стоим сейчас, не только от ядерного оружия, но и от всех продвинутых технологий? Как высоки риски нашего исчезновения?

Философ Джон Лесли изучил этот вопрос и заключил, что риск человеческого исчезновения - по меньшей мере 30 процентов⁹⁾, в то время как Рей Курцвейль полагает, что мы имеем "больше, чем даже шанс на удачу, " протестуя, что его "всегда обвиняли в оптимизме". Эти оценки не только не вдохновляют, но еще и не включают вероятности многих неприятных исходов, что скрывает близость угасания.

Сталкиваясь с такими оценками, некоторые серьезные люди уже предлагают, чтобы мы просто двигались за пределы Земли настолько быстро, насколько это возможно. Мы бы колонизировали галактику, используя исследования фон Нейманна, перепрыгивая от одной звездной системы к другой, по ходу дублируя самих себя. Этот шаг почти наверняка будет необходим спустя 5 миллиардов лет (или скорее, если нашей солнечной системе будет грозить бедой надвигающееся столкновение нашей галактики с Туманностью Андромеды в течение ближайших 3 миллиардов лет), но если мы принимаем во внимание слова Курцвейля и Моравека, то это может стать необходимым уже к середине текущего столетия.

Каковы здесь моральные последствия? Если мы должны быстро переместиться за пределы Земли для выживания вида, то кто примет ответственность за судьбу тех (в конце концов, большинства из нас), кого оставили? И если даже мы рассеемся между звезд, не будет ли вероятным, что мы можем прихватить с собой наши проблемы или обнаружить, позднее, что они следовали за нами? Судьба нашего вида на Земле и наша судьба в галактике кажутся неразрывно связанными друг с другом.

По другой идее нужно установить ряд щитов, чтобы оградить себя от каждой из опасных технологий. Стратегическая Оборонная Инициатива, предложенная администрацией Рейгана, была попыткой спроектировать такой щит против угрозы ядерного нападения из Советского Союза. Но как наблюдал Артур К. Кларк, который был посвящен в обсуждение проекта: "Хотя это могло бы быть возможным, выстроить с большими затратами локальные защитные системы, которые позволят отклонить «только» небольшой процент баллистических ракет, сильно разрекламированная идея о национальном зонтике была полной ерундой. Луис Альварес, возможно самый большой экспериментальный физик этого (двадцатого) столетия, отметил мне, что защитники таких схем были 'очень яркими парнями без здравого смысла".

Кларк продолжил далее: "Вглядываясь в мой часто туманный хрустальный шар, я подозреваю, что полная защита действительно могла бы быть возможна через столетие или около этого. Но вовлеченная в это технология произвела бы, как побочный продукт, оружие настолько ужасное, что никто не будет беспокоиться ни о чем столь же примитивным, как баллистические ракеты " ¹⁰⁾.

В «Инструментах творения» Эрик Дрекслер предложил, чтобы мы строили активный нанотехнологический щит - как форму иммунной системы биосферы – чтобы предохранить себя от опасных репликаторов всех видов, которые могли бы убежать из лабораторий или, иначе, созданы злонамеренно. Но щит, который он предложил, сам по себе будет чрезвычайно опасен - ничто не воспрепятствует ему развивать аутоиммунные механизмы и напасть непосредственно на саму биосферу ¹¹⁾.

Близкие трудности возникают и при создании щитов против робототехники и генной инженерии. Эти технологии слишком мощны, чтобы быть ограниченными в рамках текущих интересов; даже если защиту подобного типа возможно было бы осуществить, то побочные эффекты их развития были бы, по крайней мере, столь же опасны, как сами технологии, от которых мы пытаемся защититься.

Таким образом, все эти возможности или нежелательны, или недостижимы, или и то, и другое вместе. Единственной реальной альтернативой, как мне кажется, является отступление: нужно ограничить развитие технологий, которые являются слишком опасными, ограничивая нашу погоню за некоторыми видами знания.

Да, я знаю, знание хорошо, как поиск новых истин. Мы искали знание, начиная с древних времен. Аристотель открыл свою «Метафизику» простым утверждением: "Все мужчины по своей природе желают знать. " Мы долго договаривались о ценности открытого доступа к информации, как ценностном краеугольном камне нашего общества, и признаем проблемы, которые возникают с попытками ограничить доступ и развитие знания. Недавно мы пришли к уважению научного знания.

Но, несмотря на значимые исторические прецеденты, если открытый доступ к знанию и его неограниченное развитию в дальнейшем ставит нас всех перед очевидной опасностью исчезновения, то здравый смысл требует того, чтобы мы повторно перепроверили даже эти основные, давно укорененные убеждения.

Ницше был тем, кто предупредил нас, в конце 19-ого столетия, не только о том, что Бог умер, но и что "вера в науку, которая после всего существует неопровержимо, не может быть обязана своим происхождением исчисленной полезности; она должна была возникнуть вопреки тому, что бесполезностью и опасностью 'воли к истине' и 'правды любой ценой' доказано ее постоянство ". Она и есть та будущая опасность, с которой мы столкнулись лицом к лицу – последствия нашего поиска истины. Истина, которую ищет наука, конечно, можно, считать опасной заменой Бога, если, что вероятно, устремиться к своему собственному исчезновению.

Если бы мы, как вид смогли прийти к согласию, чего мы хотели бы, куда нам следовало бы направляться и почему, тогда мы смогли бы сделать наше будущее намного менее опасным - тогда мы смогли бы понять то, с чем мы можем и должны оставить. Иначе, мы легко представить себе гонку вооружений, развивающуюся посредством ГНР-технологий, как это произошло в 20-ом столетии с ЯБХ-технологиями. Возможно, это - величайший риск, начав такую гонку однажды, очень трудно ее закончить. На сей раз - в отличие от Манхэттенского Проекта - мы не находимся в состоянии войны, оказываясь перед непримиримым врагом, который угрожает нашей цивилизации; вместо этого, нас сталкивают сюда нашими привычками, нашими желаниями, нашей экономической системой и нашей гонкой за знаниями.

Я полагаю, что всем нам жаль, что наш курс не может быть определен нашими коллективными ценностями, этикой, и моралью. Если бы мы получили больше коллективной мудрости за несколько предыдущих тысяч лет, то диалог о таком конце был бы более практичным, и невероятная мощь, нами высвобождаемая, не была бы для нас столь беспокоящей.

Можно подумать, что мы могли бы подвигнуться к такому диалогу нашим инстинктом самосохранения. Индивиды, очевидно, такое желание имеют, но все же наше поведение, как вида в целом, кажется, нам не благоволит. В случае с ядерной угрозой, мы часто были неискренними с самими собой и друг с другом, сильно увеличивая, тем самым, риски. Мотивировалось ли это политически, или потому что мы не хотели думать вперед, или потому что, столкнувшись с такими серьезными угрозами, мы действовали абсурдно из страха, я не знаю, но все это не служит хорошим предзнаменованием.

Новые ящики Пандоры – генетики, нанотехнологии, и роботехники – почти открыты, мы, кажется, это едва замечаем. Идеи нельзя запихнуть обратно в коробку; в отличие от урана или плутония, не нужно добывать и очищать, и они могут свободно копироваться. Они отсутствуют лишь только, когда отсутствуют. Черчилль заметил, в известном неуклюжем комплименте, что американские люди и их лидеры "неизменно делают правильную вещь, после того, как они исследовали все другие возможности". В этом случае, однако, мы должны действовать более прозорливо, чтобы, наконец, сделать только правильную вещь, иначе, возможно, будет упущен шанс делать что-либо вообще.

Как сказал Торео, " Не мы едем по железной дороге; она едет по нам"; и это - то, с чем мы должны бороться в наше время. Вопрос в том, кто хозяин положения? Переживем ли мы наши технологии?

Мы продвигаемся в это новое столетие без плана, без контроля, без тормозов. Не слишком ли далеко зашли мы уже по дорожке вниз, чтобы менять курс? Я так не думаю, но мы даже не пробуем, и последний шанс утвердить контроль – в точке, после которой обвал – быстро приближается. Мы получили наших первых любимцев-роботов, так же как и коммерчески доступные методы генной инженерии, а наши наномасштабные методы быстро продвигаются. Хотя развитие этих технологий протекает через множество шагов, вовсе не является обязательным, что последний шаг в доказательстве технологии станет большим и трудным, как это случилось в Манхэттенском Проекте и испытании Троицы. Прорыв к дикой саморепликации в роботехнике, генной инженерии, или нанотехнологии может случиться внезапно, воспроизводя изумление, которое мы испытали, когда узнали о клонировании млекопитающего.

И все же я полагаю, что мы в действительности имеем сильную и твердую основу для надежды. Наши попытки иметь дело с оружием массового поражения в прошлом столетии предоставляют нам во внимание светлый опыт отступления: односторонний американский отказ без предварительных условий от развития биологических вооружений. В основе этой остановки осознание того, что, к тому времени, когда окажутся востребованными огромные усилия по созданию этого ужасного оружия, оно может уже легко быть продублировано и попасть в руки наций-разбойников или террористических групп.

Очевидным выводом было то, что мы, стремясь иметь это оружие, создадим самим себе дополнительные угрозы, и что мы были бы более безопасны, если мы не стремились к этому. Мы воплотили наше прекращение создания биологических и химических вооружений в Соглашении по биологическим вооружениям (СБВ) в 1972 г. и в Соглашении по химических вооружениям (СХВ) в 1993 г. ¹²⁾.

Что касается продолжающейся значительной угрозы от ядерного оружия, с которой мы прожили до сего дня более 50 лет, то недавнее отклонение американским Сенатом Всестороннего Договора о запрещении ядерных испытаний делает ясным, что прекращение ядерных вооружений не будет политически легким. Но с окончанием холодной войны у нас появилась уникальную возможность предотвратить многополярную гонку вооружений. Основываясь на СБВ и СХВ ограничениях, успешная отмена ядерного оружия могла помочь нам обрести привычку отказа от опасных технологий. (Действительно, избавляясь от всего, кроме 100 ядерных вооружений по всему миру - приближенно соответствующих полной разрушительной мощи Второй Мировой Войны и значительно более легкой задаче - мы могли устранить саму угрозу исчезновения ¹³⁾) .

Проверка действенности отказа будет трудной проблемой, но разрешимой. Нам удалось уже сделать много работы, уместной в контексте СБВ и других соглашений. Наша главная задача будет состоять в том, чтобы применить это к технологиям, которые являются естественно намного больше коммерческими, чем военные. Существенная потребность здесь - обеспечение прозрачности, поскольку трудность проверки непосредственно пропорциональна трудности различения деятельности в рамках отказа и по закону.

Я искренне полагаю, что ситуация в 1945 была проще, чем та, в которой мы теперь оказываемся: ядерные технологии были рационально разделимы по коммерческому и военному использованию, и контролю помогали природа ядерных исследований и простота, с которой радиоактивность могла быть измерена. Исследования относительно возможности военного применения могли быть выполнены в национальных лабораториях типа Лос-Аламоса, с результатами, хранимыми в тайне максимально долго.

ГНР-технологии ясным образом не делятся по своему использованию на коммерческие и военные; учитывая их рыночный потенциал, трудно представить себе, что к ним будут стремиться, только в национальных лабораториях. По широко распространенной коммерческой нацеленности на них, предписание отказа будет требовать режима проверки, подобного таковой для биологических средств, но в беспрецедентном масштабе. Это, неизбежно, вызовет напряжения между неприкосновенностью всего личного, и требованиями предоставления информации о собственности фирмы, и необходимостью проверок, чтобы защитить нас всех. Мы несомненно столкнемся с сильным сопротивлением этой потере секретности и свободы действия.

Проверка прекращения некоторых ГНР-технологий должна будет произойти в киберпространстве точно так же, как и в физических средствах обслуживания. Критичность проблемы должна заставить добиться необходимой прозрачности, приемлемой в мире секретов фирмы, по-видимому, обеспечивая новые формы защиты интеллектуальной собственности.

Подтверждение согласия также потребует, чтобы ученые и инженеры приняли строгий этический кодекс своего поведения, подобный Клятве Гиппократа, и чтобы они имели мужество по мере необходимости вступить в конфликт, несмотря даже на высокий личный престиж. Это могло бы стать ответом - спустя 50 лет после Хиросимы - на призыв Нобелевского лауреатом Ханса Безэ, одного из наиболее старейших из выживших членов Манхэттенского Проекта, к тому, чтобы все ученые "прекратили и воздерживались от работ по созданию, развитию, усовершенствованию и производству ядерного и другого оружия, способного наносить массовое поражение" ¹⁴⁾. В 21-ом столетии это потребует бдительности и личной ответственности тем, кто мог бы влиять и на ЯБХ-, и на ГНР-технологии, чтобы не допустить осуществления оружия массового поражения и знаний, таковое позволяющих.

Торео также сказал, что "богатство пропорционально числу вещей, которые мы можем себе позволить, оставаясь самими собой". Каждый из нас стремиться быть счастливым, но это может стать ценой ответа на вопрос, должны ли мы брать такой высокий риск полного самоуничтожения, чтобы получить еще больше знаний и еще больше вещей; здравый смысл говорит, что существует предел нашим материальным потребностям, и что если некоторое знание является слишком опасным, то его лучше всего воздерживаться.

И при этом мы не должны стремиться приблизиться к бессмертию, не считаясь с затратами, не принимая во внимание соразмерное увеличение риске исчезновения. Бессмертие, быть может оригинальная, но, конечно, не единственно возможная утопическая мечта.

Недавно мне повезло встретить выдающегося автора и ученого Жака Аттали, книга которого «Линии горизонта» («Lignes d'horizons», или в английском переводе «Millennium», т.е. «Тысячелетие») стала источником вдохновения для Java и Jini подходов в наступающую эпоху распространяющейся компьютеризации, как ранее было описано в этом журнале. В своей новой книге «Fraternites» (братство – прим. Перевод.), Аттали описывает, как изменились во времени наши мечты об утопии:

"На заре обществ, люли видели свой путь на Земле ничем иным, кроме как лабиринтом боли, в конце которого была дверь, ведущая через смерть к компании богов и Вечности. С евреями, и затем с греками некоторые посмели освободить себя от теологических ограничений и мечтать об идеальном Городе, где процветала бы Свобода. Иные, отмечая развитие рыночного общества, поняли, что свобода одних повлечет за собой угнетение других, и мечтали о Равенстве".

Жак помог мне понять, как эти три различных утопических цели напряженно сосуществуют в нашем обществе сегодня. Он продолжает описывать четвертую утопию, Братство, в основа которой - альтруизм. Братство ассоциирует индивидуальное счастье одного со счастьем других, давая залог самоустойчивости.

Это кристаллизовало для меня мою проблему в отношении мечты Курцвейля. Технологический подход к Вечности – приближение к бессмертию через роботехнику - не может быть самой желанной утопией, и стремление к ней несет явные опасности. Возможно, мы должны заново продумать наши утопические цели.

Где мы можем искать новое этическое основание, чтобы выверить наш курс? Я нашел очень полезные идеи в книге Далай-ламы «Этика для Нового Тысячелетия» («Ethics for the New Millennium»). Будучи достаточно известным, но мало принимаемым во внимание, Далай-лама утверждает, что самая важная вещь для нас состоит в том, чтобы провести наши жизни с любовью и состраданием к другим, и что наши общества должны более сильно развить в себе понятие об универсальной ответственности и о всеобщей взаимозависимости; он предлагает стандарт положительного этического поведения для индивидуумов и обществ, который кажется совместимым с утопией «Братства» Аттали.

Далай-лама далее утверждает, что нам необходимо понять: это – то, что делает людей счастливыми, и признать неоспоримую очевидность того, что ни материальный прогресс, ни устремленность к могуществу знания не являются ключевыми, что существуют пределы того, что наука и научная увлеченность сами по себе одни могут сделать.

Наше западное представление о счастье, кажется, происходит от греков, которые определили его, как "упражнение врожденных способностей до совершенства, раскрывающего их возможности" ¹⁵⁾.

Понятно, что в своей жизни нам нужно найти значащие вызовы и достаточные возможности, если мы собираемся быть счастливы в том, что наступит. Но я полагаю, что необходимо найти альтернативные выходы для наших творческих сил вне культуры бесконечного экономического роста; ибо хотя этот рост и был в значительной степени нашим благословением в течение нескольких сотен лет, но это не принесло нам неомраченного счастья, и нам нужно теперь выбрать между устремленностью к неограниченному и ненаправленному росту посредством науки и техники и явными сопутствующими этому опасностями.

Теперь для меня это более значимо, чем год спустя со времени моего первого столкновения с Рэем Курцвейлем и Джоном Серлом. Я наблюдаю вокруг себя причину для надежды и голоса предосторожности и ограничений, и в этих людях я обнаруживаю тех, кто, как и я, печется о нашем текущем затруднительном положении. Я ощущаю также глубокий смысл личной ответственности - не относительно работы, которую я уже сделал, а той, которую я все же мог бы сделать при слиянии наук.

Но много других людей, которые, зная об опасностях, все еще, кажутся странно тихими. Под давлением, они выцеживают: "В этом нет ничего нового", - как будто не достаточно понимания того, что может случиться. Они говорят мне, есть университеты, заполненные биоэтиками, кто изучает подобный материал целыми днями. Они говорят: «Все это было описано прежде экспертами». Они жалуются: «Ваши заботы, и ваши аргументы - уже старье».

Я не знаю, где эти люди прячут свое опасение. Будучи архитектором сложных систем, я выхожу на эту арену, как универсал. Но должно ли это уменьшить мои беспокойства? Я знаю, сколько об этом прежде было так авторитетно написано, сказано, прочтено лекций. Но подразумевается ли тем самым, что до людей дошло? Подразумевает ли это, что мы можем принизить опасности, стоящие перед нами?

Знание - не объяснение для бездействия. Можем ли мы усомниться, что знание стало оружием, которое мы направляем против самих себя?

Опыт ученых-атомщиков ясно показывает нужду брать личную ответственность из опасения, что события будут меняться слишком быстро по пути, на котором процесс может обрести собственную жизнь. Мы можем, как сделали они, создать этому непреодолимую преграду, даже когда времени почти не осталось. Мы должны поступать даже более продуманно, если мы не собираемся быть, подобно им, удивленными и потрясенными последствиями наших изобретений.

Моя продолжающаяся работа, как профессионала, состоит в улучшении надежности программного обеспечения. Программное обеспечение является инструментом, и, как создатель инструмента, я должен бороться с нежелательными применениями того, что я делаю. Я всегда полагал, что создание более надежного программного обеспечения, учитывая его широту использования, будет делать мир местом, более безопасным и лучшим; если бы я должен был прийти к тому, чтобы поверить в противоположное, то был бы нравственно обязан прекратить свою работу. Теперь я могу себе вообразить, что такой день может настать.

Все это делает меня если не сердитый, то, по крайней мере, немного меланхоличным. Впредь для меня понимание прогресса будет с оттенком горечи.

Вы помните прекрасную предпоследнюю сцену в «Манхэттене», где Вуди Аллен лежит на своей кушетке и говорит в магнитофон? Он пишет короткую историю о людях, которые создают ненужные, невротические трудности для самих себя, чтобы не иметь дела с большим количеством неразрешимых, ужасающих вселенских проблем.

Он подводит себя к вопросу, "В чем ценность жизни? " - и обсуждает, что делает ее значимой для него самого: Гроучо Маркс, Вилли Мэйс, вторая часть Юпитерианской симфонии, запись «Блюза картофелины» Луи Армстронга, шведское кино, «Сентиментальное просвещение» Флобера, Марлон Брандо, Фрэнк Синатра, яблоки и груши Сезанна, крабы у Сэма Во, и, наконец, сбой: лицо его любимой Трейси.

Каждый из нас имеет свои драгоценности, и поскольку мы беспокоимся о них, то определяем сущность нашей гуманности. В конце концов, вследствие нашей великой потребности заботиться – вот почему я остаюсь оптимистичным, – мы обязательно будем противостоять опасным проблемам, вставшим теперь перед нами.

Моя же непосредственная надежда состоит в том, чтобы участвовать в как можно большем обсуждении поднятых здесь проблем с людьми из многих различных социальных слоев, изначально для собственной пользы не предрасположенных технологии бояться или одобрять.

Для начала я дважды поднимал многие из названных выше проблем в мероприятиях, спонсируемых Институтом Аспена, и отдельно предложил, чтобы Американская Академия Искусств и Наук приняла их, как расширение своей работы с Пагоушскими Конференциями. (Они были проводились с 1957 г. для обсуждения контроля над вооружениями, в особенности ядерным оружием, и формулирования принципов проводимой политики.)

Жаль, что Пагоушские встречи начались только много позже после того, как ядерный джин вырвался из бутылки - примерно лет на 15. Мы также берем запоздалый старт, всерьез обращаясь к проблемам технологий 21-ого столетия - ограничение дозволенного знания массового поражения - и дальнейшая заминка кажется недопустимой.

Так что я все еще в поисках; есть еще многое, чему следует учиться. Должны ли мы преуспеть или потерпеть неудачу, выжить или пасть жертвой новых технологий – еще не решено. Я снова опаздываю – уже почти 6 утра. Я пробую вообразить себе некоторые лучшие ответы, чтобы «развеять чары и освободить их из камня».

__________________________________