16.03.2018

Вероника Маанди

Искусственный интеллект vs человечества: шах и… мат?

Человек пока — единственное (?) разумное (???) существо на планете. Но это ненадолго. Мы активно создаём себе компаньона — искусственный интеллект (ИИ), который, как мы полагаем, непременно должен стать нашим другом и помощником.

Но не сбудутся ли вместо этих надежд самые страшные фантазии голливудских футурологов? Известный учёный в области нейрофизиологи, психолингвистики и теории сознания, доктор биологических наук, профессор Татьяна Владимировна ЧЕРНИГОВСКАЯ вполне допускает такое развитие событий.

А самое главное: новая цивилизация, по её мнению, УЖЕ наступила. Мы же к ней оказались не только не готовы, но даже не осознаём (а можем и не осознать никогда) все истинные опасности.

Остановить науку невозможно. Но необходимо помнить, что чем глубже мы погружаемся в океан знаний о мире, тем опаснее становится путешествие, тем больше ответственность за звёздное небо над головой и нравственный закон внутри нас.

(Иммануил Кант)

Лекция Татьяны Черниговской «Искусственный интеллект — вызов для человечества» состоялась 18 января 2018 года в рамках Гайдаровского форума. Предваряя выступление учёного, председатель правления «Роснано» Анатолий Чубайс напомнил, что вопрос искусственного интеллекта возник достаточно давно: «В 70-80-е годы прошлого века статьями на эту тему была переполнена вся печать. Но тогда это было что-то вроде полёта на Марс. Сегодня же искусственный интеллект оказывается непосредственно рядом с нами, в реальной жизни».

К примеру, продолжил Чубайс, он уже обыгрывает чемпионов мира не только в шахматы, но и в го. По мнению специалистов, это большой прорыв, потому что в шахматах огромное, но всё же конечное число вариантов ходов, а в го — неограниченное. ИИ уже применяется в таких сферах, как транспорт (самоуправляемые автомобили), организация воздушного движения.

«Недавно в Сбербанке были уволены, кажется, больше тысячи юристов, — сообщил глава «Роснано». — И всё благодаря тому, что Сбер приобрел программу, которая позволяет заместить данные профессиональные человеческие функции. Это — уже совсем другая глубина проникновения искусственного интеллекта в нашу жизнь». 

Но даже она, как оказалось, — цветочки, по сравнению с той, на которую заглянула в проблему Татьяна Черниговская. Вот её размышления, предостережения и аргументы.

Антропоцен заканчивается 

«В последнем докладе Римского клуба, вышедшем в декабре 2017 года, — начала свое выступление Черниговская, — говорится, в частности, о том, что “технологические игры” представляют опасность не только в практическом, но и в мировоззренческом смысле. Мы можем потерять контроль над развитием ситуации. Если машины начнут заменять не только юристов, но и принимать за нас какие-то важные решения, что вообще остается людям? 

Необходима, как говорят члены Римского клуба, эпоха нового просвещения, переосмысления главных цивилизационных принципов. И для начала, например, они предлагают отказаться редукционизма. 

Поясню. Как происходит процесс анализа, например, в естественной науке? Учёные берут какой-то объект и всё больше и больше рубят его на части. В настоящее время дорубились уже до наночастиц. Но. 

Во-первых, это, вероятно, вообще неправильная постановка вопроса. Потому что, как предполагали многие крупные философы ещё до того, началось это бесконечное расчленение материи, целое — больше его частей. Юрий Михайлович Лотман, наш крупнейший гуманитарий, семиотик, будучи человеком блестяще остроумным, в своё время говорил: конечно, можно телёнка разобрать на стейки, но беда в том, что он обратно не собирается. От того, что ты рассмотришь каждый нейрон, твоё знание о целом не возникнет.

Во-вторых, когда-то Альберт Эйнштейн писал: основа естественных наук — это то, что характеристики внешнего мира не зависимы от наблюдателя. Что честный исследователь ни на что не влияет, а лишь внимательно наблюдает. Так было. Однако сегодня уже хорошо известно, что данные научных исследований не независимы от того, кто их исследует. Не в смысле подтасовки. То, в какой позиции находится учёный, как задаёт вопросы, как ставит эксперимент, — всё это влияет на его результаты.

А уж после разработок в области квантовой механики это уже ни у кого не вызывает сомнения. Нильс Бор, Эрвин Шрёдингер, Вернер Гейзенберг — все они, ещё в те годы, утверждали, что наблюдатель в квантовом мире является частью научной парадигмы. Многие, наверное, помнят знаменитого “кота Шрёдингера”, который являет себя только тогда, когда ты на него смотришь. В противном случае ты про него просто ничего не знаешь.

Третье — это то, о чём уже давно догадался Станислав Лем: “Там, где поражение от победы отделяют часы и километры, (…) роль случая можно с успехом свести к минимуму. Но там, где успех боевых операций зависит от микромиллиметров и наносекунд, на сцену, подобно новому богу войны, предрешающему победу или разгром, выходит случайность в чистом и как бы увеличенном виде, случайность, пришедшая к нам из микромира, из области физики атома”. И прямое предостережение (а ведь он тогда не мог этого знать): “Системы неслыханно быстрые ошибаются неслыханно быстро”. 

Мир стал — мне недавно встретилось это очень верное определение (жаль, что не я его придумала) — нечеловекомерен. Появились величины и пространства, в которых мы не живём. Человек не существует ни в наносекундах, ни в нанометрах — в них вообще живые не живут. Появился интернет вещей, самоорганизация сетей. Более того, цифровая реальность начинает быть игроком на поле эволюции — она становится признаком отбора в социуме. Если я умею всем этим пользоваться (не просто нажимаю кнопки, а по-настоящему ориентируюсь в этом мире) — я попадаю в одну категорию людей. А если я только блины умею печь — совершенно в другую».

Хвост виляет собакой? 

«Я много лет работала в Институте эволюционной физиологии и биохимии имени Сеченова, — продолжила Татьяна Владимировна. — И вроде бы должна что-то об этом знать. Тем не менее, есть много вопросов, которые по сей день не дают мне покоя.

Например, а что у эволюции действительно есть вектор? Похоже, да. Похоже, что все её потуги вели к тому, чтобы образовались нервная система и — высочайшая стадия всего — человеческий мозг. Но если есть вектор, значит, есть и какая-то цель? Какая? Откуда она взялась? И зачем Вселенной это понадобилось? Она ведь и так знает, как ей жить: атомы в курсе, как им соединяться, планеты — вращаться, галактики — сталкиваться... Зачем понадобилось некое существо, которое будет разгадывать законы природы, которые и так действуют?

А мозг? Наш собственный, человеческий мозг? Он ведь такое вытворяет… Каждому из нас кажется, что мы — хозяева положения. Однако лучшая уловка мозга заключается в том, что он делает всё сам. Все решения принимает он, а не мы. Он вообще какой-то самодостаточный монстр. Но этим его коварство не ограничивается. Потому что потом он ещё посылает нам утешительный сигнал: мол, не волнуйся, это ты сам всё придумал, ты — молодец, самостоятельный, свободный и ответственный человек.

Если это так (а есть данные, которые дают нам основания полагать, что это именно так), то все остальные проблемы — просто смех. Потому что это означает, что мы — лишь очень хорошие программы. 

Мы боимся потерять контроль над искусственным интеллектом? А у нас есть контроль над естественным? Над нашим собственным мозгом?

В голове каждого из нас — сложнейшая нейронная сеть (рисунок выше). Ничего более сложного нельзя даже представить. При этом нейроны, в свою очередь, уложены в другие клетки, под названием глиальные. Их ещё в 10 раз больше.

Я сейчас не про анатомию. Я о том, есть ли в языке слова, которые хотя бы отображают такие величины? Каждый из изображенных здесь нейронов может иметь от 50 до 100 тысяч связей с другими частями мозга. Это — уже квадриллион. А если умножим его на 10 (число глиальных клеток, которые, кстати, имеют собственную память и свои задачи), то получится… Число, которое я просто не знаю, как называется.

И вот с этим мы хотим конкурировать, создавая искусственный интеллект?..»

После обеда — подвиг?

«Что говорят создатели ИИ? “Мы узнаем, по каким алгоритмам работает реальный мозг — и сделаем устройство по его образу и подобию”. Я хочу спросить: а вы уверены, что у мозга есть только алгоритмы? — задала Черниговская, оказывается, совсем не риторический вопрос. — Эйнштейн говорил, главные вещи делаются интуитивно: “Интуиция — священный дар, разум — покорный слуга”.

Открытие происходит не с помощью логарифмической линейки. Ты не можешь запланировать сделать открытие. Тебя как ударяет. Или оно приходит во сне. Рассудок не контролирует целиком то, что происходит. Ты впадаешь в какое-то другое состояние. Отец Павел Флоренский говорил: для того, чтобы совершился прорыв такого рода, наше сознание должно “расшататься”, в нем должна появиться некая “мутность”, “сумеречность”.

Почитайте мемуары крупных учёных… Причём, я настаиваю, что надо читать мемуары не художников и музыкантов (они — это отдельная история), а физиков, математиков, химиков, то есть людей, так сказать, “тяжёлой” науки. Все они пишут: открытия — результат интуиции и вдохновения. Примеров очень много. Мы не можем делать вид, что это просто художественная литература. Не можем не обращать внимания — это слишком серьёзно.

Мозг у людей существенно разный. А у творцов, людей искусства — даже структурно иной (рисунок выше). Отсюда возникает вопрос “про курицу и яйцо”. У них другой мозг — и поэтому они стали моцартами? Или из-за того, что они играли на скрипке, у них сформировался такой мозг? 

И следующий: а зачем Эйнштейн играл на скрипке — как и Шерлок Холмс, чудовищно, но маниакально? А Менделеев в свободное время шил чемоданы. Зачем? Моя версия, и я думаю, её можно доказать экспериментально: они переключали мозг на другой режим работы — и это рождало лучшие всплески нашей цивилизации. Понимаете: это рассчитать на арифмометре “Феликс” невозможно. 

Ещё один вопрос: что станет с литературой, искусством, музыкой, если мы доиграемся до исчезновения с планеты? Они останутся? Я, разумеется, не о том, останутся ли ноты, книги, картины. Если здесь лежит том Шекспира, но нет человека, который умеет его читать, то это является не томом Шекспира, а физическим объектом. Если звучит музыка, но нет того, кто может её понимать, она — просто звук. Для комара нет никакого Моцарта.

Сканирование мозга математиков показало, что чувство прекрасного у них вызывают не только произведения искусства, но и блестяще выведенная формула или интересное доказательство теоремы. То есть дело не в объекте. Он — в голове смотрящего. Красоту математического вывода (рисунок выше) может увидеть только тот, кто его понимает. И тогда он для него — такой же объект прекрасного, как, например, экспонаты Музея Клюни. 

Академик Людвиг Дмитриевич Фаддеев был не только крупнейшим математиком, но и профессиональным музыкантом. Я задавала ему вопрос, что будет с искусством без нас. Он ответил: “Это — человеческое, если нет человека, то нет ни математики, ни музыки”. Скажу честно, так отвечают не все. Но это — одна из существующих точек зрения.

И наконец, главное: зачем вообще существует искусство? Ведь, кажется, вот лежит реальное яблоко. Для чего его рисовать или лепить? Зачем все эти повторы? Но, как говорил всё тот же Лотман, искусство вовсе не повторяет, не изображает, не копирует жизнь, оно её — создаёт. Искусство придумывает жизнь, после чего жизнь сама начинает идти по дороге, предложенной искусством. Более того, искусство рождает ментальные объекты, которые потом, возможно, появятся на самом деле. То есть оно заглядывает в те области, которых в реальности ещё нет. 

Пафос моей речи, в этой её части, сводится к следующему: не стоит воспринимать искусство как какой-то десерт или довесок. Вроде, мы сначала занимаемся серьёзными вещами, а уж потом, как полагается образованным людям, ходим в музеи, слушаем музыку. Это, разумеется, не лишнее. Но речь о другом. Искусство — это вообще иной способ познания или даже создания мира. Овладеет ли им искусственный интеллект?»  

Направо пойдёшь — коня потеряешь 

«Вы “узнаете, по каким алгоритмам работает реальный мозг”? А как, позвольте спросить, — саркастически улыбается Черниговская. — Учёные столетиями изучают мозг, но до сих пор не понимают, что в нём происходит. Как, к примеру, устроены его этические принципы? Замечательный хирург Валентин Феликсович Войно-Ясенецкий, он же архиепископ Лука, блестяще высказался на эту тему: “Я много оперировал на мозге и, открывая черепную коробку, никогда не видел там ума. И совести там тоже не находил”. 

Примерно такая же история была с Юрием Гагариным. После того, как он слетал в космос, все атеисты накинулись на него с вопросом, видел ли он бога. А поскольку бога он не видел, по объективным причинам, они тут же заявили: “Убедились? Значит его точно нет”. Ну, так ведь из того, что ты чего-то не видел, не следует, что этого не существует.

Дэниел Деннет, крупнейшей философ, который занимается проблемами сознания, пишет: “Каждый человек — не более чем сборище триллионов нейронов”. И тут же, противореча самому себе: “Человеческая свобода — не иллюзия, а объективное явление”. Подождите, если мы — сборище нейронов (или прекрасная, изощрённая программа), то какая может быть свобода воли? Тогда получается, что мы вообще ни за что не отвечаем. Разве я виноват, что таким (дураком или преступником) родился? И уже были реальные судебные процессы, где обвиняемый заявлял: “That's not me, that's my brain (Это не я, это мой мозг)”.

То есть перед нами встают вопросы не технологические, а сугубо гуманитарные: право, мораль… Появление ИИ ведёт к пересмотру базовых этических норм, ценностей и смыслов. Внутри цифрового мира эти категории приобретают совершенно иные конфигурации.

Например, беспилотная машина сбивает человека. Кто за это будет отвечать?

Или она оказывается в ситуации, которые приводятся в каждом психологическом учебнике. Помните, эти жуткие моральные дилеммы? Тебе нужно повернуть направо или налево. Там ты собьёшь пять человек, а здесь — одного. Что ты будешь делать? И куда будет поворачивать в этом случае машина? У неё же должна быть предусмотрена такая возможность.

Выходит, нам придется заложить в неё моральные категории. Во-первых, как это сделать? А во-вторых, кто примет это решение?»

Попытка — не пытка?

«В 2010 году появилось первое существо, которое являет собой композит из живого и неживого, — продолжает Черниговская. — Крейг Вентер создал живой организм с синтетическим геномом (рисунок ниже). То есть у него был как бы “отцемать” — компьютер. 

Это тревожный ход. Я вполне представляю себе недалёкое будущее, когда в детских магазинах рядом с известными играми типа “Юный химик” появятся другие — “Юный генетик”. И каких существ они будут создавать.

Когда 11 мая 1997 года Deep Blue обыграл Гарри Каспарова, человечество содрогнулось. Потом, правда, все слегка успокоились (в том числе, и сам Каспаров)  — когда проанализировали и поняли, что Deep Blue был попросту «надрессирован», причём на одного конкретного игрока — знал всё, что Каспаров когда-либо делал этими чёрными и белыми фигурами. Кроме того, это вообще была нечестная игра, потому что компьютер не устает, не нервничает, у него бесконечная память и гигантские скорости.

Затем, как уже говорил Анатолий Борисович, происходит история с го. Мы, действительно, были уверены: эту игру они (компьютеры) не возьмут. Взяли. И с разгромным счётом.

После чего DeepMind создаёт еще более совершенную программу — AlphaZero (рисунок ниже). Она прекрасно разбирается и с го, и с шахматами. Но самое страшное, что ей уже не нужны даже начальные сведения, достаточно правил игры. За 24 часа она сама, и это повергает специалистов в ужас, набирает все необходимые знания — и побеждает не только любого из людей, но и другие компьютерные программы.

И наконец... Я всё думала: ну, уж в покер-то — номер не пройдет. Ведь это игра совершенно другого типа, там есть блеф, есть даже особое понятие “poker face”. Уж с этим-то железяка не справится. Пожалуйста, создана программа Libratus. И совсем недавно она разнесла в пух четырёх игроков самого высокого класса.

Это говорит о том, что искусственный интеллект уже овладел не только алгоритмическими действиями. Он уже влезает на нашу, человеческую, территорию.

Американский писатель Николас Карр в своем бестселлере («Пустышка. Что интернет делает с нашими мозгами» — финалист Пулитцеровской премии 2011 года в категории нехудожественной литературы. — В. М.) пишет: “Когда-то я был искусным ныряльщиком, я нырял в океан знаний и медленно и долго там плавал, возвращался, с разных сторон рассматривал объекты. Всё это закончилось. Теперь я очень быстрый и  искусный серфингист. Я ношусь с большой скоростью по поверхности, вообще не ныряя и ничего не разглядывая”. Это — тревожно.

Ещё более тревожная вещь — интернет-зависимость. Я сейчас не только о том, что давно уже всем навязло в зубах, — изменениях в мозгу, как при наркотической и алкогольной зависимости. Собственно, поэтому computer illness и включена в категорию болезней (рисунок выше). Я о другом: интернет-зависимость приводит к ещё более серьёзным вещам — к глобальной перестройке мозга.

Дело в том, что на мозг влияет вообще всё. Всё, что приходит извне. И даже всё то, что порождает он сам (но это мы даже не будем трогать). Больше всего меня восхищает и ужасает одновременно то, что эта огромная нейронная сеть не просто усваивает, добавляет в себя какие-то элементы, но каждую секунду заново переписывается. Полностью!

Наша память представляет собой не ящички или корзиночки, не библиотеку или чулан. Она представляет собой нечто живое, что постоянно меняется. Одну и ту же вещь нельзя вспомнить дважды — точно так же, как нельзя дважды войти в одну и ту же реку. Когда вы что-то вспоминаете, скажем, в третий раз, вы вспоминаете не то, что было в первый, а то, что было во второй.

Канадский философ Герберт Маршалл Маклюэн предостерегал, что человечество когда-нибудь перейдет к другому виду — надбиологическому (рисунок выше). Он называл это Homo Sapiens autocreator — самосоздаваемый человек. И мы в эту сторону идём очень быстрым шагом».

Полундра!

«Я сознательно избегала этого вопроса в лекции. Не удалось! — улыбнулась Черниговская, когда из зала прозвучало: а что будет, если у искусственного интеллекта появится сознание. — Не хотелось бы прослыть тотальной алармисткой. Но это, действительно, — то, чего мы по-настоящему боимся.

Однако тут начинается… тёмный лес. А что такое сознание? В этом вопросе не только нет никакого консенсуса, а попросту полнейший бардак.

В трактовках сознания — огромный диапазон мнений: от того, что им обладает любое живое существо, и даже отдельная клетка, до рефлексии — и тогда сознанием обладают только люди, причём не все, а лишь небольшой процент. Это может показаться высокомерным, но на самом деле: много ли на Земле людей, которые задумываются о том, что мы сейчас обсуждаем? Их единицы. Кроме того, тогда мы должны вывести за пределы сознания всех детей и всех высших животных, включая дельфинов, которые, кстати, живут на Земле 60 миллионов лет (мы, для сравнения, 250 тысяч) и у которых мозг, похоже, даже сложнее, чем наш. 

Лотман утверждал: люди — единственные существа, которые обладают рефлексией, то есть осознанием осознания. Другими словами, мы — этакие двойные зеркала: способны не только думать о том, что видим, но ещё и думать о том, как мы думаем о том, что видим. Так что, похоже, рефлексия — единственное, что у нас осталось человеческого. Но долго ли ещё это будет так?

И где критерии? Есть в науке такая проблема, которая называется «модель зомби». Представьте: перед нами стоит некто, кто выглядит точно, как человек, ведёт себя, как человек, говорит, как человек. И только мы знаем, что он — не настоящий, а программа. У других есть шанс понять это? Отвечаю: нет!

Вспомните «Алису». Примитивнейшая программа. Но как люди были довольны и счастливы после «душевного» разговора с ней! Потому что никто не хотел знать про их проблемы, кроме этой железяки. А она готова была вас не только выслушать, но и подержать.

И, кстати, многие ли люди пройдут тест Тьюринга? То есть, будучи на месте компьютера? Чтобы стало ясно, а сами-то они — люди? (Алан Тьюринг задавался целью определить, может ли машина мыслить, и в 1950 году в статье «Вычислительные машины и разум» предложил тест, согласно которому испытуемый, взаимодействуя с одним компьютером и одним человеком, должен определить, с кем он разговаривает: с человеком или программой. — В. М.)

Никто из моих коллег пока не может дать мне чёткого ответа: сознание — это функция сложности? То есть: растёт, растёт, растёт, и — раз, образуется серьёзный мозг с сознанием? Данный вопрос напрямую касается искусственного интеллекта. Если это так, то у нас нет оснований считать, что появление разума у ИИ невозможно — система доходит до определённого порога сложности, после чего у неё автоматически возникает сознание. 

А самый сложный вопрос: как мы про это узнаем? У нас есть на это хотя бы шанс? Ведь если, не дай бог, эта штука действительно получит самосознание, рефлексию, это значит, что у неё будут собственные соображения, мотивы и план жизни на этой планете. И если мы в него не входим, у неё точно будет миллион возможностей абсолютно незаметно для нас сделать так, чтобы остаться здесь совершенно одной. Например, подсунуть что-нибудь в геном. Вывести какую-нибудь саранчу или новую болезнь. Поработать с электричеством...» 

Назад, в будущее

«И последнее. Хорошо, допустим, всё не так ужасно. Мы создали послушных, добрых роботов и всё отдали на откуп механизмам. Чем займёмся сами? — Черниговская окинула зал ироничным взглядом. — Когда мне отвечают, что освободившиеся от труда люди станут играть на лютне и писать сонеты, это не вызывает у меня ничего, кроме улыбки. Разумеется, ничего такого не будет.

“Праздная цивилизация” — у нас уже появился такой термин. “Лишние люди” — и не в том смысле, который вкладывали в это словосочетание представители русской классической литературы, а самые настоящие, бесполезные — люди, которым попросту нечего делать. Им будут платить, чтобы они не померли с голоду (и это уже существует в известных странах). Но чем они всё же займутся? Ответ на этот вопрос есть в истории. Такое уже было — в Древнем Риме.

Извините за пафос, но мы оказались на другой Земле. Мир вокруг нас — совершенно не тот, в котором мы жили даже пять лет назад. Он опасный (мы не сможем пережить эту эпоху, если у нас не будет серьезных внутренних ориентиров). Он с огромной скоростью меняется (то, на что раньше уходили века, десятилетия, месяцы, сегодня происходит за день или час). Он ставит нас перед трудным выбором: комфорт или свобода (с одной стороны, благодаря этой штуке у меня в кармане, я в любую секунду могу войти в библиотеку Конгрессов, но с другой, из-за неё про меня самоё всё известно: где и с кем я вчера обедала, какие книги покупаю). И это необратимо.

Для нашей цивилизации настало время остановиться, осмыслить всё происходящее, понять, как жить (а точнее даже выжить) в этом новом мире: определить приоритеты, сместить акценты (на ценностные) — и сделать из этого очень много практических выводов.

Например, о том, как должно выглядеть образование, чему теперь следует учить детей. То, что оно больше не может идти, как сейчас, — очевидно. Нам не нужны школы и университеты, которые дают лишь набор знаний, которые и так у всех есть. Нужны люди с открытым сознанием. Нужны мозги, не залепленные пластилином. Может, детей стоит учить тому, как „держать“ память и внимание, как добывать ту информацию, которой можно верить, как вести себя в ситуации бесконечного стресса и цейтнота? И как не бояться сказать, что думаешь, даже если твоё мнение не совпадает с общепринятым? Разве не это — пусть к открытиям?

Перед нами вновь встал вопрос времён Античности: кто мы и зачем сюда попали? Если мы собираемся только состязаться с суперкомпьютерами в скорости, то уже поздно — эту игру мы проиграли давно и окончательно: возможности компьютеров не сопоставимы с человеческими. Но, похоже, дело не в скорости.

Мы — это что-то другое. Настоящую игру мы пока не проиграли. И, возможно, не проиграем, если не обезумеем окончательно».