Джон СЁРЛ

Сознание, мозг и программы1

Какую психологическую и философскую значимость следует нам приписать недавним усилиям по компьютерному моделированию по­знавательных способностей человека? Я считаю, что, отвечая на этот вопрос, полезно отличать «сильный» AI (как я это называю) от «сла­бого» или «осторожного» AI (Artificial Intelligence — Искусственный Интеллект). Согласно слабому AI, основная ценность компьютера в изучении сознания состоит в том, что он дает нам некий очень мощ­ный инструмент. Например, он дает нам возможность более строгим и точным образом формулировать и проверять гипотезы. Согласно же сильному AI, компьютер — это не просто инструмент в исследовании сознания; компьютер, запрограммированный подходящим образом, на самом деле и есть некое сознание в том смысле, что можно буквально сказать, что при наличии подходящих программ компьютеры понима­ют, а также обладают другими когнитивными состояниями. Согласно сильному AI, поскольку снабженный программой компьютер обладает когнитивными состояниями, программы — не просто средства, позво­ляющие нам проверять психологические объяснения; сами программы суть объяснения.

У меня нет возражений против притязаний слабого AI, во всяком случае в этой статье. Мое обсуждение здесь будет направлено на при-тязания, которые я определил здесь как притязания сильного AI, именно: на притязание, согласно которому подходящим образом за-программированный компьютер буквальным образом обладает когни­тивными состояниями, и тем самым программы объясняют человече­ское познание. Когда я далее буду упоминать AI, я буду иметь в виду сильный вариант, выраженный в этих двух притязаниях.

Я рассмотрю работу Роджера Шэнка и его коллег в Йейле (Schank and Abelson 1977), так как я знаком с ней больше, чем с дру­гими подобными точками зрения, и потому что она представляет со­бой очень ясный пример того типа работ, которые я хотел бы рас­смотреть. Но ничего в моем последующем изложении не зависит от деталей программ Шэнка. Те же аргументы приложимы и к SHRDLU Винограда (Winograd 1973), и к ELIZA Вейценбаума (Weizenbaum 1965), и, в сущности, к любому моделированию феноменов человеческой психики средствами машин Тьюринга.

Очень коротко, опуская разнообразные детали, можно описать программу Шэнка следующим образом: цель программы — смодели­ровать человеческую способность понимать рассказы. Для способно­сти людей понимать рассказы характерно, что люди способны отве­чать на вопросы о данном рассказе даже в тех случаях, когда даваемая ими информация не выражена в рассказе явным образом. Так, напри­мер, представьте, что вам дан следующий рассказ: «Человек зашел в ресторан и заказал гамбургер. Когда гамбургер подали, оказалось, что он подгорел, и человек в гневе покинул ресторан, не заплатив за гам­бургер и не оставив чаевых». И вот если вас спросят: «Съел ли чело­век гамбургер?», вы, видимо, ответите: «Нет, не съел». Точно так же, если вам предъявят следующий рассказ: «Человек зашел в ресторан и заказал гамбургер; когда гамбургер подали, он ему очень понравился; и покидая ресторан, он перед оплатой по счету дал официантке боль­шие чаевые,» и спросят: «Съел ли человек свой гамбургер?», вы, ви­димо, ответите: «Да, съел». И вот машины Шэнка могут точно так же отвечать на вопросы о ресторанах. В этих целях они обладают неким «представлением» («репрезентацией») той информации о ресторанах, какая бывает у людей и какая дает людям возможность отвечать на подобные вопросы, когда им предъявлен некий рассказ, вроде тех, что приведены выше. Когда машине предъявляют рассказ и затем задают вопрос, она распечатает такой ответ, какой мы ожидали бы от челове­ка, которому предъявлен подобный рассказ. Приверженцы сильного AI утверждают, что в этой последовательности вопросов и ответов машина не только моделирует некую человеческую способность, но что, кроме того:

1. можно сказать буквальным образом, что машина понимает рассказ и дает ответы на вопросы;

2. то, что делают машина и ее программа, объясняет человече­скую способность понимать рассказ и отвечать на вопросы о нем.

Мне, однако, представляется, что работа Шэнка² никоим образом не подкрепляет ни одно из этих двух утверждений, и я сейчас попы­таюсь показать это.

Любую теорию сознания можно проверить, например, так: за­даться вопросом, что бы это означало, что мое сознание на самом деле функционирует в соответствии с теми принципами, о которых данная теория утверждает, что в соответствии с ними функционируют все сознания. Приложим этот тест к программе Шэнка с помощью следующего Gedankenexperiment³. Представим себе, что меня заперли в комнате и дали некий массивный текст на китайском языке. Предста­вим себе далее, что я не знаю ни письменного, ни устного китайского языка (так оно и есть на самом деле) и что я не уверен даже, что рас­познал бы китайский письменный текст в качестве такового, сумев отличить его, скажем, от японского письменного текста или от каких-нибудь бессмысленных закорючек. Для меня китайское письмо как раз и представляет собой набор бессмысленных закорючек. Предста­вим себе далее, что вслед за этой первой китайской рукописью мне дали вторую китайскую рукопись вместе с набором правил сопостав­ления второй рукописи с первой. Правила эти на английском языке, и я понимаю их, как понял бы любой другой носитель английского языка. Они дают мне возможность сопоставить один набор формаль­ных символов со вторым набором формальных символов, и единст­венное, что значит здесь слово «формальный», — то, что я могу рас­познавать символы только по их форме. Представьте себе теперь, что мне дали третью китайскую рукопись вместе с некоторыми инструк­циями, — вновь на английском языке, — дающими мне возможность сопоставлять элементы этой третьей рукописи с первыми двумя, и эти правила учат меня, как в ответ на те или иные формальные сим­волы из третьей рукописи выдавать определенные китайские симво­лы, имеющие определенные очертания. Люди, которые дали мне все эти символы, называют первый текст «рукописью», второй — «расска­зом», а третий — «вопросами», но я всех этих названий не знаю. Кроме того, они называют символы, которые я выдаю в ответ на тре­тий текст, «ответами на вопросы», а набор правил на английском языке, который они дали мне, — «программой». Чтобы слегка услож­нить эту историю, вообразите себе, что эти люди также дали мне не­кие рассказы на английском языке, которые я понимаю, и они задают мне вопросы на английском языке об этих рассказах, и я выдаю им ответы на английском языке. Представьте себе также, что после неко­торого промежутка времени я так набиваю руку в выполнении инст­рукций по манипулированию китайскими символами, а программисты так набивают руку в писании программ, что при взгляде со сторо­ны — то есть с точки зрения какого-либо человека, находящегося вне комнаты, в которой я заперт, — мои ответы на вопросы абсолютно неотличимы от ответов настоящих носителей китайского языка. Ни­кто не сможет сказать, — если он видел только мои ответы, — что я ни слова не говорю по-китайски. Представим себе далее, что мои от­веты на английские вопросы неотличимы от ответов, которые бы дали настоящие носители английского языка (как этого и следовало ожидать) — по той простой причине, что я и есть настоящий носитель английского языка. При взгляде со стороны, — с точки зрения какого-нибудь человека, читающего мои «ответы», — ответы на китайские вопросы и ответы на английские вопросы равно хороши. Но в случае китайских ответов, в отличие от случая английских ответов, я выдаю ответы, манипулируя неинтерпретированными формальными симво­лами. Что же касается китайского языка, я веду себя попросту как компьютер; совершаю вычислительные операции на формальным об­разом определенных элементах. В том, что касается китайского языка, я есть просто инстанциация компьютерной программы.

И вот претензии сильного AI состоят в том, что программиро­ванный компьютер понимает рассказы и его программа в некотором смысле объясняет человеческое понимание. Но мы теперь можем рас­смотреть эти претензии в свете нашего мысленного эксперимента.

1. Что касается первой претензии, мне кажется совершенно оче­видным, что в данном примере я не понимаю ни одного слова в ки­тайских рассказах. Мои входы и выходы неотличимы от входов и вы­ходов носителя китайского языка, и я могу обладать какой угодно формальной программой, и все же я ничего не понимаю. По тем же са­мым основаниям компьютер Шэнка ничего не понимает ни в каких рассказах — в китайских, в английских, в каких угодно, поскольку в случае с китайскими рассказами компьютер — это я, а в случаях, где компьютер не есть я, он не обладает чем-то большим, чем я обладал в том случае, в котором я ничего не понимал.

2. Что касается второй претензии, — что программа объясняет человеческое понимание, — мы видим, что компьютер и его программа не дают достаточных условий понимания, поскольку компьютер и про­грамма работают, а между тем понимания-то нет. Но, может быть, при этом создается хотя бы необходимое условие или делается существен­ный вклад в понимание? Одно из утверждений сторонников сильного AI состоит в том, что когда я понимаю некий рассказ на английском языке, я делаю в точности то же самое — или, быть может, почти то же самое, — что я делал, манипулируя китайскими символами. Случай с английским языком, когда я понимаю, отличается от случая с китай­ским языком, когда я не понимаю, просто тем, что в первом случае я проделываю больше манипуляций с формальными символами.

Я не показал, что это утверждение ложно, но в данном примере оно определенно должно казаться неправдоподобным. А той правдо­подобностью, которой оно все же обладает, оно обязано предположе­нию, будто мы можем построить программу, которая будет иметь те же входы и выходы, что и носители языка, и вдобавок мы исходим из допущения, что для носителей языка имеется такой уровень описания, на котором они также являются инстанциациями программы. На основе данных двух утверждений мы допускаем, что даже если про­грамма Шэнка не исчерпывает всего, чтобы мы могли бы узнать о по­нимании, она, возможно, есть хотя бы часть этого. Я допускаю, что это эмпирически возможно, но пока никто не привел ни малейшего основания, чтобы могли полагать, что это истинно, мой пример наво­дит на мысль, — хотя, конечно, и не доказывает, - что компьютерная программа попросту не имеет никакого отношения к моему понима­нию рассказа. В случае китайского текста у меня есть все, что может вложить в меня искусственный интеллект посредством программы, но я ничего не понимаю; в случае английского текста я понимаю все, но пока что нет никаких оснований думать, что мое понимание имеет что-то общее с компьютерными программами, т. е. с компьютерными операциями на элементах, определенных чисто формальным образом. Поскольку программа определена в терминах вычислительных опера­ций на чисто формально определенных элементах, мой пример наво­дит на мысль, что эти операции сами по себе не имеют интересной связи с пониманием. Они наверняка не составляют достаточных усло­вий, и не было приведено ни малейшего основания считать, что они составляют необходимые условия или хотя бы вносят какой-то суще­ственный вклад в понимание. Заметьте, что сила моего аргумента со­стоит не просто в том, что различные машины могут иметь одни и те же входы и выходы при том, что их работа основана на разных фор­мальных принципах, — дело вовсе не в этом. Дело в том, что какие бы формальные принципы вы ни закладывали в компьютер, они бу­дут недостаточными для понимания, поскольку человек сможет сле­довать этим формальным принципам, ничего не понимая. Не было предложено никаких оснований, чтобы думать, будто такие принципы необходимы или хотя бы полезны, поскольку не было дано никаких оснований, чтобы думать, что когда я понимаю английский язык, я вообще оперирую с какой бы то ни было формальной программой.

Но что же все-таки имеется у меня в случае английских предло­жений, чего у меня нет в случае китайских предложений? Очевидный ответ состоит в том, что в отношении первых я знаю, что они значат, а в отношении вторых у меня нет ни малейшего представления, что они могли бы значить. Но в чем такое представление могло бы состо­ять и почему мы не могли бы снабдить им машину? Почему машина не могла бы узнать нечто такое обо мне, что означало бы мое пони­мание английских предложений? Я вернусь к этим вопросам позднее, но сначала хочу продолжить свой пример.

У меня были случаи представить этот пример некоторым людям, работающим в области AI, и, что интересно, они, по-видимому, оказа­лись не согласны друг с другом, что считать правильным ответом на него. У меня скопилось поразительное разнообразие ответов, и ниже я рассмотрю самые распространенные из них (классифицированные в соответствии с их географическим происхождением).

Но сначала я хочу упредить некоторые распространенные недора­зумения насчет «понимания»: в ряде из этих дискуссий можно найти множество причудливых толкований слова «понимание». Мои крити­ки указывают, что есть много различных степеней понимания; что «понимание» — это не простой двухместный предикат; что есть раз­личные виды и уровни понимания, и часто даже закон исключенного третьего невозможно простым образом приложить к утверждениям формы «х понимает y»: что во многих случаях вопрос, понимает ли х у, оказывается вопросом нашего решения, а не простым фактическим вопросом и так далее. На все это я хочу ответить: «Конечно, конеч­но». Но все это не имеет никакого отношения к обсуждаемым вопро­сам. Имеются ясные случаи, в которых можно буквально говорить о понимании, и ясные случаи, в которых о нем нельзя говорить; и мне для моей аргументации в этой статье только и нужны эти два вида случаев⁴. Я понимаю рассказы на английском языке; в меньшей сте­пени я понимаю рассказы по-французски; в еще меньшей степени я понимаю рассказы по-немецки; а по-китайски вообще не понимаю. Что же касается моего автомобиля и моей счетной машинки, то они вообще ничего не понимают; они не по этой части. Мы часто метафо­рически и аналогически атрибутируем «понимание» и другие когни­тивные предикаты автомобилям, счетным машинам и другим арте­фактам, но такие атрибуции ничего не доказывают. Мы говорим: «Дверь знает, когда открываться, так как в ней есть фотоэлемент», «Счетная машинка знает (умеет, способна), как складывать и вычи­тать, но не делить» и «Термостат воспринимает изменения темпера­туры». Очень интересно, на каком основании мы делаем такие атри­буции, и это основание связано с тем, что мы распространяем на ар­тефакты нашу собственную интенциональность⁵; наши инструменты суть продолжения наших целей, и поэтому мы находим естественным

приписывать им метафорическим образом ннтенциональность; но я считаю, что такие примеры не решают никаких философских вопро­сов. Тот смысл, в каком автоматическая дверь «понимает инструк­ции» посредством своего фотоэлемента, — это вовсе не тот смысл, в каком я понимаю английский язык. Если имеется в виду, что про­граммированный компьютер Шэнка понимает рассказы в том же ме­тафорическом смысле, в каком понимает дверь, а не в том смысле, в каком я понимаю английский язык, то этот вопрос не стоит и обсуж­дать. Но Ньюэлл и Саймон (1963) пишут, что познание, которое они атрибутируют машинам, есть в точности то познание, которое прису­ще людям. Мне нравится прямота этой претензии, и именно эту пре­тензию я буду рассматривать. Я буду аргументировать, что в букваль­ном смысле слова программированный компьютер понимает ровно столько, сколько автомобиль и счетная машинка, то есть ровным сче­том ничего. Понимание чего бы то ни было компьютером не просто частично или неполно (подобно моему пониманию немецкого языка); оно попросту равно нулю.

А теперь рассмотрим ответы: