18. Язык I

План лекции

Мы будем говорить о языке сегодня и в среду. Я хочу начать с того, чему уделил очень мало внимания в конце прошлой лекции. Это понадобится вам для чтения, которое вы, надеюсь, уже начали.

Representational Similarity Analysis (RSA)

Representational similarity analysis — это тонкая, богатая и интересная вещь. Мне потребовались годы, чтобы возвращаться к ней и понять её полную силу. Продолжайте в том же духе — каждый раз вы будете понимать её немного лучше.

RSA — это обобщённый случай multiple voxel pattern analysis (MVPA), который применяется к другим видам методов и характеризует более широкое концептуальное пространство.

MVPA с functional MRI

Вы делите свои данные пополам. У вас есть один набор снимков, где люди смотрят на собак, и другой набор, где они смотрят на кошек, и ещё одно отдельное повторение. Вы смотрите на паттерн реакции по вокселям в каждом из четырёх условий:

• собака 1
• собака 2
• кошка 1
• кошка 2

Вы спрашиваете: более ли похож паттерн для двух разных разделов данных в одном и том же условии (собака 1, собака 2 и кошка 1, кошка 2 — диагональ), чем в двух случаях, когда они разные (собаки к кошкам)?

Это MVPA. Вы можете использовать его, чтобы спросить о данной области интереса в мозге или о всём мозге: может ли паттерн реакции в этой области различать класс A и класс B. Это стоит знать, но это довольно бедно — это бинарно. Это заводит вас недалеко в характеристике того, что представлено в этой области.

Вы можете сделать это богаче, если заставите его обобщаться. Если эти два стимула — меньшего размера и с другого ракурса, и это всё ещё работает, мы показываем, что есть обобщение. Обучаем на одном виде условий, тестируем на немного другой версии. Это проверяет инвариантность. Это богаче и интереснее, но даже так это ограничено.

Суть RSA

Representational similarity analysis — это более крупный и богатый способ характеризовать репрезентации, глядя на паттерн реакции по множеству условий, а не только по двум и их вариациям. Вместо бинарной классификации у нас есть куча разных стимулов или условий, на которых мы сканируем людей. Затем мы смотрим на все попарные комбинации:

• насколько похожа собака на кошку?
• насколько она похожа на свинью или лошадь?
• насколько она похожа на стол или стул?

Все эти попарные сходства дают нам более богатое представление о том, что там происходит. Нам не нужно выбирать бинарную классификацию — мы можем смотреть на всё это пространство. Мы будем думать об этом пространстве как о нашем прокси для того, что представлено в этой области мозга.

Сравнение разных типов данных

Сожмите эту матрицу как одну вещь. Это репрезентация того, что представлено в этой части мозга. Теперь мы можем взять эту единицу и сделать то же самое на совершенно другом типе данных.

Поведение: Оцени для меня, насколько собака похожа на кошку по шкале от 1 до 10? Насколько кошка похожа на свинью? Вы получаете некоторое пространство сходства. Вы характеризуете своё концептуальное пространство по тем же элементам поведенчески, спрашивая людей, насколько похожи друг на друга эти вещи.

Нейрофизиология: Мы могли бы записывать нейроны в мозге обезьян и показывать им те же картинки. Смотрим на реакцию 100 нейронов на собаку, кошку, свинью и так далее. Затем спрашиваем, насколько похожа реакция по нейронам у обезьяны на каждую пару стимулов.

В каждом случае мы получаем матрицу.

Разные области мозга

Мы можем сделать отдельные матрицы для разных областей интереса в мозге. Воксели здесь — каков их попарный набор сходств по этим стимулам? Воксели здесь — то же самое. Теперь мы можем коррелировать эти матрицы друг с другом.

У нас была группа людей, которые давали оценки и предоставляли своё поведенческое пространство сходства по стимулам. Затем мы посмотрели в некоторой области мозга и получили пространство сходства мозга по вокселям. Насколько они похожи друг на друга? Каждая матрица — это набор корреляций между каждой парой стимулов. Получив этот набор корреляций, мы можем взять всю матрицу и коррелировать её с другой матрицей. Это способ спросить: насколько хорошо репрезентация в этом куске мозга соответствует субъективному впечатлению людей об этом пространстве сходства?

Мы также можем соотнести functional MRI воксели с нейрофизиологическими реакциями по нейронам. Насколько пространство форм в вашем мозге, измеренное с помощью fMRI, похоже на пространство форм в этой части мозга обезьяны, зарегистрированное с помощью нейрофизиологии? Мы спрашиваем, видит ли обезьяна мир так же, как вы, используя эти матрицы и спрашивая, насколько они похожи между видами и методами.

Способы измерения

Вы можете делать обычный fMRI, как в работе Haxby 2001 года: получить вектор по вокселям для одного условия, вектор по вокселям для двух условий и коррелировать их. Вы можете сделать это с реакциями по нейронам. Но вы также можете делать более экзотические вещи:

• обучить линейный классификатор на куче вокселей
• сказать, насколько хорошо он может декодировать реакцию на свинью по сравнению с реакцией на собаку
• поместить это число в ячейку

Любая мера сходства подходит. В литературе растёт тенденция говорить о dissimilarity, а не similarity, вычитая значения r из 1. Это не имеет значения — оба способа собирают репрезентационное пространство.

Сравнение гипотез

Мы можем выдвинуть гипотезу о том, что здесь представлено. Рассмотрим участок мозга. Возможно, он представляет различие между живым и неживым. В идеальном случае это означало бы, что всё, что он знает, — это животные против неживотных. Это гипотетическое пространство сходства — модель того, что, по нашему мнению, представлено в области. Мы можем коррелировать это с любой из этих матриц, чтобы спросить, верна ли наша гипотеза.

Почему это круто

RSA позволяет нам сравнивать репрезентационные пространства:

• между областями интереса в мозге (FFA и PPA)
• между группами испытуемых без необходимости выравнивать воксели
• между видами
• между методами
• между гипотетическими моделями

Мы исследуем репрезентации более богатым способом. Если держать испытуемых в сканере достаточно долго, мы можем получить сотни стимулов и действительно охарактеризовать богатое пространство. Мы смотрим не только на два различения, а на множество.

Ключевое требование

Оси должны быть одинаковыми. Стимулы, для которых вы получаете сходство, должны быть одинаковыми у человека, выполняющего поведенческий тест, человека в MRI, обезьяны, выполняющей физиологию, и модели. Если оси не одинаковы, нет способа коррелировать матрицы.

Язык

Прямо сейчас происходит нечто чудесное. Я беру абстрактные, трудноуловимые идеи где-то в своей голове и пытаюсь перевести их в набор звуков, выходящих из моего рта. Как взять абстрактную идею и превратить её в последовательность звуков? Это безумно. Никто на самом деле почти ничего не знает о том, как это работает. Затем этот набор звуков проходит через воздух и порождает, будем надеяться, похожие идеи в вашей голове. Это поразительно, что это вообще работает.

Универсальность языка

• Язык универсален для человека. Все неврологически здоровые люди владеют языком.
• В мире около 7000 языков (число постоянно сокращается).
• Все языки богаты выразительными средствами, включая языки жестов.
• Не существует обеднённых языков — все они одинаково богаты.
• Язык уникален для человека.

Чейзер, бордер-колли

Чейзер знает много существительных — по-видимому, тысячу. Но чего она не может делать, что можете делать вы?

• Это идентификация слов, это не язык.
• Глаголы и существительные вместе.
• Различение «больше» и «меньше» — некоторые животные могут это делать.
• Она определённо не может понять, кто что сделал и кому и почему.

Когда она нашла Дарвина, она использовала правило взаимной исключительности: если здесь есть вещь, которую я не знаю, и кто-то произносит звук, который я не знаю, эта вещь, вероятно, соответствует звуку. Дети тоже используют это правило при изучении языка.

Коммуникация животных

Животные в своей естественной среде обитания общаются друг с другом богатыми способами, но обычно в каждом случае о весьма ограниченной области: какая опасность рядом, какой источник пищи поблизости. Человеческие языки открыты и композициональны. Композициональность означает, что мы комбинируем слова, чтобы сказать новые вещи, которые ни один человек никогда раньше не говорил. Этого вы не видите у животных.

Что такое язык с когнитивной точки зрения

Фонология — звуки языка. Слышать разницу между «ба» и «па» или видеть эквивалентный жест. В американском языке жестов фонемы — это разные части движений рук, но они функционируют как фонемы. Это входная система.

Семантика — нам нужно знать, что означают слова (лексическая семантика), и как возникает значение, когда слова соединяются.

Синтаксис — структура или грамматика языка. Каждый язык имеет набор правил о том, как соединять слова. Центральным элементом является порядок слов. «Акула кусает человека» отличается от «человек кусает акулу» — это проистекает из синтаксиса.

Прагматика — как мы понимаем, что кто-то на самом деле имеет в виду. Если кто-то говорит: «Было бы здорово, если бы ты передал соль», это означает «пожалуйста, передай соль». Для прагматики нужно думать о намерениях другого человека.

В следующих двух лекциях мы сосредоточимся на ядре — синтаксисе и семантике, на понимании предложений.

Вопросы о понимании предложений

1. Является ли язык отдельной вещью? Отличается ли язык от остального мышления?
2. Если это хотя бы отчасти некая вещь, имеет ли язык компонентную структуру внутри себя? Есть ли разные части языковой системы, которые делают разные вещи? Что представлено и вычисляется в каждой из них?
3. Как мы представляем значение в мозге?

Отличается ли язык от мышления?

Могли бы вы мыслить без языка?

Младенцы могут мыслить. В возрасте от трёх до шести месяцев языка почти или совсем нет. Это прекрасный пример мышления без языка.

Животные тоже могут мыслить, возможно, не так богато, как мы, но они могут мыслить всевозможными тонкими способами. У животных нет языка.

Approximate number system не требует языка. Животные в этом отличны. Очень маленькие младенцы отличны в этом. Люди, в языке которых вообще нет числительных (племя параха в Амазонии), могут выполнять approximate numerosity.

Если бы кто-то из вас выполнял это задание, и я помешал бы вам считать, попросив заниматься verbal shadowing, вы бы сделали то же самое. Approximate number system не требует языка, не требует числительных в вашем языке для понимания концепции и не требует использования языка для выполнения задачи.

Мы берём язык и мышление (познание) и спрашиваем: полностью ли они разделены в уме и мозге, или они совершенно одно и то же, или есть некая связь, но они несколько различны?