22. Возникновение и сложность

Фракталы, хаос и клеточные автоматы

Повторение: эффект бабочки и фракталы

Мы вернемся к вопросу о фракталах и эффекте бабочки. В хаотических системах, которые детерминированы, но апериодичны, линии кажутся пересекающимися, возвращаясь в одну точку, но при ближайшем рассмотрении они не соприкасаются. Ключевой момент: они кажутся одинаковыми, но стоит отойти на один десятичный знак — и они уже разные. А на миллиарды десятичных знаков — тем более.

Логика такого мышления: очень маленькое различие здесь может привести к различию на один шаг влево. А на миллион десятичных знаков — маленькое различие приведет к различию на один шаг до этого. Это происходит масштабно-инвариантным образом, как во фрактале. Различие на миллион десятичных знаков так же вероятно будет иметь последствия, как и это. Критически важна идея: крошечные различия могут иметь последствия, которые усиливаются, превращаясь в эффект бабочки.

Клеточные автоматы: эмерджентная сложность

Клеточные автоматы — отличный способ увидеть этот принцип. Начнем с самого первого паттерна. Следуя правилам, всё начинается снизу. Из очень простых правил возникает целый сложный паттерн. Мы увидим особенности, которые идеально соответствуют требованиям для эмерджентной сложности.

Элементы — множество строительных блоков, которые очень просты. Они бинарны: либо заполнены, либо нет. Формируется следующее поколение. Правила чрезвычайно просты и касаются только следующего поколения. Это локальные правила, построенные вокруг того, как выглядит окрестность для каждого элемента. Собирая это вместе, получаются структурированные паттерны.

Однако это не то, что вы получаете обычно. В большинстве систем клеточных автоматов, где вы начинаете с начального условия и простого набора правил локальных соседей, паттерны останавливаются через некоторое время. Подавляющее большинство вымирает.

Конвергенция и нелинейность

Два термина, которые являются биологическими метафорами, со временем становятся менее метафоричными:

• Переход отсюда сюда представляет каждое следующее поколение.
• Подавляющее большинство этих систем вымирает.

Относительно небольшое количество начальных состояний, которые преуспевают, производят поразительно малое количество зрелых состояний, которые выглядят очень похожими. Вы можете начать с множества различных условий и в конечном итоге получить меньшее количество стереотипных паттернов. Это конвергенция.

• Вы смотрите на зрелую форму и не можете узнать начальное состояние.
• Глядя на начальную линию, вы не можете сказать, как это будет выглядеть через 20 поколений. Начальное состояние не дает вам предсказательной силы относительно зрелого состояния. Это нелинейная система.

Большинство клеточных автоматов вымирает. Существует лишь небольшое количество зрелых форм. Это показывает конвергенцию: очень разные начальные состояния могут сходиться в одни и те же паттерны. А незначительные различия в начальном состоянии приводят к очень разным последствиям — эффекту бабочки.

Примеры: влияние начальных условий

Мы изменили начальное состояние, переставив квадратики. Результат выглядит примерно так же, но не совсем. Общее ощущение то же самое.

Упражнение с пробелами:

1. Один пробел между квадратиками: совершенно скучно, статично, неорганично, неживое.
2. Два пробела: вымирание.
3. Три пробела: еще одна форма вымирания.
4. Четыре пробела: вдруг начинается нечто очень динамичное. Паттерн асимметричен и останется таким навсегда. Невозможно было заранее сказать, что около четырех пробелов динамические системы внезапно взлетают. Начальное состояние ничего не говорит о зрелом состоянии.

Увеличивая расстояние еще больше, мы получаем нечто снова похожее, симметричное. Это те же самые типы паттернов, которые возникают снова и снова.

Вывод: незначительные различия в начальном состоянии приводят к большому расхождению между вымиранием и жизнеспособным паттерном, а также между симметричными и асимметричными паттернами. Крошечные различия — эффекты бабочки.

Асимметрия и динамика

Рассмотрим последствия введения асимметрии. Слева вверху — 4 и 4 квадратика (всего 8). Справа вверху — 4 и 5 (добавлен один квадратик). Результат — совершенно другой паттерн. Асимметричные начальные состояния производят более динамичные системы, чем симметричные. Это одно из немногих правил, которые оттуда вытекают.

Конвергенция и отсутствие чертежа

Четыре различных начальных условия. Крайнее левое — 4 и 4. Остальные три имеют незначительные различия. Два из них идентичны после первых 20 поколений. На протяжении всей оставшейся вселенной они будут производить один и тот же идентичный паттерн. Глядя на зрелое состояние, вы никогда не узнаете, каким было начальное состояние. Здесь конвергенция.

Знание начального состояния не позволяет предсказать зрелую форму. Зная зрелую форму, вы не знаете, какое начальное состояние ее вызвало. Единственный способ выяснить это — шаг за шагом пройти через весь процесс. Никакого чертежа нет.

Разные правила, разные результаты

Последний пример: одинаковое начальное состояние, но немного разные правила воспроизводства. Результаты совершенно разные. Большинство правил производят нечто скучное (вымирание или повторение). Только небольшое подмножество производит живые, анимированные системы.

Мы снова и снова видим биологические метафоры:

• Поколения.
• Очень простые правила для перехода от поколения к следующему.
• Подавляющее большинство вымирает.
• Небольшое подмножество производит динамические паттерны.
• Знание начального состояния не дает предсказуемости.

Это свойства эволюции различных живых систем.

Клеточные автоматы в природе

Простейший уровень в природном мире — это узоры на раковинах, морских раковинах и черепаховых панцирях. Они происходят из правил клеточного автомата. Очень простые правила генерируют одни и те же сложные паттерны из разных начальных состояний.

Конвергенция в биологии

Пример с горой Кения (экваториальная ледниковая гора). На высоте 15 000 футов почти всё мертво от холода, и есть только четыре или пять различных типов растений. Каждое выглядит очень характерно.

Друг проводит исследования в Андах, на другой экваториальной ледниковой горе. На его фотографиях — то же самое растение-розетка, что и на горе Кения. Оказалось, что это совершенно неродственные растения, но они сошлись в одной и той же форме. Если вы собираетесь быть растением на экваторе на высоте 15 000 футов, есть только около четырех или пяти различных способов выглядеть. Существует массовая конвергенция.

В засушливых средах есть только четыре или пять способов быть организмом, который суперэффективно удерживает воду. Неродственные виды сходятся в одних и тех же решениях. Существует только очень конечное число способов делать ноги и локомоцию. Мы видим, как чрезвычайно разные начальные состояния сходятся. В живых системах, как и в клеточных автоматах, небольшие различия огромно усиливаются (эффекты бабочки), большинство вымирает, и существует только ограниченное количество способов быть, например, тропическим лесом.

Книга Стивена Вольфрама

Если вы хотите прочитать книгу, которую ни один здравомыслящий человек не должен читать, это книга Стива Вольфрама «Новый вид науки». Он — один из богов компьютеров и математики, впервые разработавший клеточные автоматы. Книга содержит около 1200 страниц, она непроницаема. Но многое в ней — о паттернах в природе, закодированных очень простыми локальными правилами. Умные люди не могут придумать правила, глядя на что-то заранее, чтобы знать, что выживет, а что вымрет. Нет правил для этого. Весь его аргумент в том, что клеточные автоматы показывают способы закодировать много сложности в природном мире с помощью небольшого количества простых правил. Это подготавливает нас к рассмотрению способов, которыми редуктивная модель перестает работать.

Нейронные сети и проблема grandmother neurons

Проблема нехватки нейронов

Одна из версий проблемы — нехватка количества вещей, нехватка нейронов для grandmother neurons за пределами редких случаев (как Дженнифер Энистон). У вас просто недостаточно нейронов, чтобы делать это за пределами редких случаев.

Решение: нейронные сети

Область, на которой люди сейчас фокусируются, называется нейронные сети. Смысл в том, что информация не закодирована в одной молекуле, одном синапсе, одном нейроне. Вместо этого информация закодирована в сетях и паттернах нейронной активации.

Пример с двухслойной сетью и художниками-импрессионистами:

• Нейроны внизу — простые, как Hubel и Wiesel. Каждый знает одну вещь: этот распознает Гогена, этот — Ван Гога, этот — Моне.
• Они проецируются на следующий слой. Нейрон в середине получает информацию от нескольких. Он знает, как распознавать импрессионистские картины. Он не может сказать, кто художник, но это импрессионист. Он делает это, потому что получает информацию на пересечении всех этих конкретных примеров.

Это объясняет кое-что о человеческом мозге по сравнению с компьютером. Компьютеры хороши в последовательном аналитическом мышлении. Мы можем делать параллельную обработку: паттерны, сходства, подобия, метафорические сходства. Нам нужны нейроны, где каждый находится на пересечении множества других входов.

Пример: «на кончике языка»

У вас есть сеть. Один нейрон срабатывает, и куча нейронов посылают в него проекции. Это нейрон для запоминания имени художника-импрессиониста. Активируется вся импрессионистская сеть. Вы перебираете: он рисовал танцовщиц, но это не Дега. У меня была учительница рисования, которая обожала его работы. Был музей, симпатичный человек... Проходя через это, вы получаете достаточно входов, и вдруг выскакивает: Тулуз-Лотрек. Это проводка «на кончике языка».

Это способы получения сходств, улавливания вещей, которые смутно вам напоминают. Каждый нейрон (например, нейрон импрессионистов) может находиться на пересечении другой сети (французские парни прошлого века) или сети людей, чьи имена трудно произносить.

Творчество и сети

Сети, которые имеют более широкие охваты, соединяющие большее количество нейронов, — это то, чем должно быть творчество. Сети, которые распространяются гораздо шире, чем у другого индивида, — это создание связей, которых нет у нейронов другого индивида. У Пикассо была более широкая сеть относительно того, что может составлять лицо.

Доказательства: ассоциативная кора

Если вставить электроды в нейроны коры, вы не увидите только grandmother neurons. Как только вы попадаете в ассоциативную кору (90% коры), вы видите нейроны, которые мультимодальны в своих реакциях. Всевозможные вещи их стимулируют. Большинство кортикальных нейронов находятся на пересечении кучи сетей.

Эксперимент Карла Лешли

Карл Лешли искал энграммы (место хранения отдельных фактов). Он разрушал части коры у животного и не мог заставить информацию исчезнуть. Ему приходилось разрушать более обширные области. Он заключил, что не может быть такой вещи, как память, потому что он работал с моделью «один нейрон — один факт». Вместо этого он увидел сети в действии.

Болезнь Альцгеймера

На ранних стадиях болезни Альцгеймера вы теряете нейрон здесь, нейрон там в сетях. Люди не забывают вещи — к памяти стало труднее получить доступ. В тестах вы даете подсказки, чтобы вытащить информацию. Вы видите не смерть отдельных воспоминаний, а ослабление сети, для извлечения из которой теперь требуется более сильный прайминг. Например, разговор о парке и кустах может помочь вспомнить имя президента Буш.

Фрактальные гены и проблема нехватки генов

Проблема нехватки генов

Не хватает генов для объяснения бифуркаций. Не может быть гена, который определяет, где бифурцировать конкретному кровеносному сосуду, бронху или дендриту.

Решение: фрактальные гены

Идея фрактальных генов — генов, чьи инструкции являются масштабно-инвариантными. Пример: у нас есть трубка (кровеносный сосуд, дендрит, легкое). Фрактальное правило: расти эту трубку, пока она не станет в пять раз длиннее своей ширины. Когда вырастет — бифурцируй.

Степенной закон (Power Law)

Распределение по степенному закону (power law) проявляется повсюду:

• Количество ссылок на веб-сайты.
• Количество белков определенной сложности.
• Количество писем, которые кто-то отправляет в год.
• Степени разделения Кевина Бэкона.

Внутренне присущее этому — фрактал (fractal). Это происходит и с тектоническими плитами, и с телефонными звонками, и с молекулами. Это нечто эмерджентное (emergent).

Решение задачи коммивояжера и сети

Вернемся к задаче коммивояжера (traveling salesman problem). У вас есть множество узлов (nodes). Выбор каждого узла — сколько соединений установить и насколько далеко. Вы хотите оптимизировать: получить стабильные взаимодействия между кластерами (clusters), но с возможностью дальних связей. Если генерировать распределение по степенному закону (power law distribution), где большинство узлов имеют локальные соединения, но есть возможность длинных, вы получаете наиболее оптимальную систему.

Развитие мозга и степенной закон

Нейроны в коре плода должны соединиться наиболее эффективным способом. Распределение проекций в коре — это степенная зависимость (power law relationship). Большинство нейронов имеют локальные проекции, но есть редкие с чрезвычайно длинными. Это позволяет иметь кластеры стабильных взаимодействий, но время от времени общаться с кем-то на другом конце коры.

Аутизм и гендерные различия

При аутизме (autism) профиль проекций нейронов другой — более крутой. В коре аутичных людей гораздо больше локальных связей и гораздо меньше дальних. Это дает маленькие, изолированные функциональные модули (modules), недостаток интеграции функций.

Существует гендерное различие: в типичном женском мозге распределение по степенному закону (power law distribution) более пологое, в мужском — круче (более модульное). Мозолистое тело (corpus callosum) в среднем толще у женщин, чем у мужчин, потому что в женских сетях больше дальних связей. У людей с аутизмом мозолистое тело еще тоньше (гипер-мужская концепция).

Контроль качества снизу вверх

Примеры систем снизу вверх

Вы запускаете веб-сайт и просите людей оценивать книги. Вместо совета экспертов (сверху вниз) вы получаете оценки снизу вверх (bottom-up). Amazon показывает: «Людям, которым понравился этот фильм, также нравится вот это». Это правила притяжения и отталкивания с элементами рандомизации (randomization).

Самый яркий пример — Википедия (Wikipedia). Это самоисправляющаяся система снизу вверх. Исследование Nature показало, что Wikipedia была на расстоянии вдоха от Encyclopedia Britannica по точности. Это мудрость толпы (wisdom of the crowd) — самоисправляющаяся, точная, адаптивная система без чертежа (blueprint), только с простыми локальными правилами.

Недостаток: конформизм

У таких систем (как Netflix) есть недостаток — склонность к конформизму (conformity). Они не хороши в выявлении outliers (выбросов) вкуса. Интересны фильмы, которые 10% считают лучшим, а 10% — худшим. Это способ сломать потенциал для конформизма.

Как кора соединяется: коллективный интеллект

Нервная система использует коллективный интеллект (swarm intelligence). При развитии коры есть поколение пионеров (pioneer generation) — радиальные глиальные клетки (radial glial cells). Они первыми прокладывают тропу. Затем нейроны (второе поколение) натыкаются на радиальную глию, растут вдоль нее, мигрируют, выбрасывают соединения. С сотнями миллионов нейронов и простыми локальными правилами вы получаете оптимальные распределения по степенному закону.

Количество рождает качество

Разница между людьми и другими видами

С нейробиологической точки зрения, нейрон плодовой мушки и наш нейрон выглядят одинаково. Те же нейротрансмиттеры, ионные каналы, потенциалы действия. У нас те же самые базовые строительные блоки. Разница в том, что у нас их 100 миллионов на каждый нейрон мухи. Из этого возникают эмерджентные свойства (emergent properties).

Гарри Каспаров и Deep Blue

Гарри Каспаров проиграл компьютеру Deep Blue. Друзья утешали его: «Тебя победило просто количество. Компьютер мог просчитать каждый возможный исход на семь-восемь ходов вперед». Каспаров ответил: «Да, но с достаточным количеством ты изобретаешь качество». Это точный эквивалент: один муравей не имеет смысла, а 10 000 — имеют.

Геном человека и шимпанзе

Люди и шимпанзе разделяют 98% ДНК. Какие 2% различаются?

• Непропорционально кодируют факторы транскрипции (transcription factors) и сплайсинговые ферменты (splicing enzymes).
• Преимущественно отличаются по некодирующим областям (non-coding regions).
• У нас примерно на 1000 меньше генов обонятельных рецепторов (они инактивированы, это псевдогены). Это составляет около половины различий.
• Различия в генах, связанных с мозгом, очень малы. Они касаются деления клеток: человеческие версии проходят больше раундов. Если добавить три-четыре раунда деления клеток к мозгу макаки, вы получите человеческий мозг по численности. Качественно это те же самые нейроны. Разница — в количестве.

Главные выводы

Темы, проходящие через всё

1. Акцент на количестве. Вы получаете качество, сложность, адаптивную оптимизацию с огромным количеством элементов, используя очень простые правила.
2. Чем проще составные части, тем лучше. Причудливые, сложные муравьи не будут генерировать коллективный интеллект так же эффективно.
3. Чем больше случайных взаимодействий, тем лучше. Случайность (randomness) — это хорошо. Она добавляет превосходства сетям.
4. Сила градиентов информации (gradients of information). Вещи, которые привлекают или отталкивают (градиенты притяжения и отталкивания).
5. Взаимодействия ближайших соседей (nearest neighbor interactions). Локальные взаимодействия с простыми правилами.
6. Генералисты (generalists) работают лучше, чем специалисты (specialists).

Эмерджентные свойства и будущее

Сложность человеческого мозга и поведения берется из эмерджентных свойств (emergent properties). Вы — первое поколение, выросшее с пониманием систем снизу вверх. Вы начинаете лучше разбираться в этом. Только ваши внуки будут людьми, которые настолько думают в терминах эмерджентных систем (emergent systems), что мы наконец сможем понять, что делает мозг.

Последние моменты

• Странные аттракторы (strange attractor) и хаос показывают, что представление об идеале, об эссенциалистском оптимуме (essentialist optimal) — это миф. Мы все отклоняемся от идеального оптимума, потому что оптимум — это просто эмерджентная воображаемая вещь.
• Если вам не нужны чертежи (blueprints), вам не нужен тот, кто их создает. Вам не нужен источник инструкций сверху вниз.