ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

Иначе говоря, если привлечь геометрические интерпретации, код Грея гарантирует, что две соседние, принадлежащие одному ребру, вершины гиперкуба aL, на котором осуществляется поиск, всегда декодируются в две ближайшие точки пространства вещественных чисел m , отстоящие друг от друга на одну дискрету точности. Двоично-десятичный код подобным свойством не обладает.

Генетические операторы

Те механизмы передачи наследственности, которые действуют в Природе, и упрощенная форма которых положена в основу того, что мы называем генетическими операторами, на самом деле, следует рассматривать как победителей, одержавших верх в напряженной многовековой борьбе над конкурентами и отшлифованных естественным отбором в такой же мере, как и все, что нас окружает. Сегодня понятно, что генетические операторы могли быть заимствованы не только из микробиологических исследований, но и из анализа языковых явлений (достаточно проанализиро-ватъ комбинаторные эвристики, применяемые человеком при решении кроссвордов) или изобретателъской деятелъности [4]. Но это сегодня; а двадцатъ лет назад нужно было обладатъ гениалъностъю Дж.

Холланда, чтобы догадатъся, как интерпретироватъ принципы действия "биологических" механизмов для решения задач адаптации в искусственных системах.
Едва ли не главным итогом почти четвертъвекового периода исследования самих ГА стало понимание прекрасной взаимной комплиментарно-сти триады генетических операторов кроссовер мутация инверсия. Воздействуя с некоторой вероятностъю на генотипы родителъских особей, каждый из них, с одной стороны, обеспечивает передачу потомству жизненно важных признаков, а с другой поддерживает на протяжении эво-люционно значимого периода достаточно высокий уровенъ его изменчивости.

Выщепление в потомстве новых, отличных от родителъских, фенотипических признаков открывает для популяции дополнителъные возможности для адаптации, то естъ способствует сохранению ею поисковой способности.
Итак, оператор мутации (см. рис. 4), подобно точечным мутациям в Природе, интерпретируется как замена существующего аллелъного состояния отделъного гена в хромосоме на противоположное (единицы на нолъ и наоборот). Очевидно, что в зависимости от того, в каком разряде фрагмента, кодирующего переменную, произойдет мутация, зависит величина расстояния, отделяющего потомка от родителя (речъ идет не о хэм-

Рис. 4. Триада генетических операторов
У всех трех операторов место приложения, помеченное значком Ў, выбирается случайно
минговом пространстве aL, где это расстояние равно 1, а о пространстве вещественных чисел ^N). Инверсия приводит к нарушению порядка следования фрагментов хромосом у потомка по сравнению с родительской хромосомой. Наконец, кроссовер, описывающий механизм гаметогенеза в диплоидных популяциях организмов и привнесенный Холландом в моделирование эволюции гаплоидных популяций, приводит к тому, что хромосома потомка включает два фрагмента, один из которых принадлежал ранее, условно говоря, отцовской хромосоме, а другой материнской.

Именно благодаря наличию кроссоверных обменов особи популяции обмениваются между собой генетической информацией, то есть поиск приобретает действительно коллективный характер.
Иногда, говоря о триаде генетических операторов, подчеркивают способность кроссовера и инверсии к глобальному поиску, в то время как мутацию отождествляют со средствами локальной настройки решения, отводя ей фоновую роль. Такое распределение ролей представляется спорным, так как мутация может породить потомка далеко за пределами локального экстремума, в которой находится родитель, с другой стороны, кроссовер, проведенный над гаметами родителей, расположенных в общем экстремуме, наверняка породит потомков в этом же экстремуме. Важно другое ни кроссовер, ни мутация не опираются в процессе генерирования потомка на знание локального рельефа поверхности целевой функции.

В этом смысле их можно считать глобальными.

Преимущественное право размножения сильнейших

Стиль мышления, принятый в биологии, сильно отличается от технического мышления. В биологии мельчайшей единицей, значимой в эволюционном смысле и заслуживающей внимания, выступает популяция, а не отдельная особь.

О том, насколько популяция адаптирована к среде, насколько благополучно она развивается, судят по динамике ее численности. Не столь интересно, стали ли рога у оленей ветвистее, важно, чтобы прирост численности стада был положительным. Коэффициент размножения, усредненный по популяции, рассматривается как единственный и универсальный критерий приспособленности популяции к условиям обитания

[5].
С другой стороны, индивидуальная приспособленность особи оказывает прямое влияние на будущее популяции. Чем больше потомков данной особи доживет до репродуктивного возраста, тем большее число членов популяции будущего поколения будет нести ее аллели. Приспособленность, рассматриваемая как мера влияния генотипа на будущее, пишет Холланд в [1], представляет идею, полезную во всем спектре проблем адаптации. Хороший способ рассмотреть эту идею в более широком контексте, это рассматривать тестирование генотипов как процедуру формирования выборок (под выборкой sample Холланд подразумевает текущую популяцию Прим.авт.).

Проcтранcтво выборок в этом случае представляет собой набор всех генотипов а, а результатом оценивания каждой структуры становится приспособленность ц_Е соответствующего фенотипа. Общий вопрос, связанный с приспособленностью, звучит так: В какой степени оценка Ц_е($) какой-либо структуры $еа оказывает
влияние или изменяет план т формирования новой выборки? Оглядываясь назад скорее чем вперед, мы сталкиваемся с другим взаимосвязанным вопросом: Как история результатов тестирования предыдущих выборок оказывает влияние на текущий план формирования новых?

Ответы на эти вопросы уходят далеко к определению того, что составляет основу любого адаптивного процесса.
Мы уже видели, продолжает Холланд, что ответ на первый вопрос, что касается генетических систем, состоит в том, что будущее влияние каждой особи $еа прямо пропорционально оценке приспособленности Ц_е(^$). Вообще, это отношение не обязательно существует много
признанных процедур для оптимизации, математического обучения и др., где отношение между оценкой качества и будущими структурами довольно другое. Тем не менее, воспроизводство в пропорции к достигнутому качеству является важной идеей, которая может быть обобщена с тем, чтобы сделать планы формирования выборок репродуктивныіе планыі применимыми к любой задаче адаптации...
Таким образом, как мы видим, отличительной чертой репродуктивных планов Холланда является право более приспособленных дать большее количество потомков.
Любопытно, но при условии неизменной численности популяции (а в компьютерном моделировании эволюции это условие невозможно игнорировать) применение принципа преимущественного размножения более приспособленныіх приводит к несколько неожиданному результату в популяции размножаются как быі не сами особи, а гены. По существу, это эквивалентно понижению уровня рассмотрения системыі: мыі оперируем не особями, а генами.

Геныі борются друг с другом за выіживание, сильныіе вытесняют из генофонда популяции слабыых.
Простой репродуктивный план включает две повторяющиеся процедуры. В течение первой из них дополнительные копии некоторых особей, обладающих приспособленностью выше среднего по популяции уровня, добавляются к текущей популяции %(t), в то время как некоторые особи с
низкой приспособленностью элиминируются. Более точно, каждая особь получает возможность стать родителем с вероятностью, пропорциональной ее приспособленности. В течение второй процедуры генетические операторы воздействуют на генотипы потомков, модифицируя наборы аллелей так, чтобы исключить идентичность потомков и родителей. В результате получается новая популяция %(+1).

Процесс итеративно повторяется, генерируя последовательность поколений генотипов.
Заметим, что в контексте вышесказанного популяция имеет такое же отношение к процессу адаптации, как понятие состояния к законам физики или передаточной функции к теории автоматов. Знание состава текущей популяции позволяет определить структуру следующего поколения, не обращаясь к предыдущему. Обобщенным оператором, выполняющим преобразование %(t) в %(+1) и является репродуктивный план т. Модифицируя генотипы генетическими операторами ще Q в рамках возможностей, ограниченных структурой а, репродуктивный план генерирует новые особи, более приспособленные к среде E. Обозначив через I(t)= ^_E($ftJ) реакцию среды, противостоящей адаптивной системе, Холланд дает следующее символическое определение репродуктивному плану

Репродуктивный план Холланда

- Шаг 1. Инициализация начальной популяции
Ввести точку отсчета эпох ^ Инициализировать случайным образом M генотипов особей и сформировать из них начальную популяцию %(0)=($і(0),---,$м(0)). Вычислить
приспособленность особей популяции ?(0)=(р₁(0),...,р_м(0)), а затем среднюю приспособленность по популяции
M
0) = ?ц h (0)/ M.
h=1
- Шаг 2. Выбор родителей для скрещивания
Увеличить номер эпохи на единицу t=t+1. Определить случайную переменную Rand_t на множестве Zm={1,^, М}, назначив вероятность выпадения любого h е Z_M пропорциональной р_h (t) / jLt(t). Сделать одно испытание Rand_t и вычислить результат i (t), который определит номер первого родителя Повторным испы
танием определить номер второго родителя i'(t).
- Шаг 3. Формирование генотипа потомка
С вероятностью P_c произвести над генотипами выбранных родителей кроссовер. Выбрать с вероятностью 0,5 одного из результантов и сохранить его как 1$(t). Последовательно применить к
1$(t) оператор инверсии (с вероятностью Pi), а затем мутации (с вероятностью P_m). Полученный генотип потомка сохранить как $'.
- Шаг 4. Отбор особи на элиминирование и замена ее потомком
С равной вероятностью 1/ M для всех h е Z_M определить случайным образом номер j(t) особи в популяции, которую заместит потомок. Обновить текущую популяцию %(t) путем замены ^$щ(0 на $'(t).
- Шаг 5. Определение приспособленности потомка Вычислить приспособленность потомка J_E($/(t)). Обновить значение средней приспособленности jLt(t) и вектор приспособленностей v(t).
- Шаг 6. Перейти к шагу 2.
Приведенные на последних двух страницах соображения являются достаточно общими, чтобы не ограничивать нашу инициативу с опробованием различных стратегий отбора на скрещивание и элиминирование, выбором порядка и интенсивности воздействия генетических операторов. За последние 10 лет во всем мире был выполнен огромный объем исследований в этом направлении, изучены различные комбинации эвристик, а также новые подходы, усовершенствующие поисковую способность ГА.
Поскольку аналитические методы исследования условий и скорости сходимости наталкиваются в этой области на серьезные проблемы, была разработана целая система тестовых задач (benchmark), предназначенных выявить относительную эффективность различных версий алгоритма. На них же было осуществлено сравнение ГА с другими техниками и доказана уникальность его способностей для решения задач глобальной оптимизации.

Однако многие исследователи подчеркивают, что при всей внешней простоте замысла ГА требуют значительных усилий при настройке под конкретную задачу, даже по сравнению с близкими им по духу эволюционными методами (так называемыми эволюционными стратегиями). В настройке нуждаются, прежде всего, вероятности применения генетических операторов, оказывающие существенное влияние на сбалансированность процессов отбора и изменчивости.

Некоторые руководства рекомендуют априорно выбирать величины этих стратегических параметров на уровне Р_с = 0,9; Pi =0,01; P_m=0,1.
По-видимому, следовало бы говорить не о сложности применения ГА вообще, а об адекватности уровней сложности алгоритма и решаемой задачи. Чем проще задача, тем бессмысленнее становятся различные ухищрения с кодировкой генотипов, настройкой вероятностей ит. п. В пределе, если целевая функция имеет единственный экстремум в исследуемой области, применение ГА теряет всякий смысл, так как любой локальный метод найдет решение быстрее и проще для нас.

С другой стороны, нельзя сказать, что нет такой задачи, которую нельзя было бы не решить с помощью ГА. К сожалению, таких задач достаточно, и вряд ли кто-нибудь возьмет на себя смелость предсказать, когда они исчерпаются.
Где же проходит сегодня граница разумной сложности задачи? Наверное, все определяется тем, какими ресурсами мы располагаем персональной РС386 или транспьютером Т64000.

Часто называют более определенный критерий задача должна быть решена за одну ночь работы компьютера уровня Pentium-100.
Как бы ни было, на сегодняшний день ГА реально продвинули вперед границы наших вычислительных возможностей. Процедурно работу одной из его быстро сходящихся версий можно проиллюстрировать блок-схемой, представленной на рис. 6.

Рис. 6. Репродуктивный план Холланда

На первом этапе случайным образом генерируем исходную популяцию бинарных хромосом. Декодируем значения переменных из двоичного к вещественному виду.
При помощи математической модели определяем индекс приспособленности каждого решения и в зависимости от его величины упорядочиваем популяцию. Вычисляем среднюю по популяции приспособленность. Опираясь на нее, назначаем вероятность, с какой каждая особь, обладающая приспособленностью выше среднего уровня, может стать родителем.

При этом для каждого родителя есть две возможности - либо просто быть скопированным в следующее поколение, либо подвергнуться воздействию генетических операторов в процессе генерирования хромосомы потомка.
Далее оцениваем приспособленность потомка, и, действуя аналогичным образом, постепенно заполняем популяцию следующего поколения. Через M шагов новое поколение оказывается сформированным.

Ясно, что поскольку оно получено от лучших родителей, то его приспособленность должна быть также высокой. Не вызывает сомнений, что, блокируя слабо приспособленным особям возможность стать родителем и дать потомство, мы увеличиваем или, по крайней мере, не уменьшаем среднюю по популяции приспособленность.
Работу алгоритма прекращаем при достижении популяцией состояния адаптации, идентифицируемому по стягиванию ядра популяции сначала в плотное облачко, а затем - в точку. Кроссовер как механизм изменчивости теряет в таких условиях свою силу - при скрещивании идентичных родителей потомок ничем не будет отличаться ни от одного из них.

Мутация и инверсия будут по-прежнему модифицировать потомство, тестируя все новые и новые точки поискового пространства, но безуспешно - лучше найденного решения нет, и потомки не смогут даже втиснуться в вырожденное ядро.
К сожалению, мы почти никогда (за исключением аналитически сконструированных тестовых задач) не можем с уверенностью утверждать, что найденное решение представляет собой глобальный экстремум. Фенотипическое и генотипическое вырождение популяции является необходимым, но не достаточным признаком успешности поиска. Оно только свидетельствует, что какойто экстремум найден, но ничего не говорит о том, каков его характер.

Тем не менее, нам не остается ничего другого, как довольствоваться достигнутым результатом. В противном случае лучше повторно запустить задачу в надежде на более благоприятное развитие событий, чем ждать чуда от истощенной популяции.

Эволюция неповторима и при новом сочетании случайных факторов решение может оказаться более привлекательным.

ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

Сеть нейронов, образующая человеческий мозг, представляет собой высокоэффективную комплексную, существенно параллельную систему обработки информации. Она способна организовать свои нейроны таким образом, чтобы реализовать восприятие образа, его распознание во много раз быстрее, чем эти задачи будут решены самыми современными компьютерами.

Так распознание знакомого лица происходит в мозге человека за 100120 мс, в то время как компьютеру для этого необходимы минуты и даже часы.
Сегодня, как и 40 лет назад, несомненно то, что мозг работает более эффективно и принципиально другим образом, чем любая вычислительная машина, созданная человеком. Именно этот факт в течении стольких лет побуждает и направляет работы ученых по созданию и исследованию искусственных нейронных сетей.

Эволюция взглядов на высшую нервную деятельность

Вопрос, является ли живой организм чем-то вроде машины, впервые был поднят французским философом и математиком Рене Декартом (15961650). Декарт жил в период подъема механики, когда Кеплер и Галилей приступили к разработке идей о движении небесных тел. Радикально новые взгляды на человека и Вселенную получали тогда только первый толчок.

До этого царили представления, что законы Природы, начиная от падения камней и заканчивая движением планет, являются неизменными и незыблемыми. Вселенная представлялась как поражающий воображение своими масштабами часовой механизм, созданный и приведенный в движение Великим Творцом. На бытовом уровне эти представления находили воплощение в механических безделушках, создаваемых для обитателей зажиточных домов Европы.

Часы с кукушкой, фонтаны в аллеях, обливающие посетителей, случайно наступивших на скрытую пружину разве нельзя было объяснить мысли и действия человека в похожих механистических терминах?
По Декарту, все действия, как у человека, так и у животных, являются ответом на события внешнего мира. Внешний раздражитель возбуждает один из органов чувств. Возбуждение передается в мозг, который направляет его на соответствующие мускулы. Таким образом, возбуждение органов чувств приводит к сокращению мускул, то есть к развитию реакции на внешний раздражитель.

Энергия раздражителя как бы отражается обратно нервной системой через мускулы животного. Термин рефлекс (от англ. reflex отражение, отсвет, отблеск) берет начало именно в этих рассуждениях Декарта.
Прогресс в понимании механизмов таких реакций был достигнут несколько позднее на опытах с животными, у которых был удален мозг. Около 1750 года шотландский ученый Витт доказал, что такие движения контролируются спинным мозгом.

Он обнаружил, что обезглавленная лягушка отдергивает ноги от булавки, но если удалить у нее одновременно головной и спинной мозг, она перестает реагировать на уколы.
Дальнейший толчок в изучении безусловных рефлексов был получен во время Французской Революции. Пьер Кабани, друг и врач некоторых ее лидеров, исследовал, сохраняется ли сознание после гильотинирования. Он пришел к выводу, что нет, и что судороги обезглавленного тела являются скорее рефлекторными действиями.

Эти мрачные исследования были продолжены немецким исследователем Теодором Бишофом, который выполнил серию экспериментов над головами казненных преступников. Даже достаточно сильные возбудители не производили никакого эффекта в течение первой минуты после обезглавливания.
Классические условные рефлексы первым описал в начале XX века И. П. Павлов, сразу же усмотревший в них простейшую форму обучения, благодаря которой ассоциируются два события. При классическом условном рефлексе исходно неэффективный раздражитель, называемый условным, повторно сочетается с высокоэффективным раздражителем, называемым безусловным. Вначале условный раздражитель вызывает лишь слабый ответ или вообще никакого; безусловный раздражитель провоцирует бурную реакцию без какого бы то ни было предварительного обучения.

В результате выработки условного рефлекса условный раздражитель приобретает способность вызывать либо сильный, либо новый ответ. Для того, чтобы образовалась условная связь, то есть произошло обучение, условный раздражитель должен коррелировать с безусловным, предшествуя ему на некоторый критический промежуток времени.
До начала текущего столетия большинство нейрофизиологов верило, что маршрут рефлекса пролегает через существенно непрерывные нити нервной ткани. Понятие синапса, щели между нейронами, посредством которой они должны взаимодействовать, является сравнительно новым.

Исследования, устанавливающие наличие синапса и его роль в нервной активности, были выполнены на рубеже веков английским физиологом сэром Чарльзом Шеррингтоном (18571952). Работа Шеррингтона затрагивала поведенческий уровень, а не электрофизиологический.

Тем не менее, из анализа рефлекторных действий собак, кошек и обезьян он сумел разгадать основные принципы работы синапса.
К первым попыткам раскрыть секреты анатомической организации мозга можно отнести исследования Сантьяго Рамон-и-Кахаля (1911). Применив метод окраски нейронов солями серебра, разработанный ранее Ка-милло Гольджи (серебро избирательно проникает в нейроны, но не пропитывает другие клетки мозга), Кахаль увидел, что мозг имеет клеточную архитектуру.

Кроме нейронов в cоcтав мозга входят разнообразные глиальные клетки, выполняющие опорные функции и участвующие в репарационных процессах. Кахаль описал нейроны как поляризованные клетки, которые получают сигналы сильно разветвленными отростками, получившими название дендритов, а посылают информацию неразветвленными отростками, названными аксонами
Окрашивание по Гольджи позволило выявить огромное разнообразие нейронов по форме тела, разветвленности дендритной части и длине аксона. Кахаль выявил различия между клетками с короткими аксонами, взаимодействующими с соседними нейронами, и клетками с длинными аксонами, проецирующимися в другие участки мозга.
Несмотря на различия в строении, все нейроны проводят информацию одинаково. Информация передается по аксонам в виде коротких электрических импульсов, так называемых потенциалов действия, амплитуда которых составляет около 100 мВ, а длительность 1 мс.

Возникновение импульсов связывают с движением положительно заряженных ионов натрия через поверхностную клеточную мембрану из внеклеточной жидкости внутрь клетки, в ее цитоплазму.
Концентрация натрия в межклеточном пространстве примерно в 10 раз больше его внутриклеточной концентрации. В состоянии покоя поддерживается трансмембранная разность потенциалов около -70 мВ. При этом ионы натрия проникают в клетку медленно, так как доступ туда для них ограничен свойствами мембраны.

Физическая или химическая стимуляция, деполяризующая мембрану, увеличивает ее проницаемость для ионов натрия. Поток натрия внутрь клетки еще сильнее деполяризует мембрану, делая ее все более проницаемой.
Когда достигается некоторое критическое значение потенциала, называемое пороговым, положительная обратная связь приводит к регенеративным сдвигам, в результате которых знак разности потенциалов изменяется на противоположный, то есть внутреннее содержимое клетки становится заряженным положительно по отношению к внешней среде. Приблизительно через 1 мс проницаемость мембраны для натрия падает и трансмембранный потенциал возвращается к своему значению в состоянии покоя -70 мВ.

После каждого такого "взрыва" нейрон остается на несколько миллисекунд рефрактным, то есть натриевая проницаемость мембраны в этот период не может изменяться. Это кладет предел частоте генерации импульсов не более 200 раз в секунду.
Хотя аксоны и похожи на провода, импульсы они проводят иначе. Их кабельные характеристики неважные: сопротивление вдоль оси слишком велико, а мембранное сопротивление слишком мало. Положительный заряд рассеивается уже через 12 мм. Чтобы преодолевать расстояния, составляющие иногда несколько сантиметров, импульсы должны регенерироваться.

Необходимость повторно усиливать ток ограничивает максимальную скорость распространения нервного импульса по аксону до 100 м/с.
Связи между нейронами опосредуются химическими передатчиками нейромедиаторами выделяющимися из окончаний отростков нейронов в синапсах.

Содержание раздела