Музей форума дьякона Кураева (1999 - 2006)

Сделаю, на всякий случай, примечание к словам > ВНУТРИ САМОЙ МАТЕРИИ, ИЛИ В ЗАКОНАХ, ПО КОТОРЫМ ОНА ЖИВЕТ, Материя, конечно, не живет САМА ПО СЕБЕ, а просто СУЩЕСТВУЕТ, пребывает. Привожу, чтобы не путать с рериховским подходом к мирозданию.

Самоорганизация как таковая вне разума невозможна по одной простой причине - для организации нужна цель, и цель эта не сводима к совокупности стремлений организующихся элементов. Цель за рамками структуры, она в области “потустороннего“ для элементов данной системы. Таким образом, что бы достигнуть самоорганизации все элементы системы должны быть в состоянии “подняться над собой“ и не только над собой, но и над совокупностью всех элементов, что бы увидить целое. Но это не возможно по условиям задачи, ведь если элементы способны “объять“ всю систему, то тогда она не нужна, или нужна, но совершенно другая, а если нет, то и нет. И даже если элементы системы способны осознать все строение системы, это еще не значит мочь. в том то и стоит проблема, что элементы нужно организовать, то есть таким образом отладить их взаимодействие, что бы получился организм.

Здравствуйте, Виталий. Конечно, согласен с Вами. Рассмотрим, например, еще пример из биологии. Человеческий организм, составленный из клеток, может являться примером “самоорганизующейся системы“. Но здесь немножко другое - ПОДДЕРЖАНИЕ системы в ее упорядоченном состоянии, а не ее создание как говорится “с нуля“. Биологи могут констатировать “САМОПОДДЕРЖАНИЕ“ человеческого организма. Если они переходят на клеточный уровень (здесь я ссылаюсь на другую статью на указанном ранее сайте - Хоменко), то внутри самой клетки источников даже для поддержания самой систсемы не наблюдается. Рассуждая аналогичным образом по отношению ко всем клеткам человеческого организма можно ли утверждать, что источник, поддерживающий его существование, лежит ВНЕ его? И специально отмечу, что здесь идет разговор не об физических энергиях (физическая энергия сохраняется по закону сохранения энергии!), а именно о совместном функционировании системы клеток... То есть хочется отметить, что ситуация здесь весьма сложнее, чем кажется на первый взгляд... С уважением, Николай

Здравствуйте, Николай! Не могли бы Вы более подробно пояснить, что имеется в виду 1) - в упомянутой цитате, 2) - в вашем вопросе. Насколько я помню, идеи Пригожина основываются на том экспериментальном факте, что при обработке состава, напоминающего, по его мнению, атмосферу первобытной Земли, всякой дрянью (радиация, ультрафиолет, температура) появляются фрагменты аминокислот и белков. Отсюда делается сомнительный вывод, что если “трясти“ дальше, то зародится и жизнь. Источник - популярная литература времен моего детства, к тому же я мог что-то с чем-то перепутать. Но о том, что самоорганизация подтверждается какой-то математикой (о чем Вы собственно спрашиваете), по крайней мере здесь речи не идет. Соответственно, не понятно, как это опровергается, и вообще как связано с работами С.И.Яковленко. Правда, статьи, на которую ссылается автор, у меня нет, но в целом с работами Яковленко я знаком (как и с ним самим). В основном они состоят в том, что опровергается (с помощью численных экспериментов) распространенное (см., напр., Ландафшица) мнение, что сложные (с большим количеством степеней свободы и внутренних связей) системы (конкретно - плазма) являются эргодическими (т.е., как следствие, статистически описываются распределением Больцмана). Попробую уточнить. Илья

Здравствуйте, Илья. > Правда, статьи, на которую ссылается автор, у меня нет, но в целом с работами Яковленко я знаком (как и с ним самим). > Попробую уточнить Здорово получается. Мир тесен. > Ландафшица Первый раз слышу такой “жаргон“. У нас сокращали так: “Ландлифшиц“. (Здесь имеется в виду мнение знаменитых российских физиков - теоретиков: Ландау и Лифшица. Написанные ими учебники по теоретической физике, например, служат “настольными“ книгами современных физиков - теоретиков.) Николай

Илья, в этой области физики я не специалист. Сами понимаете, что идея самоорганизации присутствует в довольно различных модификациях в разных областях науки. Насчет Пригожина знаю не больше Вашего. Статья О.Петренко в детали обсуждения не входит. Можете сами посмотреть ее - она сравнительно короткая. Идеи насчет математики возникли у меня. К Пригожину и Яковленко они не имеют отношения. Насколько я понимаю, действуют обычно следующим образом. Видят какой-нибудь объект, имеющий определенную структуру. Затем записывают уравнение (возможно, дифференциальное), характеризующее свойства объекта. Решают его и получают определенные решения, ограничивающие область значений исходных параметров. То есть исходные параметры не могут после этого быть произвольными, а значит, подчиняются определенным закономерностям. Здесь желательно говорить уже на конкретных примерах, а не отвлеченно. Идея моя заключается в том, а не вводим ли мы структурность искусственно, выбрав уравнение, описывающее наблюдаемые свойства объекта. Здесь я высказываюсь весьма сумбурно в надежде, что придет специалист в данной области и поправит меня, где это нужно. Николай

ландавшиц-это физтеховский жаргон.

Да, Виталий, еще добавлю следующее, как же сама система может осознать свою полноту, через осознание которой ей придется сделать оптимальный выбор к “само“организации в каждый дискретный момент времени. Все это просто хаос, относительно взгляда самой системы и порядок с верхних этажей управления, а, как следствие, порядок выражается через определенные (наверху заданные) законы, которые и стабилизируют хаотичность замкнутой системы.

Спасибо за тему! Господа, подключайтесь!!! Вспомните о клеточных автоматах (“Жизнь“, 2-мерная машина Тьюринга [если кто видел],...)- очень красивая самоорганизация. Исследования по ИИ (не знаю какой степени современности): древовидная система моделей нейронов, описываемых дифурами. Говорится о количестве слоев-уровней, определяющих глубину анализаторских способностей такого “индивида“. Да, и их обучают, ставя в типовые ситуации и заставляя реагировать так как надо, после чего они самоорганизуются и справляются с этими и другими задачами самостоятельно... Научную публикацию с предсказанием курса валюты могу про'Email'ить - со всеми теоретическими и практическими выкладками... Нейронные сети. Биологические и электронные (на чипе). Самоорганизующаяся материя... Все... А то посадят... ;)

Володя, а нельзя ли пошире осветить вопросы ИИ и проблем нейронных сетей. В чем собственно, выражается, в этих теоретических разработках, способность к самоорганизующему началу. Правда, наверное, это непростое занятие, но можно говорить только о самом главном, а именно о идеях на которых они строят свои исследования. Программу, предсказывающую курсы валют, жду по мэйлу. Спасибо заранее. Андрей

//Научную публикацию с предсказанием курса валюты могу про'Email'ить - со всеми теоретическими и практическими выкладками... Было бы интересно. До сего момента самым точным методом предсказания курса валюты я считал астрологический.

Прежде всего хочу извиниться, что перепутал Пригожина с Опариным. Как говорится в старом анекдоте “это похоже, но не одно и то же“. Более подробную информацию по теме постараюсь дать позднее. Илья

Извините, маленький цейтнот... Сюда вернусь когда чуть рассосется... Кидайте заявки на эту работу мне на sci098@yahoo.com Zip-файл ~60Kb Сам я не мыслю ИИ, обучаемости ИИ без самоорганизации. Пусть даже это самоорганизация коэффициентов уравнений. Континуальную и дискретную [вещественную и целочисленную] модели нейронной сети считаю эквивалентными в больших объемах (тем более в размерах Вселенной - понимаете, о чем я?.. но это только гипотеза вроде той, что Рай находится в 4-м измерении). Да, и что Вы думаете про клеточные автоматы?.. С любовью, Володя. ---------------------------------------------- Вот аннотация работы: АННОТАЦИЯ В данной дипломной работе разработан оригинальнй подход к проблеме прогнозирования, на основе нейронных сетей. При помощи нейронной сети основанной на алгоритме обратного функционирова- ния, были спрогнозированы изменения курса доллара США по отноше- нию к украинскому карбованцу. Эксперимент дал хорошие результаты по достоверности. Разработанна модель прогнозирования может быть применена и при прогнозировании других экономических показате- лей. И из введения: ВВЕДЕНИЕ Целью данной работы является разработка методов прогнозиро- вания основанных на нейронных сетях (НС), которые может быть ис- пользованы в прогнозирующих системах. На основе этих методов воз- можно предсказание значения переменных, важных в процессе приня- тия решений. Эти методы анализируют исторические данные о пере- менной с целью оценить ее будущее изменение. ... В первой главе мы обсуждаем некоторые общие аспекты разра- ботки прогнозирующих систем: понятие прогноза и цели его ис- пользования, основные понятия и определения в области прогнозиро- вания, методы прогнозирования, модели временных последовательнос- тей, критерии производительности прогнозирующих систем и другие общие вопросы касающиеся разработки прогнозирующих систем. Во второй главе мы обсуждаем известные модели НС: модель Маккалоха и Питтса; модель Розенблата; модели Хопфилда и Больцма- на; модель на основе обратного распространения. Рассмотрена структура и особенности каждой из моделей. Перечислены основные задачи решаемые на основе НС, описаны способы реализации НС. Про- веден анализ известных моделей НС с точки зрения решения решения задачи прогнозирования. В третьей главе описан способ прогнозирования с помощью НС, основанный на методе окон. Также приведен обзор применения НС в финансовой сфере. В четвертой главе мы приводим детальное описание метода об- ратного распространения - способа обучения многослойных НС. Под- робно описана НС для распознавания рукописных цифр и и процесс ее обучения. В главе также проведена современная оценка метода об- ратного распространения. В пятой главе описаны эксперименты по прогнозированию курса американского доллара по отношению к украинскому карбованцу (UKB/USD). Сначала описаны задачи исследования и общая структура экспериментов. Далее описаны проделанные эксперименты, при этом подробно перечислены особенности каждого из них. Для эксперимен- тов, которые показали удовлетворительные результаты обучения (сеть распознала не менее 80% образов, на которых обучалась) в приложениях приведены таблицы с подробным описанием результатов по каждому образу, который распознавался. Завершается работа заключением, в котором сделаны основные теоретические и практические выводы, указана перспектива дальней- ших исследований, а также приведены список использованной литера- туры и приложения.

Курс валюты зависит от многих вещей в том числе от такой точной материи, как “ожидания“ участников валютных торгов, которые в свою очередь зависят от многого, хотел бы я посмотреть на эту систему. В любом случае. Организация как акт имеет два аспекта 1. предначальный; 2. продолженный, где предначальный аспект - сбор элементов и выстраивание структуры, а продолженный (для незамкнутых т.е. систем испытывающих постоянную потребность в достраивании, до организации)- координация (управление на базе охранительства свойств системы). Таким образом, Самоорганизация, это дурно понятая координация. То есть такой процесс, который уже начат, и лишь продолжается.

Ух, как я боялся этого ИИ. Теперь все ясно Искусственный интеллект - это вид компьютерной системы, принципиально ничем от нее не отличающийся. Да, есть ряд задач, которые много удобнее реализовывать на ИИ, но пока мне представляется, не очень большой этот ряд. Как бы то ни было, любая задача ИИ может быть записана и как матем. модель, и как обычная компьютерная система. Эта система может не быть решенной из-за ее огромной размерности, но теоретически она ничем не отличается от прочих моделей. Самоорганизация в данном значении может быть запросто реализована на обычной компьютерной системе (и в мат. форме, если постараться, может быть записана), и не факт, что менее успешно (все зависит от конкретной задачи). А вообще здорово! Одно смущает в некоторых высказываниях теоретиков ИИ. “Мозг может быть представлен как нейронная система“ Вот-де, раз мозг за конечное время может выдать логическое высказывание, то это нейронная система. Стало быть, если нейронная система будет большая, она заработает как мозг. Обычные, к сожалению, в научном мире магические заклинания. Меня тоже как-то пытались убеждать, что наступит такой период, когда ИИ сама начнет “думать“. Ну, теперь-то я спокоен. Во-первых, машина думать не может, она должна ездить, во-вторых, математическая модель тоже думать не может: она выдает решения на основании заданной информации. Вообщем, самоорганизация здесь такая: пока некоторые показатели не покажут, что поиск закончен, система в равновесное состояние не придет. Эти показатели может строить сама система, но опять же, на основании каких-то еще показателей, и т.д., таких уровней конечное число. Так что пока человек может вздохнуть свободно.

Сергей, мне всякая самоорганизация представляется, как следующий образ, помните, когда барон Мюнхгаузен пытался вытащить себя за волосы из болота. Тоже самое происходит и здесь, можно сколько угодно вариться в собственном соку, но при этом качественного изменения с тобой произойти не может. Например, если вдруг компьютерная промышленность создаст, ну о-о-очень мощный вычислитель, то даже тогда при помощи самой изощренной программы невозможно будет добиться такого результата, когда программа посмотрит на себя со стороны и скажет сама себе - “А не начать ли мне, самой в себе, устранять все накопившиеся “баги“ и сделаться после этого подобной моему “создателю-программеру“, так чтобы он не захотел от меня отказаться и не выбросил, т.к. я, только делаю, что глючу, а использовал в других интересных разработках“. :)

НЕЙРОННЫЕ СЕТИ. СОСТОЯНИЕ ПРОБЛЕМЫ В данной главе мы обсуждаем известные модели НС: модель Маккалоха и Питтса; модель Розенблата; модели Хопфилда и Больцмана; модель на основе обратного распространения. рассмотрена структура и особенности каждой из моделей. Перечислены основные задачи решаемые на основе НС, описаны способы реализации НС. Проведен анализ известных моделей НС с точки зрения решения решения задачи прогнозирования. 2.1. Нейронные сети - основные понятия и определения В основу искусственных нейронных сетей [2-4, 8] положены следующие черты живых нейронных сетей, позволяющие им хорошо справляться с нерегулярными задачами: - простой обрабатывающий элемент - нейрон; - очень большое число нейронов участвует в обработке информации; - один нейрон связан с большим числом других нейронов (глобальные связи); - изменяющиеся по весу связи между нейронами; - массированная параллельность обработки информации. Прототипом для создания нейрона послужил биологический нейрон головного мозга. Биологический нейрон имеет тело, совокупность отростков - дендридов, по которым в нейрон поступают входные сигналы, и отросток - аксон, передающий выходной сигнал нейрона другим клеткам. Точка соединения дендрида и аксона называется синапсом [13,47]. Упрощенно функционирование нейрона можно представить следующим образом: 1) нейрон получает от дендридов набор (вектор) входных сигналов; 2) в теле нейрона оценивается суммарное значение входных сигналов. Однако входы нейрона неравнозначны. Каждый вход характеризуется некоторым весовым коэффициентом, определяющим важность поступающей по нему информации. Таким образом, нейрон не просто суммирует значения входных сигналов, а вычисляет скалярное произведение вектора входных сигналов и вектора весовых коэффициентов; 3) нейрон формирует выходной сигнал, интенсивность которого зависит от значения вычисленного скалярного произведения. Если оно не превышает некоторого заданного порога, то выходной сигнал не формируется вовсе – нейрон “не срабатывает “; 4) выходной сигнал поступает на аксон и передается дендридам других нейронов. Поведение искусственной нейронной сети зависит как от значе ния весовых параметров, так и от функции возбуждения нейронов. Известны три основных вида [17] функции возбуждения: пороговая, линейная и сигмоидальная. Для пороговых элементов выход устанавливается на одном из двух уровней в зависимости от того, больше или меньше суммарный сигнал на входе нейрона некоторого порогово го значения. Для линейных элементов выходная активность пропорциональна суммарному взвешенному входу нейрона. Для сигмоидальных элементов в зависимости от входного сигнала, выход варьируется непрерывно, но не линейно, по мере изменения входа. Сигмоидальные элементы имеют больше сходства с реальными нейронами, чем линейные или пороговые, но любой из этих типов можно рассматривать лишь как приближение. Нейронная сеть представляет собой совокупность большого числа сравнительно простых элементов - нейронов, топология соединений которых зависит от типа сети. Чтобы создать нейронную сеть для решения какой-либо конкретной задачи, мы должны выбрать, каким образом следует соединять нейроны друг с другом, и соответствующим образом подобрать значения весовых параметров на этих связях. Может ли влиять один элемент на другой, зависит от установленных соединений. Вес соединения определяет силу влияния. 2.2. Модели нейронных сетей 2.2.1. Модель Маккалоха Теоретические основы нейроматематики были заложены в начале 40-х годов. В 1943 году У. Маккалох и его ученик У. Питтс сформулировали основные положения теории деятельности головного мозга [9]. Ими были получены следующие результаты: - разработана модель нейрона как простейшего процессорного элемента, выполняющего вычисление переходной функции от скалярного произведения вектора входных сигналов и вектора весовых коэффициентов; - предложена конструкция сети таких элементов для выполнения логических и арифметических операций; - сделано основополагающее предположение о том, что такая сеть способна обучаться, распознавать образы, обобщать полученную информацию. Несмотря на то, что за прошедшие годы нейроматематика ушла далеко вперед, многие утверждения Макклоха остаются актуальными и поныне. В частности, при большом разнообразии моделей нейронов принцип их действия, заложенный Макклохом и Питтсом, остается не изменным. Недостатком данной модели является сама модель нейрона “пороговой“ вид переходной функции. В формализме У. Маккалоха и У. Питтса нейроны имеют состояния 0, 1 и пороговую логику перехо да из состояния в состояние. Каждый нейрон в сети определяет взвешенную сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить свое собственное состояние. Пороговый вид функции не предоставляет нейронной сети достаточную гибкость при обучении и настройке на заданную задачу. Если значение вычисленного скалярного произведения, даже незначительно, не достигает до заданного порога, то выходной сигнал не формируется вовсе и нейрон “не срабатывает“. Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на взвешенных входах в следующем слое нейронов. 2.2.2. Модель Розенблата Серьезное развитие нейрокибернетика получила в работах американского нейрофизиолога Френсиса Розенблата (Корнелльский университет). В 1958 году он предложил свою модель нейронной сети. Розенблат ввел в модель Маккаллока и Питтса способность связей к модификации, что сделало ее обучаемой. Эта модель была названа персептроном [11, 12, 46, 47]. Первоначально персептрон представлял собой однослойную структуру с жесткой пороговой функцией процессорного элемента и бинарными или многозначными входами. Первые персептроны были способны распознавать некоторые буквы латинского алфавита. Впоследствии модель персептрона была значительно усовершенствована [47]. Персептрон применялся для задачи автоматической классификации, которая в общем случае состоит в разделении пространства признаков между заданным количеством классов. В двухмерном случаетребуется провести линию на плоскости, отделяющую одну область от другой. Персептрон способен делить пространство только прямыми линиями (плоскостями) [6, 11]. Алгоритм обучения персептрона выглядит следующим образом: 1) системе предъявляется эталонный образ; 2) если выходы системы срабатывают правильно, весовые коэффициенты связей не изменяются; 3) если выходы срабатывают неправильно, весовым коэффициентам дается небольшое приращение в сторону повышения качества распознавания. Серьезным недостатком персептрона является то, что не всегда существует такая комбинация весовых коэффициентов, при которой имеющееся множество образов будет распознаваться данным персептроном. Причина этого недостатка состоит в том, что лишь небольшое количество задач предполагает, что линия, разделяющая эталоны, будет прямой. Обычно это достаточно сложная кривая, замкнутая или разомкнутая. Если учесть, что однослойный персептрон реализует только линейную разделяющую поверхность, применение его там, где требуется нелинейная, приводит к неверному распознаванию (эта проблема называется линейной неразделимостью пространства признаков). Выходом из этого положения является использование многослойного персептрона, способного строить ломаную границу между распознаваемыми образами. Описанная проблема не является единственной трудностью, возникающей при работе с персептронами - также слабо формализован метод обучения персептрона. Персептрон поставил ряд вопросов, работа над решением которых привела к созданию более “разумных“ нейронных сетей и разработке методов, нашедших применение не только в нейрокибернетике (например, метод группового учета аргументов, применяемый для идентификации математических моделей). 2.2.3. Модель Хопфилда В 70-е годы интерес к нейронным сетям значительно упал, однако работы по их исследованию продолжались. Был предложен ряд интересных разработок, таких, например, как когнитрон, способный хорошо распознавать достаточно сложные образы (иероглифы и т.п.) независимо от поворота и изменения масштаба изображения. Автором когнитрона является японский ученый И. Фукушима. Новый виток быстрого развития моделей нейронных сетей, который начался 8-9 лет тому назад, связан с работами Амари, Андерсона, Карпентера, Кохена [24, 28, 29] и других, и в особенности, Хопфилда [17, 37-40], а также под влиянием обещающих успехов оптических технологий [1, 26] и зрелой фазы развития СБИС [29] для реализации новых архитектур. Начало современному математическому моделированию нейронных вычислений было положено работами Хопфилда в 1982 году, в которых была сформулирована математическая модель ассоциативной памяти на нейронной сети с использованием правила Хеббиана [36] для программирования сети. Но не столько сама модель послужила толчком к появлению работ других авторов на эту тему, сколько введенная Хопфилдом функция вычислительной энергии нейронной сети. Это аналог функции Ляпунова в динамических системах. Показано, что для однослойной нейронной сети со связями типа “все на всех“ характерна сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети. Понимание такой динамики в нейронной сети было и у других исследователей. Однако, Хопфилд и Тэнк [17] показали как конструировать функцию энергии для конкретной оптимизационной задачи и как использовать ее для отображения задачи в нейронную сеть. Этот подход получил развитие и для решения других комбинаторных оптимизационных задач. Привлекательность подхода Хопфилда состоит в том, что нейронная сеть для конкретной задачи может быть запрограммирована без обучающих итераций. Веса связей вычисляются на основании вида функции энергии, сконструированной для этой задачи. Развитием модели Хопфилда для решения комбинаторных оптимизационных задач и задач искусственного интеллекта является машина Больцмана, предложенная и исследованная Джефери Е. Хинтоном и Р. Земелом [20-23]. В ней, как и в других моделях, нейрон имеет состояния 1, 0 и связь между нейронами обладает весом. Каждое состояние сети характеризуется определенным значением функции консенсуса (аналог функции энергии). Максимум функции консенсуса соответствует оптимальному решению задачи. Имеется следующая информация о результатах моделирования на ЭВМ работы нейронной сети. Моделировалась асинхронная работа сети Хопфилда. Сеть работает хорошо, т.е. без ошибок восстанавливает эталонные образы из случайных, если в нее записывается не более 15 % эталонных образов. Испытания проводились для 30 нейронов и для 100 нейронов в сети. Бралось некоторое количество случайных векторов в качестве эталонных и строилась соответствующая матрица весов связей. Моделирование при 100 нейронах было существенно более медленным процессам, чем при 30 нейронах, хотя качественная картина и в том и в другом случаях была одна и та же. Приблизительно 88 % испытаний заканчивались в эталонных состояниях, 10 % в устойчивых состояниях, близких к эталонным. При расстоянии 2.2.4. Модель сети с обратным распространением Способом обратного распространения (back propogation) называется способ обучения многослойных НС. В таких НС связи между собой имеют только соседние слои, при этом каждый нейрон предыду щего слоя связан со всеми нейронами последующего слоя [5, 8, 16, 27, 30, 42, 48, 49]. Нейроны обычно имеют сигмоидальную функцию возбуждения. Первый слой нейронов называется входным и содержит число нейронов соответствующее распознаваемому образу. Последний слой нейронов называется выходным и содержит столько нейронов, сколько классов образов распознается. Между входным и выходным слоями располагается один или более скрытых (теневых) слоев. Определение числа скрытых слоев и числа нейронов в каждом слое для конкретной задачи является неформальной задачей. Принцип обучения такой нейронной сети базируется на вычислении отклонений значений сигналов на выходных процессорных элементах от эталонных и обратном “прогоне“ этих отклонений до породивших их элементов с целью коррекции ошибки. Еще в 1974 году Поль Дж. Вербос [5] изобрел значительно более эффективную процедуру для вычисления величины, называемой производной ошибки по весу, когда работал над своей докторской диссертацией в Гарвардском университете. Процедура, известная теперь как алгоритм обратного распространения, стала одним из наиболее важных инструментов в обучении нейронных сетей [5, 16, 27, 30, 42, 48, 49]. Однако этому алгоритму свойственны и недостатки, главный из которых - отсутствие сколько-нибудь приемлемых оценок времени обучения. Понимание, что сеть в конце концов обучится, мало утешает, если на это могут уйти годы. Тем не менее, алгоритм обратного распространения имеет широчайшее применение. Например, успех фирмы NEC в распознавании букв, был достигнут именно благодаря алгоритму обратного распространения. Подробнее метод обратного распростране ния описан в главе 3. 2.3. Задачи, решаемые на основе нейронных сетей В литературе [33, 41, 43] встречается значительное число признаков, которыми должна обладать задача, чтобы применение НС было оправдано и НС могла бы ее решить: - отсутствует алгоритм или не известны принципы решения задач, но накоплено достаточное число примеров; - проблема характеризуется большими объемами входной информации; - данные неполны или избыточны, зашумлены, частично противоречивы. Таким образом, НС хорошо подходят для распознавания образов и решения задач классификации, оптимизации и прогнозирования. Ниже приведен перечень возможных промышленных применений нейронных сетей, на базе которых либо уже созданы коммерческие продукты, либо реализованы демонстрационные прототипы [7, 10, 18, 25, 35, 45, 50]. Банки и страховые компании: - автоматическое считывание чеков и финансовых документов; - проверка достоверности подписей; - оценка риска для займов; - прогнозирование изменений экономических показателей. Административное обслуживание: - автоматическое считывание документов; - автоматическое распознавание штриховых кодов. Нефтяная и химическая промышленность: - анализ геологической информации; - идентификация неисправностей оборудования; - разведка залежей минералов по данным аэрофотосъемок; - анализ составов примесей; - управление процессами. Военная промышленность и аэронавтика: - обработка звуковых сигналов (разделение, идентификация, локализация, устранение шума, интерпретация); - обработка радарных сигналов (распознавание целей, идентификация и локализация источников); - обработка инфракрасных сигналов (локализация); - обобщение информации; - автоматическое пилотирование. Промышленное производство: - управление манипуляторами; - управление качеством; - управление процессами; - обнаружение неисправностей; - адаптивная робототехника; - управление голосом. Служба безопасности: - распознавание лиц, голосов, отпечатков пальцев. Биомедицинская промышленность: - анализ рентгенограмм; - обнаружение отклонений в ЭКГ. Телевидение и связь: - адаптивное управление сетью связи; - сжатие и восстановление изображения. Представленный перечень далеко не полон. Ежемесячно западные средства массовой информации сообщают о новых коммерческих про дуктах на базе нейронных сетей. Так, фирма LIAC выпускает аппаратуру для контроля качества воды. Нейросистемы фирмы SAIC находят пластиковые бомбы в багаже авиапассажиров. Специалисты инвестиционного банка Citicomp (Лондон) с помощью программного нейропакета делают краткосрочные прогнозы колебаний курсов валют.

2.4. Способы реализации нейронных сетей Нейронные сети могут быть реализованы двумя путями: первый это программная модель НС [2, 3, 15, 34], второй – аппаратная [14, 31, 34, 45, 50]. На современном рынке изделия, основанные на использовании механизма действия НС, первоначально появились в виде нейроплат. В качестве типичного примера нейроплаты можно назвать плату МВ 86232 японской фирмы Fujitsu. На плате размещены процессор цифровой обработки сигналов и оперативная память емкостью 4 Мбайт, что позволяет использовать такую плату для реали зации НС, содержащих до тысячи нейронов. Есть и более совершенные платы. Основными коммерческими аппаратными изделиями на основе НС являются и, вероятно, в ближайшее время будут оставаться нейро БИС. Сейчас выпускаются более 20 типов нейроБИС, параметры которых порой различаются на несколько порядков. Среди них – модель ETANN фирмы Intel. Эта БИС, выполненная по микронной технологии, является реализацией НС с 64т нейронами и 10240 синапсами. Ее цена 2000 долл. К числу самых дешевых нейроБИС (41 долл.) относится модель MD 1220 фирмы Micro Devices. Эта БИС реализует НС с 8 нейронами и 120 синапсами. Среди разрабатываемых в настоящее время нейроБИС выделяются модели фирмы Adaptive Solutions (США) и Hitachi (Япония). Нейро БИС фирмы Adaptive Solutions, вероятно, станет одной из самых быстродействующих: объявленная скорость обработки составляет 1,2 млрд. соединений / с. (НС содержит 64 нейрона и 262144 синапса). НейроБИС фирмы Hitachi позволяет реализовать НС, содержащую до 576 нейронов. Эти нейроБИС, несомненно, станут основой новых нейрокомпьютеров и специализированных многопроцессорных изделий. Большинство сегодняшних нейрокомпьютеров представляют собой просто персональный компьютер или рабочую станцию, в состав которых входит дополнительная нейроплата. К их числу относятся, например, компьютеры серии FMR фирмы Fujitsu. Такие системы имеют бесспорное право на существование, поскольку их возможностей вполне достаточно для разработки новых алгоритмов и решения большого числа прикладных задач методами нейроматематики. Однако наибольший интерес представляют специализированные нейрокомпьютеры, непосредственно реализующие принципы НС. Типичными представителями таких систем являются компьютеры семейства Mark фирмы TRW (первая реализация персептрона, разработанная Розенблатом, называлась Mark I). Модель Mark III фирмы TRW представляют собой рабочую станцию, содержащую до 15 процессоров семейства Motorola 68000 с математическими сопроцессорами. Все процессоры объединены шиной VME. Архитектура системы, поддерживающая до 65 000 виртуальных процессорных элементов с более чем 1 млн. настраиваемых соединений, позволяет обрабатывать до 450 тыс. межсоединений/с. Mark IV - это однопроцессорный суперкомпьютер с конвейерной архитектурой. Он поддерживает до 236 тыс. виртуальных процессорных элементов, что позволяет обрабатывать до 5 млн. межсоединений/с. Компьютеры семейства Mark имеют общую программную оболочку ANSE (Artificial Neural System Environment), обеспечивающую программную совместимость моделей. Помимо указанных моделей фирмы TRW предлагает также пакет Mark II - программный эмулятор НС. Другой интересной моделью является нейрокомпьютер NETSIM, созданный фирмой Texas Instruments на базе разработок Кембриджского университета. Его топология представляет собой трехмерную решетку стандартных вычислительных узлов на базе процессоров 80188. Компьютер NETSIM используется для моделирования таких моделей НС, как сеть Хопфилда - Кохонена и НС с обратным распространением. Его производительность достигает 450 млн. межсоединений/с. Фирма Computer Recognitiion Systems (CRS) продает серию нейрокомпьютеров WIZARD/CRS 1000, предназначенных для обработки видеоизображений. Размер входной изображения 512 x 512 пикселей. Модель CRS 1000 уже нашла применение в промышленных системах автоматического контроля. Сегодня на рынке представлено много моделей нейрокомпьютеров. На самом деле их, видимо, гораздо больше, но наиболее мощные и перспективные модели по-прежнему создаются по заказам военных. К сожалению, не имея достаточной информации о моделях специального назначения, трудно составить представление об истинных возможностях современных компьютеров. ВЫВОДЫ НС принадлежат классу коннекционистских моделей обработки информации. Основная их черта - использовать взвешенные связи между обрабатывающими элементами как принципиальное средство запоминания информации. Обработка в таких сетях ведется одновременно большим числом элементов, благодаря чему они терпимы к неисправностям и способны к быстрым вычислениям. Задать НС, способную решить конкретную задачу, - это значит определить модель нейрона, топологию связей, веса связей. Нейронные сети различаются между собой меньше всего моделями нейрона, а в основном топологией связей и правилами определения весов или правилами обучения, программирования. По структуре связей сети делятся на два больших класса: однослойные и многослойные. К однослойным относятся модель Хопфилда [1, 21, 30, 42-44] и последующие разработки [38], некоторые типы модели нейронной сети, известной под названием “машина Больцмана“ [28, 29]. Многослойная сеть имеет входной, выходной и скрытые слои, на входной подается информация, с выходного снимается ответ, скрытые слои участвуют в обработке [31]. В настоящее время существует два подхода к решению задачи обучения НС решению задачи распознавания образов, оптимизации и т.д. Один, исторически более ранний, состоит в постепенной модификации весовых коэффициентов в процессе обучения. Подходы к обучению однослойных и многослойных сетей различны. Обучение многослойных сетей состоит в том, что на основе набора примеров {входное состояние -> выходное состояние} постепенно подбираются веса всех связей так, чтобы каждое входное состояние вызывало соответствующее выходное. Обучающие алгоритмы представляют собою итерационные процедуры с медленным приближением к окончательным значениям весов связей. Этот способ впервые был реализован в персептроне Розенблата и локальных правилах обучения на основе модели Хебба. В последующие годы этот подход получил дальнейшее развитие в алгоритмах типа обратного распространения. В однослойных сетях часто удается выразить веса связей через параметры задачи (так обстоит дело с моделью Хопфилда и однослой ной машиной Больцмана). Подход состоит в вычислении значений синаптический весов на основе заданного описания функционирования нейронной сети как “черного ящика“. Если сеть должна реализовать заданную функцию, ее рассматривают как набор элементов пороговой логики и задача сводится к кусочно-линейной аппроксимации этой зависимости и синтезу соответствующего автомата. Для общего случая, когда описание поведения сети задано в виде набора векторов возможных состояний, поиск синаптических весов сводится к решению соответствующей системы нелинейных уравнений. Такое решение было впервые найдено Хопфилдом. Появление этой работы около 10 лет назад продемонстрировало эффективность применения аналитических методов для интерпретации поведения нейронных сетей и привело к разработке проекционного алгоритма, позволяющего вычислять значения синаптических весов, сократив тем самым затраты времени на обучение. Исследования проекционного алгоритма показывают, что при очевидных достоинствах ему свойственен ряд недостатков, в частности склонность сети к ложным реакциям и низкая эффективность при доучивании, когда необходимо ввести новые данные, не разрушая информации, запомненной ранее. Кроме того, до настоящего времени принято считать, что данный алгоритм пригоден лишь для полносвязных нейронных сетей и неприменим в сетях другой архитектуры. Указанные недостатки и малая изученность таких вопросов, как структура и частота появления ложных реакций, реализация итеративных процедур доучивания и применение в неполносвязных сетях, затрудняет использование проекционного алгоритма в исследованиях по нейробионике и при проектировании нейропроцессоров. Недостатком проекционного алгоритма с точки зрения решения задачи прогнозирования является то, что при обучении необходимо с начала сформировать эталоны распознаваемых образов. В задаче прогнозирования это либо вовсе невозможно, либо чрезвычайно затруднено. Эталоны должны формироваться в самой сети на основе анализа исторических данных. Исходя из вышеизложенного, можно заключить, что для решения задач прогнозирования наиболее подходит сеть с обратным распрост ранением. Она позволяет формальным образом обучить сеть прогнозировать изменение требования на основе исторических данных о требовании. ЛИТЕРАТУРА 1. Aбу-Мустафа Я.С., Псалтис Д. Оптические нейронно-сетевые компьютеры//В мире науки, 1987. N 5. С. 42-50. 2. Барцев С.И. Некоторые свойства адаптивных сетей (программная реализация).- Красноярск: Институт физики СО АН СССР, - 1987. 3. Барцев С.И., Охонин В.А. Адаптивные сети обработки информации. - Красноярск: Институт физики СО АН СССР, 1986. 4. Гольцев А.Д. Яркостная сегментация изображения при помощи нейроподобной сети.//Автоматика - 1965 - N 5 - с. 40-50. 5. Джеффри Е. Хинтон. Как обучаются нейронные сети.// В мире науки - 1992 - N 11 - N 12 - c. 103-107. 6. Иванченко А.Г. Персептрон - системы распознавания образов.// К.: Наукова думка, 1972. 7. Картавцев В.В. Нейронная сеть предсказывает курс доллара?// Компьютеры + программы - 1993 - N 6(7) - с. 10-13. 8. Куссуль В.М., Байдык Т.Н. Разработка архитектуры нейроподобной сети для распознавания формы объектов на изображении.//Автоматика - 1990 - N 5 - с. 56-61. 9. Маккалох Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности.// Автоматы. М.: ИЛ, 1956. 10. Масалович А.И. От нейрона к нейрокомпьютеру.// Журнал доктора Добба - 1992 - N 1 - с. 20-23. 11. Минский М., Пейперт С. Персептроны. М.: МИР, 1971. С. 261. 12. Розенблат Ф. Аналитические методы изучения нейронных сетей.// Зарубежная радиоэлектроника. - 1965 - N 5 - с. 40-50. 13. Розенблат Ф. Принципы нейродинамики.// М.: МИР, 1965. 14. Соколов Е.Н., Вайтнявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру.- М.: Наука, 1989. С. 283. 15. Суворов С.В., Матихина Н.Ю. Программное моделирование нейроподобных структур.//Распределенная обработка информации. Улан-Уде, 1989, - с. 28. 16. Трикоз Д.В. Нейронные сети: как это делается?// Компьютеры + программы - 1993 - N 4(5) - с. 14-20. 17. Тэнк Д.У., Хопфилд Д.Д. Коллективные вычисления в нейроноподобных электронных схемах.//В мире науки. 1988. N 2. С. 44-53. 18. Цуприков С. Нейронные вычисления берутся на вооружение финансистами.// Computerworld - Moscow - 1985 - N 7 - с. 57-58. 19. Чертков М., Грималюк А. Методика валютного прогнозирования.// Одесские деловые новости - 1995 - май N 16 - с. 4. 20. Aarts E.H.L., Korst J.H.M. Boltzmann machines and their applications//Lect. Notes Comput. Sci. 1987. V. 258. P. 34-50. 21. Aarts E.H.L., Korst J.H.M. Boltzmann machines for travelling salesman problem//European J. Oper. Res. 1989. V. 39. P. 79-95. 22. Abu-Mostafa Y.S., Jaques J.N.St. Information capacity of the Hopfield model//IEEE Trans. Inform. Theory. 1985. V. 31. P. 461. 23. Ackley D.H., Hinton G.E., Sejnowski T.J. A learning algorithm for Bolzmann machines//Cognit. Sci. 1985. V. 9. N 1. P. 147-169. 24. Amari S. Field theory of self-organizing neural networks//IEEE Trans. Syst., Man, Cybern. 1983. V. 13. P. 741. 25. Artificial Intelligence. // Amsterdam: Time - Life - Books, 1986. 26. Athale R., Stirk C.W. Compact architectures for adaptive neuraal nets//Ibid. 1989. V. 28. N 4. 27. Bardcev S.I., Okhonin V.A. The algorithm of dual functioning (back-propagation): general approach, vesions and applications. Krasnojarsk: Inst. of biophysics SB AS USSA - 1989. 28. Carpenter G.A., Grossberg S. A massively parallel architecture for a self-organizing neural pattern recognition machine.//Comput. Vision Graphics Image Process. 1986. V. 37. p. 54-115. 29. Cohen M.A., Grossberg S. Absolute stability of global pattern formation and parallel memory storage by competitive neural networks//IEEE Trans. Syst., Man, Cybern. 1983. V. 13. N 5. P. 815-826. 30. Computing with neural circuits: a model.//Science, 1986. V. 233. p. 625-633. 31. Cross Michael. Brain ware hits Japanese computers.// New Sci. - 1988 - 120, # 1640 - p. 33. 32. Dayhoff J. Neural network architectures.//New-York:Van Nostrand reinhold, 1991. 33. Fogelman Soulie F. Neural networks, state of the art, neural computing.// London: IBC Technical Services, 1991. 34. Fox G.C., Koller J.G. Code generation by a generalized neural networks: general principles and elementary examples.//J. Parallel Distributed Comput. 1989. V. 6. N 2. P. 388-410. 35. Hecht-Nielsen R. Neurocomputing: picking the human brain.// IEEE SPECTRUM 1988 - V. 25. N 3 - p. 36-41. 36. Hebb D.O. The organization of behaviour. N.Y.: Wiley, 1949. 37. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities.//Proc. Natl. Acad. Sci. 1984. V. 9. p. 147-169. 38. Hopfield J.J., Tank D.W. Neural computation of decision in optimization problems.//Biol. Cybernet. 1985. V. 52. p. 39. Hopfield J.J., Feinstein D.I., Palmer F.G. Unlearning has a stabilizing effect in collective memories//Nature. 1983. V. 304. P. 141-152. 40. Hopfield J.J., Tank D.W. Neural computation of decision in optimization problems//Biol. Cybernet. 1985. V. 52. P. 141-152. 41. Jeffery W., Rosner R. Neural network processing as a tool for friction optimization.//Neuronet Comput. Conf., Snowbird, Utah, Apr. 13-16, 1986. New York, N.Y., 1986 - p. 241-246. 42. Kuzewski Robert M., Myers Michael H., Grawford William J. Exploration of fourword error propagation as self organization structure.//IEEE Ist. Int. Conf. Neural Networks, San Diego, Calif., June 21-24, 1987. V. 2. - San Diego, Calif., 1987. - p. 89-95. 43. Lippmonn Richard P. Gold Ben Neuronet classifiers useful for speech recognition.// IEEE Ist. Conf. Neural Networks, San Diego, (Calif), 1987 - p. 417-425. 44. Montgomery, Douglas C. Forecasting and time series analysis./Douglas C. Montgomery, Lynwood A. Johnson, John S. Gard iner. - 2nd ed. - ISBN 0-07-042858-1. 45. Neural Computing.// London: IBE Technical Services, 1991. 46. Rosenblatt F. The peseptron: a probabilistic model for information storage and organization in the brain//Psychol. Rev. 1958. V. 65. P. 386. 47. Rosenblatt F. Principles of neurodynamics. Spartan., Washington, D.C., 1962. 48. Rumelhart B.E., Minton G.E., Williams R.J. Learning representations by back propagating error.// Wature, 1986. V. 323. p. 1016-1028. 49. Takefuji D.Y. A new model of neural networks for error correction.//Proc. 9th Annu Conf. IEEE Eng. Med. and Biol. Soc., Boston, Mass., Nov. 13-16, 1987. V. 3, New York, N.Y., 1987 - p. 1709-1710. 50. Treliven P. Neurocomputers.// London: University colle ge, 1989.

Большое спасибо Андрею за обстоятельный информативный текст. Я же попытаюсь привести некоторые соображения об отношении нейросетей (НС) к обсуждаемой проблеме самоорганизации. Сам по себе термин «нейросеть», как и «искусственный интеллект», содержит некоторый элемент рекламности, поэтому полезно будет уточнить, что речь идет не столько о моделировании мозга, сколько об определенном подходе к решению вполне конкретной математической задачи. И успехи нейросетевых технологий как раз и связаны с тем, что имеется строгая постановка такой задачи. Эта задача называется «ЗАДАЧА СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ». Суть ее в следующем. Имеется класс объектов (например – буквы), характеризующихся набором свойств (например – результатом оцифровки на сетке 100*100), причем каждый объект относится к одному из нескольких (в простейшем случае – двух) подклассов (например, буквы бывают «А» и «Б»). Далее, имеется «обучающая выборка» – набор объектов, про которые известно, к какому подклассу каждый из них относится. Требуется создать программу, «черный ящик», которому сначала показывают «обучающую выборку», т.е. вводят свойства первой буквы, и говорят «это А», затем второй и т.д. Программа должна научиться после этого по набору свойств нового объекта сама отвечать «это А» или «это Б». Единственным существующим (в частности, в нейронных сетях) способом решения этой задачи является выбор некоторого семейства функций (решающих правил) с некоторым количеством свободных параметров и подбор этих параметров в процессе обучения. Иначе говоря, если объект характеризуется показателями x1…xN и признаком классификации у (А соответствует у=0, Б – у=1), то выбирается (заранее!) функция F(x,a) = F(x1,…,xN,a1,…,aM), принимающая значения 0 или 1 и подбираются параметры а1…аM так, чтобы минимизировать среднее количество ошибок на обучающей выборке : sum(F(x(i),a)-y(i))/L, где x(i) – описание i-го элемента обучающей выборки, y(i) - характеристика его принадлежности к одному из подклассов, а L – общее количество объектов, используемых для обучения. Затем подобранные коэффициенты ai используются для классификации новых объектов с помощью той же функции F. Именно так предсказываются и всякие курсы. Сначала сеть обучают на ретроспективных данных, затем используют для предсказания будущего. Разнообразие же средств решения этой задачи и, в частности, нейросетей, связано исключительно с рассмотрением разных видов функции F и алгоритмов поиска параметров a1...aN. Важно что: 1) степень сложности функции F выбирается заранее 2) организация вносится в систему извне в процессе обучения. При этом существует важный теоретический результат (получен В.Н.Вапником). Сложность класса функция F имеет численное выражение – величину, называемую «емкость класса решающих правил». Для простоты можно считать, что это – количестко M свободных коэффициентов а1…аМ. Так вот, для сколь-нибудь содержательного обучения длина обучающей выборки должна быть больше емкости класса М. Т.е. чтобы сделать сеть заданной сложности, мы должны извне внести в нее больше информации, чем требуемая величина сложности! Так, чтобы научить нейросеть разделять точки на плоскости с помощью прямой (емкость = 2) достаточно нескольких примеров, а чтобы разделять буквы, оцифрованные «пикселями» на сетке 100*100 – более 10000 (если конечно, не пошевелим сначала своими нейронами, т.е. не внесем дополнительную организацию изначально). С любовью, Илья

Мне интересна техническая, “железная“ часть - реализация. Компоненты. Материалы и тп.