Четыре российские компании объединились для создания первого отечественного процессора, предназначенного для радикального повышения производительности компьютерных нейронных сетей. Чип позволяет в разы увеличить скорость распознавания лиц, букв, картинок, быстрее и точнее анализировать снимки компьютерной томографии и другие медицинские данные, решать сложные стратегические задачи. Эксперты полагают, что российские разработчики имеют реальные шансы заявить о себе на только формирующемся мировом рынке нейропроцессоров.
От пикселей к нейронам
Любителям компьютерных игр хорошо знаком графический процессор (ГП) - микросхема для обработки картинок и видео. В отличие от центрального процессора (ЦП) графический умеет выполнять лишь небольшое число узкоспециальных вычислительных операций, но зато делает это чрезвычайно быстро и эффективно. Это благодаря ему современные компьютерные игры демонстрируют ту реалистичную видеографику, которая так захватывает любителей электронных развлечений.
Специальные математические операции, под которые «заточен» ГП, оказались применимы и для эффективного майнинга криптовалют. Поэтому в прошлом году со взлетом интереса к биткоинам мир стал свидетелем абсолютно беспрецедентного явления - глобального дефицита видеокарт.
Спрос на них продолжает расти и в нынешнем году благодаря стремительному развитию теперь уже нейросетей - вычислительных систем, позволяющих на основе больших данных решать такие задачи, как распознавание лиц и речи, литературный перевод текстов, анализ медицинских данных - компьютерной томографии, магниторезонансной томографии, рентгеновских снимков и других.
ГП позволяет серьезно ускорить работу некоторых нейросетевых алгоритмов, но в этом деле он далеко не так эффективен, как в решении задач по обработке графики. Поэтому сейчас в мировой компьютерной индустрии на повестке дня стоит задача создания нейронного процессора (НП), предназначенного для многократного ускорения работы таких сетей. Отдельные экспериментальные устройства этого типа уже существуют, но окончательное формирование мирового рынка нейропроцессоров займет, по оценкам экспертов, еще четыре-шесть лет. В течение этого времени шанс закрепиться на этом рынке будут иметь и небольшие компании-разработчики, и даже стартапы.
От конкуренции к доверию
В отраслевом союзе «Нейронет» решили принять участие в этой гонке, объединив усилия четырех входящих в систему Национальной технологической инициативы (НТИ) небольших, но продвинутых компаний. Созданный консорциум займется разработкой национального нейропроцессора, способного не только конкурировать с западными образцами, но и стать стопроцентно отечественным, «доверенным», то есть гарантированно свободным от недокументированных возможностей и аппаратных «закладок». Последнее особенно важно для заказчиков из российского ВПК, где нейронные сети тоже получают широкое распространение - в системах управления боевыми беспилотниками, в планировании военных операций, в аппаратуре высокоточного наведения стрелкового оружия.
По словам директора союза «Нейронет» НТИ Александра Семенова, о составе консорциума и старте его деятельности будет официально объявлено в феврале наступающего года.
Российские математики и инженеры, разрабатывающие аппаратную часть и алгоритмы в области искусственного интеллекта и нейронных сетей, - лучшие в мире, - убежден Александр Семенов. - Сейчас у них есть примерно четыре года на то, чтобы опередить своих иностранных коллег и задать стандарты будущего рынка.
По оценке заведующего лабораторией нейросетевых технологий и компьютерной лингвистики Московского физико-технического института Станислава Ашманова, всего в мире сейчас насчитывается около двух тысяч компаний, участвующих в гонке по созданию эталонного нейронного процессора.
Кто успеет сделать чип, который станет отраслевым стандартом, тот заработает деньги, соизмеримые с доходами нынешних лидеров рынка центральных процессоров, таких как Intel или AMD, - считает Станислав Ашманов. - Пока из этой пары тысяч стартапов во всем мире ближе всего к победе не более пяти компаний.
От харда к софту
По словам эксперта, гонка в этой области сейчас идет по двум направлениям: во-первых, разработка серверного чипа для мощных серверов в дата-центрах, во-вторых, создание экономичного встраиваемого нейропроцессора для установки на всевозможных «умных устройствах»: смартфонах, роботах, дронах, беспилотных автомобилях. Работы, ведущиеся в России, по мнению Ашманова, имеют шанс выиграть на обоих направлениях.
Разработка отечественной аппаратуры, ускоряющей обсчет нейросетей, - безусловно, важнейший, необходимый проект при существующей конъюнктуре мирового рынка, - сказал «Известиям» Константин Трушкин, заместитель генерального директора компании МЦСТ, производящей отечественный ЦП «Эльбрус» и системные платы на его основе. - Соединение универсальных процессорных ядер со специализированными блоками, выполняющими вычисления по нейросетевым алгоритмам с высокой эффективностью, - актуальная современная тенденция. Но, чтобы такую систему можно было считать доверенной, и ядро, и нейросетевой акселератор должны быть разработаны в России.
Однако, напомнил Константин Трушкин, недостаточно сделать саму микросхему НП, необходимо создать еще и обслуживающую ее программную среду: операционную систему, средства разработки, библиотеки нейросетевых алгоритмов, среду обучения нейросетей. Только тогда можно будет говорить о существовании полноценной отечественной аппаратно-программной нейросетевой платформы.
Для нейронных сетей уже к концу этого года
Аппаратное обеспечение Intel для ускорения работы систем искусственного интеллекта, о котором Intel говорила достаточно давно, будет отгружено первым покупателям еще в этом году. Сегодня компания объявила о том, что ее процессор Neural Network первого поколения (кодовое название «Lake Crest»), скоро будет доступно к заказу ограниченному набору партнеров, чтобы помочь им резко ускорить работы в области исследований искусственного интеллекта.
Нейронный процессор NNP (Neural Network Processor) оптимизирован для очень быстрого решения специализированных математических задач, которые лежат в основе приложений искусственного интеллекта, в частности нейронных сетей - в настоящее время популярной отрасли машинного обучения. Одной из основных проблем сложных нейронных сетей, которые сейчас так популярны, является то, что вычисления являются крайне интенсивными с точки зрения вычислительной мощности, и это обстоятельство затрудняет их быстрое тестирование и развертывание.
Сначала NNP будут выпущены только небольшому числу партнеров Intel, которые компания планирует начать до конца этого года. Аппаратное обеспечение разрабатывается в тесном сотрудничестве с Facebook, одной из компаний, которая пытается использовать нейронные сети в своих целях, в частности речь идет о борьбе со спамом, "фейковыми" новостями и прочим нежелательным контентом крупнейшей мира.
Клиенты смогут получить доступ к NNP через сервис Intel Nervana . По словам Навеена Рао, вице-президента и генерального менеджера группы продуктов Intel, в ближайшем будущем компания планирует сделать доступ к сервису общедоступным.
Наблюдатели ожидают рекордной вычислительной мощности системы, отличной от других продуктов Intel как технологически, так и функционально. В Intel предполагают, что ускоренно развивающиеся системы искусственного интеллекта означают высокую потребность клиентов в новых моделях процессоров с новыми возможностями. Интел обещает, что наличие сверхбыстродействующих ядер не должно отразится на стабильности, также речь идет о формировании соответствующей инфраструктуры.
«Когда вы работаете с такой темой, как нейронные сети, на нейронные процессоры возлагаются большие надежды», - сказал Рао. «И мы очень задумываемся о дополнениях и изменениях в архитектуре процессора. Когда вы работаете в активно развивающейся среде, например, в нейронных сетях, крайне важно оперативно отслеживать все запросы и решать их для клиента».
В настоящее время в Intel работают над тремя вариантами нейронных процессоров, и как обещают, хотя бы один вариант будет доступен до конца этого года.
Нейронные сети оказались в центре внимания ученых с первых дней исследования искусственного интеллекта, но в 1970-х, они были несколько забыты. В последнее десятилетие, технологии, связанные с использованием возможностей нейронных сетей изучаются на уровне программ «глубокого обучения» (Deep learning). Искусственная нейронная сеть - математическая модель, а также её программное или аппаратное воплощение, построенная по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы. После разработки алгоритмов обучения получаемые модели стали использовать в практических целях: в задачах прогнозирования, для распознавания образов, в задачах управления и др. ИНС представляют собой систему соединённых и взаимодействующих между собой простых процессоров (искусственных нейронов). Такие процессоры обычно довольно просты (особенно в сравнении с процессорами, используемыми в персональных компьютерах). Каждый процессор подобной сети имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам. И, тем не менее, будучи соединёнными в достаточно большую сеть с управляемым взаимодействием, такие по отдельности простые процессоры вместе способны выполнять довольно сложные задачи.
- С точки зрения машинного обучения, нейронная сеть представляет собой частный случай методов распознавания образов, дискриминантного анализа, методов кластеризации и т. п.
- С математической точки зрения, обучение нейронных сетей - это многопараметрическая задача нелинейной оптимизации.
- С точки зрения кибернетики, нейронная сеть используется в задачах адаптивного управления и как алгоритмы для робототехники .
- С точки зрения развития вычислительной техники и программирования, нейронная сеть - способ решения проблемы эффективного параллелизма.
- А с точки зрения искусственного интеллекта, ИНС является основой философского течения коннективизма и основным направлением в структурном подходе по изучению возможности построения (моделирования) естественного интеллекта с помощью компьютерных алгоритмов.
Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения - одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных и/или «зашумленных», частично искажённых данных.
Способности нейронной сети к прогнозированию напрямую следуют из её способности к обобщению и выделению скрытых зависимостей между входными и выходными данными. После обучения сеть способна предсказать будущее значение некой последовательности на основе нескольких предыдущих значений и (или) каких-то существующих в настоящий момент факторов. Следует отметить, что прогнозирование возможно только тогда, когда предыдущие изменения действительно в какой-то степени предопределяют будущие. Например, прогнозирование котировок акций на основе котировок за прошлую неделю может оказаться успешным (а может и не оказаться), тогда как прогнозирование результатов завтрашней лотереи на основе данных за последние 50 лет почти наверняка не даст никаких результатов.
Оставьте свой комментарий!
Сегодня практическая сторона вопросов, связанных с разработкой искусственного интеллекта, лежит в плоскости реализации глубокого или глубинного обучения (deep learning). На основе подобранных особых образом паттернов происходит обучение системы, которая затем реализует полученные знания на практике: водит машины, распознаёт образы или звуки, делает что-то ещё.
И всё бы хорошо, только для глубокого обучения требуется предварительный массивный обмен информацией с базой данных, что в оперативной обстановке реализовать или очень тяжело, или попросту невозможно. От роботов и ИИ хотелось бы большей сообразительности, чтобы думал как человек, опираясь на ассоциативное мышление. Это желание породило попытки воплотить в кремнии подобие человеческого мозга, где электронные схемы имитировали бы работу нейронов и синапсов.
В современной истории более-менее комплексное воплощение «человеческого мозга» в кремнии создали инженеры компании IBM. В 2011 году компания представила процессор и позже развила архитектуру до 4096-ядерного процессора с одним миллионом цифровых нейронов и 256 млн программируемых цифровых синапсов. Весной прошлого года на базе 16 28-нм процессоров TrueNorth компания поставила первый в индустрии «когнитивный» компьютер Национальной администрации по ядерной безопасности (National Nuclear Security Administration). Что интересно, анонс IBM TrueNorth в 2011 году заставил задуматься о нейроморфных процессорах компанию Intel.
Сегодня Intel . Оказывается, в компании шесть лет назад начали разрабатывать фирменный нейроморфный процессор. Воплощением многолетней разработки стало решение под кодовым именем Loihi (скорее всего речь идёт о крупнейшем подводном вулкане в США — Лоихи). Процессор Loihi будет выпускаться с использованием 14-нм техпроцесса и начнёт поставляться академическим учреждениям в первой половине 2018 года.
По словам Intel, Loihi сочетает процессы обучения, тренировки и принятия решений в одном чипе, позволяя системе быть автономной и «сообразительной» без подключения к облаку (к базе данных). К примеру, Intel заявляет, что при обучении с помощью базы данных MNIST (Mixed National Institute of Standards and Technology) нейроморфный процессор Loihi оказывается в 1 млн раз лучше, чем другие типичные спайковые нейронные сети. При этом, если сравнивать Loihi с обычными свёрточными нейронными сетями, разработка Intel при обучении использует много меньше ресурсов, а это каналы связи, потребление и скорость принятия решений. Также Intel уверяет, что Loihi обучается в 1000 раз эффективнее, чем обычные компьютерные системы общего назначения.
К сожалению, компания не уделила достаточно внимания описанию технических спецификаций Loihi. Вкратце сообщается, что Loihi — это многоядерное решение с внутренней ячеистой сетью. Ядра Loihi — нейроморфные асинхронные (каждое из них может работать независимо от других). Ячеистая сеть имеет несколько степеней разрежённости, она иерархическая и поддерживает рекуррентную топологию нейронной сети, где каждый нейрон может взаимодействовать с тысячами других нейронов.
Также каждое нейроморфное ядро включает механизм (движок) обучения, который может быть запрограммирован для адаптации сети в процессе работы. Если транслировать состав процессора Intel Loihi на возможности мозга человека, то решение включает 130 000 нейронов и 130 млн синапсов. Процессор Intel Loihi не такой умный, как процессор IBM TrueNorth, но определённо эффективнее с позиции производства с технологическими нормами 14 нм.
Достижение глобального доминирования основывается на двух основных стратегиях: информационное превосходство и превосходство технологическое. Что касается последнего, то переход к новой общественно-экономической формации постиндустриального общества выдвигает на первый план такие технологии, как генетика и биоинженерия, нанотехнологии и нейроинформатика.
Нейроинформатика, будучи основанной на принципах и механизмах функционирования мозга, способна обеспечить как технологическое, так и информационное превосходство. Неслучайно сегодня нейрокомпьютеры занимают одно из важнейших мест среди перспективных разработок вооружения и военной техники.
Известно несколько реализаций в кристаллах нейропроцессоров различных моделей нейронных сетей. Одни работают лучше, другие хуже, но всех их объединяет одно - стремление проникнуть в тайны человеческого мозга.
В каталогах продукции фирмы Intel особняком стоят две разработки, выполненные по заказу DARPA (Defense Advanced Research Projects Agency): аналоговый нейропроцессор i80170NX и цифровой - i80160NC или Ni1000 .
Нейропроцессоры являются сердцем нового поколения вычислительной техники - нейрокомпьютеров. Основой функционирования подобных машин является моделирование способов переработки информации нервной системой и головным мозгом человека. Считается, что начало этому направлению было положено в 1943 году, когда американские ученые У. Маккалок и У. Питтс опубликовали статью, в которой нейроны - клетки нервной системы - рассматривались как простейшие логические устройства .
Искусственный нейрон Маккалока и Питтса в первом приближении имитирует свойства биологического нейрона. На вход такого искусственного нейрона поступает множество сигналов, каждый из которых является выходом другого нейрона. Каждый входной сигнал умножается на некоторый коэффициент, отражающий вклад, вносимый этим сигналом в значение выходного сигнала нейрона. Сигналы, поступившие на нейрон и помноженные на соответствующие им коэффициенты, суммируются, и если суммарный сигнал больше некоторого заданного порога срабатывания, нейрон активизируется и выдает на связанные с ним нейроны единичный импульс. Изменяя соответствующим образом значения весовых коэффициентов на входах нейронов, можно получить на выходе сети требуемое значение. Процесс настройки весовых коэффициентов называется обучением нейронной сети. По аналогии с обучением человека, обучение нейронной сети может проходить с учителем или самостоятельно, путем самоорганизации.
Простота предложенной модели нейрона воодушевила многочисленных исследователей, стремившихся проникнуть в тайны человеческого мозга.
В конце 1950-х годов, американец Ф. Розенблатт, пытаясь объяснить работу биологического нейрона, предложил его модель - персептрон. В начале 60-х математик Р. Блок сформулировал теорему распознавания, а радиоинженер Б. Уидроу разработал и воплотил в жизнь первую искусственную нейронную сеть, известную в литературе под названием «Адалайн». Он же создал и алгоритм, обучающий ее распознавать образы.
Однако вплоть до середины 80-х нейросети не получали дальнейшего развития. Сказалось отставание практики от теории и несовершенство технологий. Применявшиеся программные модели не могли раскрыть всех достоинств нейронных сетей, а создание их аппаратной реализации требовало колоссальных затрат при тогдашнем уровне технологий. Более перспективными считались традиционные большие ЭВМ (мэйнфреймы), но быстрый рост числа очень сложных задач заставил вновь обратиться к искусственным нейронным сетям.
Компания Intel одной из первых среди гигантов компьютерной индустрии серьезно заинтересовалась возможностями искусственных нейронных сетей. Работы по этой теме были начаты в 1988 году. В следующем году уже был представлен первый рабочий образец нейропроцессора i80170NX . Годом позже Intel (совместно с фирмой Nestor и при финансовой поддержке DARPA) приступила к разработке цифрового нейрочипа Ni1000, который был анонсирован в 1993 году, как i80160NC.
Нейросетевой процессор i80170NX ETANN (Electrically Trainable Analog Neural Network) является уникальной в своем роде микросхемой, предназначенной для решения задач распознавания образов . Процессор эмулирует работу 64 биологических нейронов . Каждый нейрон процессора имеет 128 синапсов (входов). В свою очередь, каждый синапс соединен с входом процессора посредством некоторого устройства, позволяющего задать коэффициент, характеризующего силу этой связи, что полностью соответствует модели, предложенной еще У. Маккалоком и У. Питтсом. Данные на входе и выходе процессора аналоговые, но функции управления, установки и чтения весовых коэффициентов - цифровые.
Нейрочип полностью совместим по уровням рабочих сигналов с микросхемами CMOS и ТТL. Входной сигнал на нейроне может изменяться от 0 до 2,8 В. Веса синапсов также представлены напряжением в диапазоне от -2,5 до 2,5 В. Изготовлен процессор по лицензионной технологии Intel - CHMOS III EEPROM .
Высокопараллельная архитектура, свойственная нейронным сетям, и ряд особенностей построения процессора позволили добиться быстродействия 2 млрд. операций в секунду! i80170NX является сердцем нейронной платы-акселератора для ПЭВМ. Производительность такой платы с восемью процессорами составляет 16 млрд. операций в секунду! До последнего времени такая производительность была свойственна только лишь суперкомпьютерам!
Краткие технические данные процессора следующие:
- производительность 2 млрд. оп./с;
- способен распознавать 300 тысяч 128-разрядных образа в секунду;
- моделирует 64 нейрона;
- поддерживает модели нейронной сетей Хопфилда, многослойного персептрона и Madaline III.
Простота создания приложений на i80170NX обеспечивается наличием мощных средств разработки. Для проектирования нейронных сетей поставляется пакет iNNTS (Intel Neural Network Training System) и EMB (ETANN Multi-Chip Board). В комплект поставки входит и одна из программ моделирования и изучения искусственных нейронных сетей iBrainMaker фирмы California Scientific Software или iDynaMind фирмы NeuroDynamX. Обе программы имеют удачный пользовательский интерфейс и могут использоваться для демонстрации свойств и возможностей нейронных сетей. Для той же категории пользователей, что решит самостоятельно заняться разработкой моделей нейронных сетей, есть целая библиотека функций по управлению нейрочипом - Training System Interface Lib (TSIL).
Другая разработка Intel в области искусственных нейронных сетей - процессор i80160NC. Его основное отличие от i80170NX в том, что он полностью цифровой.
Технические данные i80160NC:
- внутренняя память: 1 тысяча 256-разрядных образов;
- тип памяти: Flash EPROM;
- максимальное число классов: 64;
- скорость распознавания: 33 тысячи образов в секунду на частоте 33 МГц.
- Как и i80170NX, процессор i80160NC поставляется на плате нейросетевого акселератора для ПЭВМ. Характеристики платы следующие:
- системная шина ISA;
- рабочая частота 33 МГЦ;
- скорость обмена по шине 2 Мбит/с;
- мощность 8 Вт.
Поддерживается следующее программное обеспечение:
- MS Windows 3.1;
- MS Excel 4.0;
- MS Visual C++, Borland C++.
- Вместе с платой поставляются следующие средства разработки приложений:
- Ni1000 Assembler;
- Ni1000 Emulator Lib.;
- Ni1000 HardWare Lib.
Программа Ni1000 Emulator позволяет отлаживать код приложений без использования процессора, а по окончании процесса отладки сразу перейти к работе на аппаратуре.
Основные характеристики процессоров i80170NX и i80160NC приведены в табл. 1.
Процессор Ni1000 разрабатывался как вариант сопроцессора для задач распознавания образов и предназначался для встраивания в высокопроизводительные портативные сканеры. Применение нейросетевой технологии позволило добиться значительных результатов в решении задач такого класса. Так, если RISC-процессоры AMD29000 и i80860 позволяют решать некоторые задачи в 2-5 раз быстрее, то с использованием i80160NC скорость решения аналогичных задач может увеличиться в 100 и даже 1000 раз! Такое быстродействие позволило применить этот класс процессоров для решения сложнейшей задачи - распознавания отпечатков пальцев.
Что же сулит разработчикам и пользователям вычислительной техники появление на рынке столь мощного семейства процессоров? Сейчас существует ряд задач очень высокой сложности. К ним относится прогнозирование погоды, управления воздушным движением через Атлантику с учетом перемещения воздушных масс, компьютерное моделирование ядерных взрывов и множество других. До последнего времени такие задачами пытались решать на суперкомпьютерах, однако стоимость подобной техники весьма внушительна. На рис. 2 показано положение различных супер-ЭВМ в зависимости от их стоимости и производительности . Хорошо видно, что i80160NC - бесспорный лидер. Он далеко позади оставляет таких монстров, как Cray и Cyber.
Новые горизонты открываются для разработчиков систем искусственного интеллекта. Появление подобных процессоров означает прорыв в решении задач распознавания образов, а значит, и распознавания рукописного текста, речи и пр. Так, японскими специалистами было показано, что с использованием нейронных сетей можно осуществлять синхронный перевод с японского языка на английский.
Рубеж, которого удалось достигнуть специалистам Intel в моделировании нейронных сетей, можно представить схемой, подобной приведенной на рис. 3 , где сравниваются нейронные сети живых организмов и моделируемые с помощью процессоров Intel.
Разработчики нейропроцессора в шутку называют свое детище не иначе, как «сверхзвуковой слизняк».
Мечта человека о создании вычислительной машины, способной превысить или хотя бы сравняться с интеллектуальными возможностями человека, остается еще очень далекой. Вместе с тем можно с уверенностью сказать, что работы Intel по созданию искусственных нейронных сетей приблизили тот момент, когда искусственный мозг станет сердцем настольного компьютера.
С момента выхода процессоров Intel в мире появилось множество моделей нейровычислителей, с некоторыми из них можно ознакомиться в табл. 2.
К настоящему времени разработано большое число всевозможных плат ускорителей и специализированных нейровычислителей. Нейронные ЭВМ уже находят применение в различных сферах деятельности человека. В США действует система по обнаружению пластиковой взрывчатки в багаже авиапассажиров на основе нейронной сети. Большое внимание уделяется вопросу применения нейронных процессоров в системах коммутации в сетях передачи данных. Существуют системы аутентификации личности по отпечаткам пальцев с использованием нейросетей. В литературе описано и множество других случаев успешного применения нейронных процессоров.
Характерной особенностью нового витка развития средств вычислительной техники является то, что он несет принципиальные изменения в мир информатики. С утверждением в обществе следующего поколения вычислительной техники отпадет надобность в профессии программиста, а его место займет специалист по обучению нейрокомпьютера. Вводу в эксплуатацию каждого нового компьютера будет предшествовать его обучение. Не исключено, что возникнет необходимость в киберпсихологах и воспитателях нейронной ЭВМ. Таким образом, мы с вами живем на переломном этапе в развитии информатики и вычислительной техники, и немалую роль в том, что он настал, сыграли нейронные процессоры фирмы Intel - первые ласточки эры нейронных компьютеров.
Литература
- A. Thakoor et al., DARPA Program Review, Dec. 1991, Washington, D. C.
- M. Holler, S. Tam, H. Castro, R.Benson, «An Electrically Trainable Artificial Neural Network (ETANN) with 10240 „Floating Grate“ Synapses», International Joint Conference on Neural Networks, June 1989, Washington, D. C.
- Intel, i80170NX Electrically Trainable Analog Neural Network, Intel Corp., June 1991.
- Stanly, Jeanette, Introduction to Neural Networks, California Scientific Software, 1990.
- Intel, 80170NX Neural Network Technology & Application, Intel Corp., 1992.
Сергей Гриняев
