• Лови промокод з яким знижка 50 грн - promo50grn

Исследователи визуализировали вычисления нейронной сети

Статус: Offline
Реєстрація: 17.01.2017
Повідом.: 104
Исследователи визуализировали вычисления нейронной сети

inO3tXr.jpg

Визуализация цикла обучения нейронной сети

Команда инженеров проекта Graphcore построила графы активности узлов нейронной сети и их связи в процессе обучения по распознаванию образов, о чем исследователи
Тільки зареєстровані користувачі бачать весь контент у цьому розділі
.

Изображение выше демонстрирует полный цикл обучения и распознавания нейронной сети Microsoft Research RESNET-34 в декабре 2016 года. Саму систему развернули на базе IPU — интеллектуального графического процессора, как его называют создатели, еще в середине 2016 года. Полученные данные раскрасили для того, чтобы выделить различную плотность вычислений, производящиеся нейронной сетью.

Все полученные исследователями изображения оказались не только весьма сложными, но и пугающе схожими с реальными биологическими объектами. Целью инженеров было наглядно показать, что происходит внутри нейронной сети и почему даже некоторых ученых принцип их работы ставит в тупик.

Построенные Graphcore изображения представляют из себя технические графики нейронной сети RESNET производства Microsoft. В 2015 году RESNET выиграла соревнования по распознаванию изображений под названием ImageNet.

Следующее изображение было получено после проведения 50 циклов тренировки нейронной сети Graphcore по распознаванию изображений:

vzpFUK1.jpg


IPU-система Graphcore работает при помощи фреймворка Poplar. Фреймворк написан на C++ и ориентирован на работу с графами в ходе машинного обучения нейронной сети. Библиотеки Poplar является open source-разработкой, которые в перспективе можно будет применять в связке с TensorFlow и MXNet, которые смогут практически «из коробки» работать с IPU Graphcore. Набор инструментов отладки и анализа можно настраивать с использованием как C++, так и Python.

IPU Graphcore применим не только для распознавания изображений, но и для обработки большого массива данных. Например, разработчики приводят визуализацию процесса обработки астрофизических данных на своем IPU под управлением нейронной сети:

HS2FmWd.jpg


Или вот изображение глубинной нейронной сети AlexNet, построенной с использованием TensorFlow:

BZWeqWd.jpg


AlexNet также является победителем ImageNet, но 2012 года. Для сравнения дается структура нейронной сети на базе Microsoft Research RESNET:

rAzsdMt.jpg


IPU разрабатывался специально для работы с нейронными сетями, и разработчики надеются, что результат их трудов положит начало новому этапу в машинном обучении. Команда Graphcore отмечает большую эффективность сетей на IPU, а также большую, чем у конкурентов, скорость обучения.

Источник:
Тільки зареєстровані користувачі бачать весь контент у цьому розділі
 
Останнє редагування:
Ух ты! И что дает визуализация? Это как мнемосхема АСУ ТП?
 
Ух ты! И что дает визуализация? Это как мнемосхема АСУ ТП?

Визуализация помогает лучше понять как работает НС. Для того чтобы она не была просто "черным ящиком". Это именно то, что пугает людей в ИИ - он будет умнее нас, и мы не сможем понять как он вообще делает те выводы, которые делает.
 
Нейронные сети научились генерировать кошечек.

jgbf0e.png


Тільки зареєстровані користувачі бачать весь контент у цьому розділі


Можно сгенерировать свою собственную.

А вот статья о том, как оно работает:
Тільки зареєстровані користувачі бачать весь контент у цьому розділі
 
Про прогресс в области Deep Reinforcement Learning (Глубинное обучение с подкреплением)


2013 – Классические видеоигры Atari


Google купила Deepmind за 500 миллионов долларов
Тільки зареєстровані користувачі бачать весь контент у цьому розділі



dh7ccf.jpg




ИИ от Google самостоятельно освоил 49 старых игр Atari

Компания Google создала систему искусственного интеллекта, которая играет лучше человека во многие аркадные игры. Программа научилась играть, не зная правил и не имея доступа к коду, а просто наблюдая за картинкой на экране.

Эта разработка не такая легкомысленная, как может показаться. Универсальная самообучаемая система когда-нибудь может найти применение, например, в автономных автомобилях и других проектах, где нужно анализировать состояние окружающих объектов и принимать решения. Скажем, при установке в автономный автомобиль ИИ методом проб и ошибок определит, на какой сигнал светофора лучше проезжать перекрёсток. Если без шуток, то программа способна находить решение для широкого спектра задач, независимо от правил и начальных условий.

Продолжение:
Тільки зареєстровані користувачі бачать весь контент у цьому розділі



dadhe5.jpg




Обучение с подкреплением: от Павлова до игровых автоматов

История обучения с подкреплением в зависимости от того, как считать насчитывает от полутора веков до 60 лет. Последняя волна (которая захлестывает сейчас нас всех) началась вместе с подъемом всего машинного обучения в середине 90-ых годов 20-ого века. Но люди, которые сейчас на гребне этой волны начинали само собой не сейчас, а во время предыдущего всплеска интереса — в 80-ых. В процессе знакомства с историей нам встретятся многие персонажи, который сыграли роль в становлении учения об искусственном интеллекте. Само собой, это неудивительно, ведь обучение с подкреплением — его неотъемлемая часть. Хотя обо всем по порядку.

Тільки зареєстровані користувачі бачать весь контент у цьому розділі



Дополнительные ссылки:
https://ru.wikipedia.org/wiki/DeepMind
https://ru.wikipedia.org/wiki/Обучение_с_подкреплением
 
2016 – AlphaGo


Есть ли шанс у AlphaGo в матче против Ли Седоля
Тільки зареєстровані користувачі бачать весь контент у цьому розділі



cadfj4.jpg




AlphaGo против Ли Седоля: итоги и оценки профессиональных игроков в Го

Как говорили комментаторы, AlphaGo играла подобно человеку: система искала и создавала уязвимые группы камней, чтобы сделать сильные ходы. Хотя ИИ сделал несколько ошибок, у чёрных были серьёзные причины для опасений. На последних двадцати минутах игры AlphaGo развила преимущество. Игра на 3,5 часа закончилась тем, что мастер девятого дана признал поражение.

Как говорил позднее Седоль, AlphaGo сделала один необычный ход, который не сделал бы ни один человек. Представитель команды людей не ожидал такой игры. Система играла заметно сильнее, чем против европейского чемпиона. Как говорил глава DeepMind Хассабис, дело даже не в вычислительных мощностях — они примерно те же, что и в матче против Хуэя. Последние пять месяцев AlphaGo играла сама против себя и использовала обучение с подкреплением, чтобы улучшить собственные навыки. Возросшая мощь стала сюрпризом.

Но что матч означает для всех нас?

Можно заглянуть внутрь проекта и испытать сильное разочарование: там алгоритмы, которые можно истолковать и понять. Но при этом свою цель AlphaGo выполняет отлично. Это и есть проблема: ИИ в представлении скептиков должен быть необъяснимым, уметь всё и ненавидеть человечество. Простое выполнение задачи вызывает обвинения в просчитывании вариантов.

Но вопрос о сущности терминов не так интересен. Куда больше пугает мысль, что AlphaGo играет в го лучше всех своих создателей и даже людей, на партиях которых учили его нейросети.

Искусственный интеллект может в разы повысить эффективность труда. Именно это и должно внушать опасения.

Опасна даже не потеря рабочих мест, а их характер. В первую очередь начнут исчезать простые низкооплачиваемые виды работы. Занятые на подобных позициях наиболее экономически уязвимы.

Сможем ли мы адаптироваться к глубоким социальным изменениям, которые произойдут даже не революцией, а резкой вспышкой? Кто останется в выигрыше от ИИ: лишь те, кто владеет такой системой? Означает ли это очередное усиление социального неравенства?

Это и есть те вопросы, которые должны пугать при очередной оттепели зимы ИИ. Должна быть вовсе не эта первобытная фобия всемогущих механических убийц. Новости о восстании машин так и останутся заголовками «робот убил человека». Технологии — лишь инструмент. Опасность для людей создают другие люди.

AlphaGo — это ещё один вестник такого неясного будущего перемен.

Подробности:
Тільки зареєстровані користувачі бачать весь контент у цьому розділі



9jcjfh.jpg




Играть на уровне бога: как ИИ научился побеждать человека

Мир изменился прямо на наших глазах, но не все заметили это. Когда и как программы научились играть безошибочно? Всегда ли проигрыш одного человека свидетельствует о поражении всего человечества? Обретет ли искусственный интеллект сознание?

Тільки зареєстровані користувачі бачать весь контент у цьому розділі



Дополнительные ссылки:
https://ru.wikipedia.org/wiki/AlphaGo
 
2017 – Покер


Покерная программа DeepStack обыгрывает профессионалов один на один

Пионер современной теории игр Джон фон Нейман говорил: «Реальная жизнь вся состоит из блефа, из маленьких приёмов обмана, из размышлений о том, каких действий ожидает от тебя другой человек. Вот что представляет игра в моей теории» (цитата из 13-й серии документального сериала «
Тільки зареєстровані користувачі бачать весь контент у цьому розділі
»).

Продолжение:
Тільки зареєстровані користувачі бачать весь контент у цьому розділі



ИИ: блеф, отъем денег у населения и победа над неопределенностью

Покер — это игра с неполной информацией, в отличие от шахмат, шашек, нард, где оба игрока видят положение всех фигур на доске. Ранее ИИ не мог победить там, где присутствует элемент неопределенности. Так что же изменилось?

Тільки зареєстровані користувачі бачать весь контент у цьому розділі




2018+ – Что дальше?
 
Илон Маск создает компанию Neuralink для разработки нейроинтерфейсов

bjcb4d.jpg


Основатель компаний SpaceX и Tesla Motors Илон Маск набирает сотрудников в свою новую компанию Neuralink, которая займется разработкой нейроинтерфейса — технологии, позволяющей считывать информацию из головного мозга человека и записывать ее на цифровые носители.

Тільки зареєстровані користувачі бачать весь контент у цьому розділі
 
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях


3hffcd.jpg



Когда-нибудь в будущем мы сможем надеть очки — и ходить по городу, который рендерится в реальном времени в том стиле, какой нам нравится. Солнечный свет или лёгкая дымка, вечерний закат, что угодно. Независимо от того, насколько унылая архитектура — в очках она будет прекрасной. Такие возможности рендеринга с перенесением стилей открывает потрясающая программа
Тільки зареєстровані користувачі бачать весь контент у цьому розділі
, которая опубликована в открытом доступе, также как и
Тільки зареєстровані користувачі бачать весь контент у цьому розділі
, лежащая в её основе (arXiv:1703.07511).


fahcc1.jpg



Очень много потрясающе красивых картинок:
Тільки зареєстровані користувачі бачать весь контент у цьому розділі
 
Самое главное о нейронных сетях

Материал обобщает историю развития нейросетей, их основные особенности и принципиальные отличия от других моделей, применяемых в машинном обучении. Также речь пойдёт о конкретных примерах применения нейросетевых технологий и их ближайших перспективах.





Подробная расшифровка лекции со слайдами:
Тільки зареєстровані користувачі бачать весь контент у цьому розділі
 
Посоветую для тех, кто хочет начать хорошо понимать Data Science, Machine Learning и Deep Learning смотреть импортные профессиональные курсы. Есть с десяток сайтов, которые продают свои курсы. многое можно найти и за спасибо... Заодно подучите индийский и китайский англ. Все, что на русском - это сильно устаревшее, и в основном, это пересказ англоязычных курсов.

В нейросетях нет никакой магии. Только большая система линейных уравнений, их может быть сотни. Всего различных видов нейросетей - под сотню. Каждая разновидность используется только для своего класса задач. Рекуррентные - распознавание текста, конволюционные - распознавание картинок, с короткой памятью - тоже для текста и т.д. Сейчас есть инструментарий для обучения нейросетей под любую задачу. Языки - R и\или Python, как правило. Библиотек с бесплатными претренированными под конкретную задачу нейросетей - как грязи.

Проблема с нейросетями одна - мало ресурсов памяти и процессора. Есть куча сервисов под тренировку нейросетей, от Амазона до Гугла. Арендуете виртуальное оборудование и тренируете нейросети. Сейчас это все уже давно не наука и не магия, а обычная IT - технология. Кое - какая наука была только в первоначальных статьях, которые обосновывают определенные архитектуры нейросетей под свою задачу. Потом под эту структуру выпускается бесплатная библиотека и этой претренированной нейросетью могут пользоваться все, кому не лень...

Среди Data Scientists, как я много раз читал, считается, что работа с нейросетью менее интересная и рутинная, чем работа с Machine Learning без нейросетей. Мало кто любит скакать из Machine Learning в Deep Learning. Это абсолютно разные, почти не связанные области в Data Science. В нейросетях почти не надо знать статистику, линейную алгебру, вероятность, векторные преобразования, матричное исчисление и т.д. Так на шиша тогда это все надо было изучать много лет???
 
В нейросетях почти не надо знать статистику, линейную алгебру, вероятность, векторные преобразования, матричное исчисление и т.д. Так на шиша тогда это все надо было изучать много лет???

Ну да... доядерная клетка эволюционировала (правда, долго) до превращения во всех, включая человека, который заметил существование математики со всеми вышеперечисленными дисциплинами.
При этом, ни саму ту прото-клетку, ни большинство последующих звеньев, вплоть до последнего, - нельзя обвинить в знании математики.

Изучать оту хуйню много лет - надо было только для того, чтобы понять, что изучать её было не надо :D
Но эта наука построила базу.
Когда-то, чтобы что-то создать - надо было знать ручные методы металлургии. И это несомненно круто - когда человек без помощи машин превращает болотную грязь - в топор, или плуг... Но сейчас эти умения утрачены, а симулякры с окладистыми бородами - ебенят кованые изделия на пневмо-молотах из заранее подготовленного сортамента, и называют это "реконструкцией" и прочей ручной работой :угу:

Нужно ли было кузнечное дело? Конечно нужно. Иначе ни кто бы не создал те машины, которыми мы пользуемся сейчас.
Так и с математикой. Когда решат всё - можно быдет просто пользоваться справочником с готовыми ответами.

P.S. Но есть нюанс - свалив каналы связи, можно будет свалить всю цивилизацию.
 
В нейросетях работают так. Построил сеть какого-там, тебе нужного типа, какой-то там конфигурации. Сильной науки и рекомендаций по конфигурации сети - почти нет. Несколько пунктиков в некоторых самых продвинутых импортных книжках из собственного эмпирического опыта автора. Начинаешь тренировать сеть от часов до месяцев. Предположим, получил хороший результат с высокой вероятностью распознавания чего-то там. Тебе повезло. А можно через полгодика ничего и не получить. Значит, начинай все с начала... Именно поэтому счастливые тренеры нейросетй выкладывают их в свободный доступ, чтобы остальные дятлы не тратили месяцы на то, что они уже натренировали. Каждая нейросеть тренируется только на свою, очень узкую задачу.

Есть хороший ролик в ютубе из какого-то фильма, потерял ссылку. Мужик вызывает инвестора и показывает как хорошо сеть в его телефоне распознает пицу. Наводит тел. на пицу и на экране компа появляется надпись, что это пица. Инвестор кончает. Потом просит навести тел. с сетью на торт. На экране компа появляется надпись, что это не пица. Инвестор в шоке. Вот это - суть всех нейросетей...

Нейросеть - это не интеллект, как его описывают в научпопе. Это большая система линейных уравнений, в которых в n-цикле подбираются параметры и сдвиг, чтобы оптимизировать критерий оптимальности распознавания (процент правильного распознавания). И чем цикл подбора короче - тем более тебе повезло за счет мощного оборудования (процессора и GPU).

Хорошо, если сеть тренируется на твоих ресурсах. А если это, например, Big Data - сотни гигабайтов картинок всяких, то будешь арендовать мощности у Амазона, Гугля или Майкрософт с АйБиМ (с устаревшими GPU Тесла). Например, аренда у новых дешевых стартапов по MLaaS - 2500 дол. за объем данных до 8 Гб в мес. Если объем больше - то до 10К дол. в мес. И это дешевле, чем у Гугля и Амазона.

Многие задачи для нейросетей можно эффективнее (за минуты и с такой же вероятностью распознавания) решать обычными методами Machine Learning, без использования сетей. Как раз в этом случае надо знать вероятность, статистику и линейную алгебру. Нейросети используют не везде подряд, а только, когда чел. не может выделить фичи (свойства) объекта. Например, распознать картинку. А сейчас нейросети суют где надо и где не надо... Часто, использующие везде нейросети, плохо знают математику. И не знают, как это все можно сделать быстро, эффективно и дешево...
 
Интересная статья про то, как занятия дэйта сайнсом способствуют формированию более правильной "Картины мира":

Профессиональная деформация дата саентистов
Тільки зареєстровані користувачі бачать весь контент у цьому розділі
 
Канеман солидный мужик. Кстати, впервые на русский его первую совместную книгу 1979 г. перевели и издали в Харькове. Дядя в статье дает сцыль на случайный поиск оптимального сочетания гиперпараметров для настройки модели. Этим занимались еще в 70-е Соболь и Статников. И до этого "доперли" дэйтасаентисты в США в 2012 г. Хорошо, что хоть дали на Соболя сцыль и полностью не проигнорили... Случайного поиска еще нет в библиотеках самых распространенных.

Тільки зареєстровані користувачі бачать весь контент у цьому розділі
 
Простая лекция на русском про "искусственный интеллект" в общем и нейросети, в частности. Следующие возможные этапы после нейросетей - дифференциальное и вероятностное программирование. Хорошо, что я заранее заимел книжки по вероятностным байесовским моделям (первая 2006 г. в США) и не оказался в плену научпопа "про искусственный интеллект на нейросетях". Нет в них ничего от какого-то ни было "интеллекта". Любая кошечка - собачка будет в миллионы раз более "интеллектуальной", чем самая сложная на сегодня нейросеть... Лекция 3-х летней давности, если шо...

 
Случайного поиска еще нет в библиотеках самых распространенных.
Тільки зареєстровані користувачі бачать весь контент у цьому розділі

Тільки зареєстровані користувачі бачать весь контент у цьому розділі


А ещё лучше использовать какие-то генетические алгоритмы. Что-то вроде:
Тільки зареєстровані користувачі бачать весь контент у цьому розділі

Тільки зареєстровані користувачі бачать весь контент у цьому розділі


Этим занимались еще в 70-е Соболь и Статников. И до этого "доперли" дэйтасаентисты в США в 2012 г. Хорошо, что хоть дали на Соболя сцыль и полностью не проигнорили...
Ну, не давать ссылок на предшественников для науки нормально. Этим и Эйнштейн промышлял.

А вообще:
achj1g.jpg
 
В смысле Соболя в SciKit-learn под Питон и других библиотеках под R - нет случайного поиска. В SciKit-learn случайный поиск из 2012 г., очень похожий на GridSearch:

While using a grid of parameter settings is currently the most widely used method for parameter optimization, other search methods have more favourable properties. RandomizedSearchCV implements a randomized search over parameters, where each setting is sampled from a distribution over possible parameter values. This has two main benefits over an exhaustive search:

A budget can be chosen independent of the number of parameters and possible values.
Adding parameters that do not influence the performance does not decrease efficiency.

Specifying how parameters should be sampled is done using a dictionary, very similar to specifying parameters for GridSearchCV. Additionally, a computation budget, being the number of sampled candidates or sampling iterations, is specified using the n_iter parameter. For each parameter, either a distribution over possible values or a list of discrete choices (which will be sampled uniformly) can be specified...

This example uses the scipy.stats module, which contains many useful distributions for sampling parameters, such as expon, gamma, uniform or randint. In principle, any function can be passed that provides a rvs (random variate sample) method to sample a value. A call to the rvs function should provide independent random samples from possible parameter values on consecutive calls.

Сцыль на случайный поиск из SciKit-Learn на 2012 г., не на Соболя 70-х:

References:

Bergstra, J. and Bengio, Y., Random search for hyper-parameter optimization, The Journal of Machine Learning Research (2012)
 
ИИ, обученный на архиве научных публикаций, способен делать научные открытия, пропущенные людьми

Учёные использовали машинное обучение для того чтобы обнаружить новые научные знания, скрытые в старых научных статьях.

В статье,
Тільки зареєстровані користувачі бачать весь контент у цьому розділі
в журнале Nature, учёные из University of California (Berkeley, США), взяли 3.3 миллиона аннотаций статей и определили степень семантической близости для полумиллиона слов — создали для этих слов Word2Vec векторные представления.

41586_2019_1335_Fig2_HTML.png


Из этих представлений удалось вывести ряд химических закономерностей, в частности, периодический закон. Оказалось возможным предсказывать свойства исследовавшихся ими термоэлектрических материалов до их открытия и экспериментального исследования. Учёные, например, показали, что если бы их модель построили раньше, то термоэлектрические свойства CuGaTe2 можно было предугадать за четыре года до экспериментального открытия.

Тільки зареєстровані користувачі бачать весь контент у цьому розділі

Тільки зареєстровані користувачі бачать весь контент у цьому розділі
 
Нейронные сети научились генерировать кошечек.

jgbf0e.png


Тільки зареєстровані користувачі бачать весь контент у цьому розділі


Можно сгенерировать свою собственную.

А вот статья о том, как оно работает:
Тільки зареєстровані користувачі бачать весь контент у цьому розділі

я его поломал:іржач:
8eccca.png

Нейросеть научили принимать LSD?
Ладно форма... но почему он его так покрасил? :D
8djjhb.png


Дратути!
dcbdb2.png
 
Назад
Зверху Знизу