Харьков Форум
  Харьков Форум > Хобби > Наука и техника

Старый 19.02.2017, 13:22   #1
aruba

 
Регистрация: 17.01.2017
Из: Ukraine
Сообщений: 72
 
По умолчанию Исследователи визуализировали вычисления нейронной сети


Визуализация цикла обучения нейронной сети

Команда инженеров проекта Graphcore построила графы активности узлов нейронной сети и их связи в процессе обучения по распознаванию образов, о чем исследователи рассказали в своем блоге.

Изображение выше демонстрирует полный цикл обучения и распознавания нейронной сети Microsoft Research RESNET-34 в декабре 2016 года. Саму систему развернули на базе IPU — интеллектуального графического процессора, как его называют создатели, еще в середине 2016 года. Полученные данные раскрасили для того, чтобы выделить различную плотность вычислений, производящиеся нейронной сетью.

Все полученные исследователями изображения оказались не только весьма сложными, но и пугающе схожими с реальными биологическими объектами. Целью инженеров было наглядно показать, что происходит внутри нейронной сети и почему даже некоторых ученых принцип их работы ставит в тупик.

Построенные Graphcore изображения представляют из себя технические графики нейронной сети RESNET производства Microsoft. В 2015 году RESNET выиграла соревнования по распознаванию изображений под названием ImageNet.

Следующее изображение было получено после проведения 50 циклов тренировки нейронной сети Graphcore по распознаванию изображений:



IPU-система Graphcore работает при помощи фреймворка Poplar. Фреймворк написан на C++ и ориентирован на работу с графами в ходе машинного обучения нейронной сети. Библиотеки Poplar является open source-разработкой, которые в перспективе можно будет применять в связке с TensorFlow и MXNet, которые смогут практически «из коробки» работать с IPU Graphcore. Набор инструментов отладки и анализа можно настраивать с использованием как C++, так и Python.

IPU Graphcore применим не только для распознавания изображений, но и для обработки большого массива данных. Например, разработчики приводят визуализацию процесса обработки астрофизических данных на своем IPU под управлением нейронной сети:



Или вот изображение глубинной нейронной сети AlexNet, построенной с использованием TensorFlow:



AlexNet также является победителем ImageNet, но 2012 года. Для сравнения дается структура нейронной сети на базе Microsoft Research RESNET:



IPU разрабатывался специально для работы с нейронными сетями, и разработчики надеются, что результат их трудов положит начало новому этапу в машинном обучении. Команда Graphcore отмечает большую эффективность сетей на IPU, а также большую, чем у конкурентов, скорость обучения.

Источник: https://geektimes.ru/post/286018/


    Вверх
Старый 21.02.2017, 17:03   #2
Dr.KoT


 
 
Регистрация: 25.08.2010
Адрес: Харьков
Из: Ukraine
Сообщений: 14,804
 
По умолчанию
Ух ты! И что дает визуализация? Это как мнемосхема АСУ ТП?


    Вверх
Старый 7.03.2017, 10:25   #3
aruba

 
Регистрация: 17.01.2017
Из: Ukraine
Сообщений: 72
 
По умолчанию
Цитата:
Сообщение от Dr.KoT
Ух ты! И что дает визуализация? Это как мнемосхема АСУ ТП?
Визуализация помогает лучше понять как работает НС. Для того чтобы она не была просто "черным ящиком". Это именно то, что пугает людей в ИИ - он будет умнее нас, и мы не сможем понять как он вообще делает те выводы, которые делает.


    Вверх
Старый 7.03.2017, 10:38   #4
aruba

 
Регистрация: 17.01.2017
Из: Ukraine
Сообщений: 72
 
По умолчанию
Нейронные сети научились генерировать кошечек.



https://affinelayer.com/pixsrv/

Можно сгенерировать свою собственную.

А вот статья о том, как оно работает:
https://habrahabr.ru/post/323374/


    Вверх
Старый 27.03.2017, 16:38   #5
aruba

 
Регистрация: 17.01.2017
Из: Ukraine
Сообщений: 72
 
По умолчанию
Про прогресс в области Deep Reinforcement Learning (Глубинное обучение с подкреплением)


2013 – Классические видеоигры Atari


Google купила Deepmind за 500 миллионов долларов
https://habrahabr.ru/company/telebreeze/blog/210594/






ИИ от Google самостоятельно освоил 49 старых игр Atari

Компания Google создала систему искусственного интеллекта, которая играет лучше человека во многие аркадные игры. Программа научилась играть, не зная правил и не имея доступа к коду, а просто наблюдая за картинкой на экране.

Эта разработка не такая легкомысленная, как может показаться. Универсальная самообучаемая система когда-нибудь может найти применение, например, в автономных автомобилях и других проектах, где нужно анализировать состояние окружающих объектов и принимать решения. Скажем, при установке в автономный автомобиль ИИ методом проб и ошибок определит, на какой сигнал светофора лучше проезжать перекрёсток. Если без шуток, то программа способна находить решение для широкого спектра задач, независимо от правил и начальных условий.

Продолжение: https://geektimes.ru/post/246444/






Обучение с подкреплением: от Павлова до игровых автоматов

История обучения с подкреплением в зависимости от того, как считать насчитывает от полутора веков до 60 лет. Последняя волна (которая захлестывает сейчас нас всех) началась вместе с подъемом всего машинного обучения в середине 90-ых годов 20-ого века. Но люди, которые сейчас на гребне этой волны начинали само собой не сейчас, а во время предыдущего всплеска интереса — в 80-ых. В процессе знакомства с историей нам встретятся многие персонажи, который сыграли роль в становлении учения об искусственном интеллекте. Само собой, это неудивительно, ведь обучение с подкреплением — его неотъемлемая часть. Хотя обо всем по порядку.

https://habrahabr.ru/post/322404/


Дополнительные ссылки:
https://ru.wikipedia.org/wiki/DeepMind
https://ru.wikipedia.org/wiki/Обучение_с_подкреплением


    Вверх
Старый 27.03.2017, 16:41   #6
aruba

 
Регистрация: 17.01.2017
Из: Ukraine
Сообщений: 72
 
По умолчанию
2016 – AlphaGo


Есть ли шанс у AlphaGo в матче против Ли Седоля
https://geektimes.ru/post/270248/






AlphaGo против Ли Седоля: итоги и оценки профессиональных игроков в Го

Как говорили комментаторы, AlphaGo играла подобно человеку: система искала и создавала уязвимые группы камней, чтобы сделать сильные ходы. Хотя ИИ сделал несколько ошибок, у чёрных были серьёзные причины для опасений. На последних двадцати минутах игры AlphaGo развила преимущество. Игра на 3,5 часа закончилась тем, что мастер девятого дана признал поражение.

Как говорил позднее Седоль, AlphaGo сделала один необычный ход, который не сделал бы ни один человек. Представитель команды людей не ожидал такой игры. Система играла заметно сильнее, чем против европейского чемпиона. Как говорил глава DeepMind Хассабис, дело даже не в вычислительных мощностях — они примерно те же, что и в матче против Хуэя. Последние пять месяцев AlphaGo играла сама против себя и использовала обучение с подкреплением, чтобы улучшить собственные навыки. Возросшая мощь стала сюрпризом.

Но что матч означает для всех нас?

Можно заглянуть внутрь проекта и испытать сильное разочарование: там алгоритмы, которые можно истолковать и понять. Но при этом свою цель AlphaGo выполняет отлично. Это и есть проблема: ИИ в представлении скептиков должен быть необъяснимым, уметь всё и ненавидеть человечество. Простое выполнение задачи вызывает обвинения в просчитывании вариантов.

Но вопрос о сущности терминов не так интересен. Куда больше пугает мысль, что AlphaGo играет в го лучше всех своих создателей и даже людей, на партиях которых учили его нейросети.

Искусственный интеллект может в разы повысить эффективность труда. Именно это и должно внушать опасения.

Опасна даже не потеря рабочих мест, а их характер. В первую очередь начнут исчезать простые низкооплачиваемые виды работы. Занятые на подобных позициях наиболее экономически уязвимы.

Сможем ли мы адаптироваться к глубоким социальным изменениям, которые произойдут даже не революцией, а резкой вспышкой? Кто останется в выигрыше от ИИ: лишь те, кто владеет такой системой? Означает ли это очередное усиление социального неравенства?

Это и есть те вопросы, которые должны пугать при очередной оттепели зимы ИИ. Должна быть вовсе не эта первобытная фобия всемогущих механических убийц. Новости о восстании машин так и останутся заголовками «робот убил человека». Технологии — лишь инструмент. Опасность для людей создают другие люди.

AlphaGo — это ещё один вестник такого неясного будущего перемен.

Подробности: https://geektimes.ru/post/272782/






Играть на уровне бога: как ИИ научился побеждать человека

Мир изменился прямо на наших глазах, но не все заметили это. Когда и как программы научились играть безошибочно? Всегда ли проигрыш одного человека свидетельствует о поражении всего человечества? Обретет ли искусственный интеллект сознание?

https://geektimes.ru/company/mailru/blog/277064/


Дополнительные ссылки:
https://ru.wikipedia.org/wiki/AlphaGo


    Вверх
Старый 27.03.2017, 16:45   #7
aruba

 
Регистрация: 17.01.2017
Из: Ukraine
Сообщений: 72
 
По умолчанию
2017 – Покер


Покерная программа DeepStack обыгрывает профессионалов один на один

Пионер современной теории игр Джон фон Нейман говорил: «Реальная жизнь вся состоит из блефа, из маленьких приёмов обмана, из размышлений о том, каких действий ожидает от тебя другой человек. Вот что представляет игра в моей теории» (цитата из 13-й серии документального сериала «Возвышение человечества»).

Продолжение: https://geektimes.ru/post/284538/


ИИ: блеф, отъем денег у населения и победа над неопределенностью

Покер — это игра с неполной информацией, в отличие от шахмат, шашек, нард, где оба игрока видят положение всех фигур на доске. Ранее ИИ не мог победить там, где присутствует элемент неопределенности. Так что же изменилось?

https://geektimes.ru/company/mailru/blog/285314/



2018+ – Что дальше?


    Вверх
Старый 4.04.2017, 12:56   #8
aruba

 
Регистрация: 17.01.2017
Из: Ukraine
Сообщений: 72
 
По умолчанию
Илон Маск создает компанию Neuralink для разработки нейроинтерфейсов



Основатель компаний SpaceX и Tesla Motors Илон Маск набирает сотрудников в свою новую компанию Neuralink, которая займется разработкой нейроинтерфейса — технологии, позволяющей считывать информацию из головного мозга человека и записывать ее на цифровые носители.

https://geektimes.ru/post/287406/


    Вверх
Старый 4.04.2017, 13:01   #9
aruba

 
Регистрация: 17.01.2017
Из: Ukraine
Сообщений: 72
 
По умолчанию
Нейросеть Deep Photo Style Transfer переносит стиль на фотографиях





Когда-нибудь в будущем мы сможем надеть очки — и ходить по городу, который рендерится в реальном времени в том стиле, какой нам нравится. Солнечный свет или лёгкая дымка, вечерний закат, что угодно. Независимо от того, насколько унылая архитектура — в очках она будет прекрасной. Такие возможности рендеринга с перенесением стилей открывает потрясающая программа Deep Photo Style Transfer, которая опубликована в открытом доступе, также как и научная работа, лежащая в её основе (arXiv:1703.07511).





Очень много потрясающе красивых картинок: https://geektimes.ru/post/287384/


    Вверх
Старый 4.04.2017, 13:04   #10
aruba

 
Регистрация: 17.01.2017
Из: Ukraine
Сообщений: 72
 
По умолчанию
Самое главное о нейронных сетях

Материал обобщает историю развития нейросетей, их основные особенности и принципиальные отличия от других моделей, применяемых в машинном обучении. Также речь пойдёт о конкретных примерах применения нейросетевых технологий и их ближайших перспективах.





Подробная расшифровка лекции со слайдами:
https://habrahabr.ru/company/yandex/blog/307260/


    Вверх
Старый 1.03.2019, 19:56   #11
Код Омега

 
Регистрация: 13.03.2010
Адрес: Харьков
Из: Ukraine
Сообщений: 281
 
По умолчанию
Посоветую для тех, кто хочет начать хорошо понимать Data Science, Machine Learning и Deep Learning смотреть импортные профессиональные курсы. Есть с десяток сайтов, которые продают свои курсы. многое можно найти и за спасибо... Заодно подучите индийский и китайский англ. Все, что на русском - это сильно устаревшее, и в основном, это пересказ англоязычных курсов.

В нейросетях нет никакой магии. Только большая система линейных уравнений, их может быть сотни. Всего различных видов нейросетей - под сотню. Каждая разновидность используется только для своего класса задач. Рекуррентные - распознавание текста, конволюционные - распознавание картинок, с короткой памятью - тоже для текста и т.д. Сейчас есть инструментарий для обучения нейросетей под любую задачу. Языки - R и\или Python, как правило. Библиотек с бесплатными претренированными под конкретную задачу нейросетей - как грязи.

Проблема с нейросетями одна - мало ресурсов памяти и процессора. Есть куча сервисов под тренировку нейросетей, от Амазона до Гугла. Арендуете виртуальное оборудование и тренируете нейросети. Сейчас это все уже давно не наука и не магия, а обычная IT - технология. Кое - какая наука была только в первоначальных статьях, которые обосновывают определенные архитектуры нейросетей под свою задачу. Потом под эту структуру выпускается бесплатная библиотека и этой претренированной нейросетью могут пользоваться все, кому не лень...

Среди Data Scientists, как я много раз читал, считается, что работа с нейросетью менее интересная и рутинная, чем работа с Machine Learning без нейросетей. Мало кто любит скакать из Machine Learning в Deep Learning. Это абсолютно разные, почти не связанные области в Data Science. В нейросетях почти не надо знать статистику, линейную алгебру, вероятность, векторные преобразования, матричное исчисление и т.д. Так на шиша тогда это все надо было изучать много лет???


    Вверх
Старый 1.03.2019, 21:06   #12
МалэкулЙаду


 
 
Регистрация: 8.04.2009
Адрес: Та тут рядом
Из: Ukraine
Сообщений: 18,457
 
По умолчанию
Цитата:
Сообщение от Код Омега
В нейросетях почти не надо знать статистику, линейную алгебру, вероятность, векторные преобразования, матричное исчисление и т.д. Так на шиша тогда это все надо было изучать много лет???
Ну да... доядерная клетка эволюционировала (правда, долго) до превращения во всех, включая человека, который заметил существование математики со всеми вышеперечисленными дисциплинами.
При этом, ни саму ту прото-клетку, ни большинство последующих звеньев, вплоть до последнего, - нельзя обвинить в знании математики.

Изучать оту хуйню много лет - надо было только для того, чтобы понять, что изучать её было не надо
Но эта наука построила базу.
Когда-то, чтобы что-то создать - надо было знать ручные методы металлургии. И это несомненно круто - когда человек без помощи машин превращает болотную грязь - в топор, или плуг... Но сейчас эти умения утрачены, а симулякры с окладистыми бородами - ебенят кованые изделия на пневмо-молотах из заранее подготовленного сортамента, и называют это "реконструкцией" и прочей ручной работой

Нужно ли было кузнечное дело? Конечно нужно. Иначе ни кто бы не создал те машины, которыми мы пользуемся сейчас.
Так и с математикой. Когда решат всё - можно быдет просто пользоваться справочником с готовыми ответами.

P.S. Но есть нюанс - свалив каналы связи, можно будет свалить всю цивилизацию.


__________________
Витовтас;60774927 я не вижу никакого нападения РФ на вас, о чем вы кричите уже три года,может вам так этого хочется и вы. всеми доступными вам возможностями и усилиями, добиваетесь этого самого нападения? (04.08.2017)
Есть кто в Литве? Убейте эту мерзость.
    Вверх
Старый 2.03.2019, 08:47   #13
Код Омега

 
Регистрация: 13.03.2010
Адрес: Харьков
Из: Ukraine
Сообщений: 281
 
По умолчанию
В нейросетях работают так. Построил сеть какого-там, тебе нужного типа, какой-то там конфигурации. Сильной науки и рекомендаций по конфигурации сети - почти нет. Несколько пунктиков в некоторых самых продвинутых импортных книжках из собственного эмпирического опыта автора. Начинаешь тренировать сеть от часов до месяцев. Предположим, получил хороший результат с высокой вероятностью распознавания чего-то там. Тебе повезло. А можно через полгодика ничего и не получить. Значит, начинай все с начала... Именно поэтому счастливые тренеры нейросетй выкладывают их в свободный доступ, чтобы остальные дятлы не тратили месяцы на то, что они уже натренировали. Каждая нейросеть тренируется только на свою, очень узкую задачу.

Есть хороший ролик в ютубе из какого-то фильма, потерял ссылку. Мужик вызывает инвестора и показывает как хорошо сеть в его телефоне распознает пицу. Наводит тел. на пицу и на экране компа появляется надпись, что это пица. Инвестор кончает. Потом просит навести тел. с сетью на торт. На экране компа появляется надпись, что это не пица. Инвестор в шоке. Вот это - суть всех нейросетей...

Нейросеть - это не интеллект, как его описывают в научпопе. Это большая система линейных уравнений, в которых в n-цикле подбираются параметры и сдвиг, чтобы оптимизировать критерий оптимальности распознавания (процент правильного распознавания). И чем цикл подбора короче - тем более тебе повезло за счет мощного оборудования (процессора и GPU).

Хорошо, если сеть тренируется на твоих ресурсах. А если это, например, Big Data - сотни гигабайтов картинок всяких, то будешь арендовать мощности у Амазона, Гугля или Майкрософт с АйБиМ (с устаревшими GPU Тесла). Например, аренда у новых дешевых стартапов по MLaaS - 2500 дол. за объем данных до 8 Гб в мес. Если объем больше - то до 10К дол. в мес. И это дешевле, чем у Гугля и Амазона.

Многие задачи для нейросетей можно эффективнее (за минуты и с такой же вероятностью распознавания) решать обычными методами Machine Learning, без использования сетей. Как раз в этом случае надо знать вероятность, статистику и линейную алгебру. Нейросети используют не везде подряд, а только, когда чел. не может выделить фичи (свойства) объекта. Например, распознать картинку. А сейчас нейросети суют где надо и где не надо... Часто, использующие везде нейросети, плохо знают математику. И не знают, как это все можно сделать быстро, эффективно и дешево...


    Вверх
Старый 19.05.2019, 11:59   #14
aruba

 
Регистрация: 17.01.2017
Из: Ukraine
Сообщений: 72
 
По умолчанию
Интересная статья про то, как занятия дэйта сайнсом способствуют формированию более правильной "Картины мира":

Профессиональная деформация дата саентистов
https://habr.com/ru/company/ods/blog/447362/


    Вверх
Старый 19.05.2019, 20:21   #15
Код Омега

 
Регистрация: 13.03.2010
Адрес: Харьков
Из: Ukraine
Сообщений: 281
 
По умолчанию
Канеман солидный мужик. Кстати, впервые на русский его первую совместную книгу 1979 г. перевели и издали в Харькове. Дядя в статье дает сцыль на случайный поиск оптимального сочетания гиперпараметров для настройки модели. Этим занимались еще в 70-е Соболь и Статников. И до этого "доперли" дэйтасаентисты в США в 2012 г. Хорошо, что хоть дали на Соболя сцыль и полностью не проигнорили... Случайного поиска еще нет в библиотеках самых распространенных.

http://www.jmlr.org/papers/v13/bergstra12a.html


    Вверх
Старый 22.05.2019, 14:26   #16
Код Омега

 
Регистрация: 13.03.2010
Адрес: Харьков
Из: Ukraine
Сообщений: 281
 
По умолчанию
Простая лекция на русском про "искусственный интеллект" в общем и нейросети, в частности. Следующие возможные этапы после нейросетей - дифференциальное и вероятностное программирование. Хорошо, что я заранее заимел книжки по вероятностным байесовским моделям (первая 2006 г. в США) и не оказался в плену научпопа "про искусственный интеллект на нейросетях". Нет в них ничего от какого-то ни было "интеллекта". Любая кошечка - собачка будет в миллионы раз более "интеллектуальной", чем самая сложная на сегодня нейросеть... Лекция 3-х летней давности, если шо...

https://www.youtube.com/watch?v=E1XMjIXWKtA


    Вверх
Старый 5.06.2019, 00:03   #17
aruba

 
Регистрация: 17.01.2017
Из: Ukraine
Сообщений: 72
 
По умолчанию
Цитата:
Сообщение от Код Омега
Случайного поиска еще нет в библиотеках самых распространенных.
https://scikit-learn.org/stable/modu...dSearchCV.html
https://www.kaggle.com/willkoehrsen/...-random-search

А ещё лучше использовать какие-то генетические алгоритмы. Что-то вроде:
https://github.com/hyperopt/hyperopt-sklearn
https://medium.com/cindicator/geneti...t-8f069669015e

Цитата:
Сообщение от Код Омега
Этим занимались еще в 70-е Соболь и Статников. И до этого "доперли" дэйтасаентисты в США в 2012 г. Хорошо, что хоть дали на Соболя сцыль и полностью не проигнорили...
Ну, не давать ссылок на предшественников для науки нормально. Этим и Эйнштейн промышлял.

А вообще:


    Вверх
Старый 5.06.2019, 20:09   #18
Код Омега

 
Регистрация: 13.03.2010
Адрес: Харьков
Из: Ukraine
Сообщений: 281
 
По умолчанию
В смысле Соболя в SciKit-learn под Питон и других библиотеках под R - нет случайного поиска. В SciKit-learn случайный поиск из 2012 г., очень похожий на GridSearch:

While using a grid of parameter settings is currently the most widely used method for parameter optimization, other search methods have more favourable properties. RandomizedSearchCV implements a randomized search over parameters, where each setting is sampled from a distribution over possible parameter values. This has two main benefits over an exhaustive search:

A budget can be chosen independent of the number of parameters and possible values.
Adding parameters that do not influence the performance does not decrease efficiency.

Specifying how parameters should be sampled is done using a dictionary, very similar to specifying parameters for GridSearchCV. Additionally, a computation budget, being the number of sampled candidates or sampling iterations, is specified using the n_iter parameter. For each parameter, either a distribution over possible values or a list of discrete choices (which will be sampled uniformly) can be specified...

This example uses the scipy.stats module, which contains many useful distributions for sampling parameters, such as expon, gamma, uniform or randint. In principle, any function can be passed that provides a rvs (random variate sample) method to sample a value. A call to the rvs function should provide independent random samples from possible parameter values on consecutive calls.

Сцыль на случайный поиск из SciKit-Learn на 2012 г., не на Соболя 70-х:

References:

Bergstra, J. and Bengio, Y., Random search for hyper-parameter optimization, The Journal of Machine Learning Research (2012)


    Вверх

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск

Харьков Форум > Хобби > Наука и техника

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Вычисления пола ребенка. mariko19 Аист 61 9.08.2013 16:31
Распределенные вычисления Marsikus Софт 8 8.12.2009 17:17
Распределенные вычисления FiXeD Наука и техника 7 23.11.2009 19:32
Распределённые вычисления Хаммер Наука и техника 6 3.12.2008 23:50
Исследователи UNOSAT при ООН: Цхинвали разрушен на 5,4% BratK Политика 60 9.09.2008 20:35


Часовой пояс GMT +2, время: 11:57.


Харьков Форум Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2019, Jelsoft Enterprises Ltd.