Разделение мультиэкспонированных изображений

[Sergei]

А уж морду человекообразной обезьяны он вообще за лицо не считает - для него - это сплошная бровь.

 

[v_I_Per]

Мдя. Ну у Вас Сергей и задачки на досуге...
С ИИ я связан очень опосредовано (учился на соседней специализации ) ) Но мне кажется что задача ваша из области фантастики, и решена будет не раньше, чем компьютеры научаться из карандашного наброска фотореалистичное изображение создавать, да еще и объемное
Потому что мозг наш подобные картинки разделяет скорее не потому что он действительно анализирует картинку, а потому что он синтезирует её основываясь на частях знакомого образа. Так и пример Ваш с простейшими геометрическими фигурами работает хорошо только потому что они хорошо знакомы.
И пока компьютеру не станет хорошо знакомо человеческое лицо (со всеми его особенностями, и ожидаемыми на нём объектами), кот, мебель, деревья с листиками и т.п. - фиг он вам это всё разделит.
Думаю для иллюстрации этого можно создать аналогичный коллажик из незнакомых для вашего мозга образов, и он тоже спасует. Или, что скорее, попробует представить его в виде простых и знакомых образов, но совсем не обязательно правильных

 

[Sconosciuto]

Потому что мозг наш подобные картинки разделяет скорее не потому что он действительно анализирует картинку, а потому что он синтезирует её основываясь на частях знакомого образа. Так и пример Ваш с простейшими геометрическими фигурами работает хорошо только потому что они хорошо знакомы.
И пока компьютеру не станет хорошо знакомо человеческое лицо (со всеми его особенностями, и ожидаемыми на нём объектами), кот, мебель, деревья с листиками и т.п. - фиг он вам это всё разделит.
Думаю для иллюстрации этого можно создать аналогичный коллажик из незнакомых для вашего мозга образов, и он тоже спасует. Или, что скорее, попробует представить его в виде простых и знакомых образов, но совсем не обязательно правильных

Всё верно.
Вот я и писал, что единственный известный мне метод решения - это обучаемая нейронная сеть. В ней процессы синтеза и анализа происходят параллельно. И она предварительно обучается на распознование лиц, котов, холодильников и прочих предметов...

Тему создал с целью узнать, не сталкивался ли кто, путешествуя в сети с упоминанием того, что кто-то подобные задачи реализовывал.
Примеры предсказания поведения биржевых котировой и курсов валют, снятых с НС, мне известны, но это задачи на несколько порядков менее сложные.

Вот приведенный AK пример распознования лиц в кадре - это из этой области... Спасибо, АК.

 

[Oleg]

Я думаю подобную тему надо поднять в "Науке", или эту скопировать.
Могу устроить если хотите?

 

[Sconosciuto]

Я думаю подобную тему надо поднять в "Науке", или эту скопировать.
Могу устроить если хотите?

Скопируйте, Олег, если это возможно.
Thanks for cooperation

 

[Kh1234]

А ведь не обязательно полностью до точечки.. ;-)

Мозг-то вычисляет без вопросов, но мы-то можем спросить: Мозг, а ты уверен, что там три фигуры на белом фоне, а не пять?
Мозг не задает вопросов, потому что руководствуется какими-то априорными предположениями. Например принципом Оккама: зачем выдумывать пять сложных фигур, когда то же самое можно описать тремя простыми?
В случае сидящего кота делается предположение, что кот должен сидеть на чем-то, и объект с подходящими границами (под котом) находится в той же экспозиции, что и кот. А объект, просвечивающийся сквозь кота, наверняка находится в другой экспозиции. И так далее. Но, вообще говоря, возможны ситуации, когда однозначно разделить объекты по экспозициям не удастся.
В общем, сначала надо научить компутер видеть, что изображено на нормальных фотках, и только потом можно думать, как адаптировать эти алгоритмы на мультиэкспозицию.

Именно! У мозга очень большая фора именно в знании объектов сцены, и возможности моделировать их вариации. И даже при этом, даже если предположить, что бот будет анализировать логичность сцены (!), все равно неоднозначность остается. Например, два человека могут находиться в одном кадре, если бот не будет знать, что они жили в разных столетиях, или никогда не встречались в одном месте.. ;-)

Всё верно.
Вот я и писал, что единственный известный мне метод решения - это обучаемая нейронная сеть. В ней процессы синтеза и анализа происходят параллельно. И она предварительно обучается на распознование лиц, котов, холодильников и прочих предметов...

Это идеальный для данной задачи вариант, заставить бота понять, что за реальные объекты есть в сцене, как они взаиморасположены, как освещены, с тем, чтоб он их мог потом "чисто" отрендерить обратно, уже в разные кадры. Для этого бот должен оперировать сущностями не "цвет точки", или "замкнутый яркостный полигон", но именно "ветка дерева", "кот", "кухонная мебель". При этом второй кадр будет восприниматься как "мусор" только на этапе распознавания. Если объекты будут распознаны с большой степенью достоверности, то и участки, наиболее пострадавшие от мусора, могут быть легко "додуманы", то есть смоделированы, исходя из свойств распознанного объекта. Только для этого бот должен иметь те же представления об объектах, какие имеет мозг смотрящего на сцену человека, а именно изображения многих вариаций подобных однотипных объектов. Это посложнее будет, чем просто найти кота в сцене (еще и не зная, что он там есть ;-)), но и правильно определить положение его суставов, складок кожи, положения ворсинок шерсти, и т.д. Задача, хоть и сложная, но imho, решаемая. Пускай не теперь именно, но в принципе.
Но часто ведь для решения прикладных задач не нужны именно идеальные решения.. Можно ведь и частично автоматизировать процесс. Например, разложить изображение на кучу полигонов по цвету (подобное можно сделать в Macromedia Flash ("Trace bitmap command")). Потом только нужно уже вручную разделить полигоны между сценами. После такого разделения уже будет делом техники провести коррекцию цветов в пересекающихся полигонах. Для простоты эксперимента можно несколько поднять контрастность изображения, чем уменьшить количество цветов, а значит, и количество полигонов. Предположительно, можно для ручного разделения использовать укрупненные полигоны низкого разрешения, впоследствии наполняя обе полу-сцены деталями уже в автоматическом режиме, на основании общего цветового фона уже разделенных участков сцен (наверняка были немного разные условия освещения, глубина тени, границы черного и белого в полусценах (?)). И добавлять мелкие полигоны уже высокого разрешения в пограничных областях крупных объектов, следуя их контурам. Например: полигоны листьев дерева из одной сцены, примерно совпадающие по размеру и цвету, повторяющиеся только в области очертаний дерева с кроной из сцены1, уж наверняка не принадлежат сцене2..
То есть, можно и не распознавать объекты автоматом, но сделать это руками. Почти руками. При этом степень этого "почти" будет зависеть от ИИ, который будет работать с детализацией контуров.

 

[Sconosciuto]

Неплохой материал:
Посилання видалено

On Intelligence
Jeff Hawkins
with Sandra Blakeslee

Пролог 3
1. Искусственный интеллект. 6
2. Нейронные сети 11
3. Человеческий Мозг 18
4. Память 29
5. Новая структура интеллекта 38
6. Как работает кортекс 47
6.1. Инвариантное представление 48
6.2. Интеграция чувств 51
6.3. Новая точка зрения на V1 53
6.4. Модель мира 55
6.5. Последовательности последовательностей 57
6.6. На что похожа область кортекса 61
6.7. Как работают области кортекса: детали 66
6.8. Вверх и вниз 71
6.9. Действительно ли обратные связи могут делать это? 72
6.10. Как обучается кортекс 73
6.11. Гиппокамп: вершина всего этого 75
6.12. Альтернативный путь по иерархии 77
6.13. Завершающие мысли 77
7. Сознание и творчество 79
7.1. Обладают ли животные интеллектом? 79
7.2. Чем отличается интеллект человека? 80
7.3. Что такое творчество? 81
7.4. Являются ли одни люди более творческими, чем другие? 83
7.5. Можем ли мы натренировать себя так, чтоб стать более творческими? 84
7.6. Может ли творчество завести меня в тупик? Могу ли я обмануть сам себя? 85
7.7. Что такое сознание? 85
7.8. Что такое воображение? 88
7.9. Что есть реальность? 89
8. Будущее интеллекта 91
8.1. Сможем ли мы построить интеллектуальные машины? 91
8.2. Должны ли мы строить интеллектуальные машины? 94
8.3. Зачем строить интеллектуальные машины? 96
Эпилог 104
Приложение: проверяемые предсказания 105
Библиография 110
Благодарности 114
Об авторах 115




Об авторах
ДЖЕФ ХОКИНС
Один из наиболее успешных и высоко уважаемых разработчиков компьютеров и предпринимателей Силиконовой Долины. В настоящее время технический директор palmOne, он основал Palm Computing и Handspring, и создал Институт Нейронаук в Редвуде для содействия исследованиям памяти и познавательных способностей. Он является членом Национальной Академии Инженеров и входит в состав научной комиссии лаборатории Cold Spring Harbor. Он живет в северной Калифорнии.
САНДРА БЛЭЙКСЛИ
писала о науке и медицине для New York Times свыше тридцати лет и является соавтором бестселлера по психологии и браку Phantoms in the Brain В.С.Рамачандрана и Джуди Уоллерштейн. Она живет в Санта Фе, Нью Мексико.

 

[Kh1234]

Неплохой материал:
Посилання видалено

Класс! Пасиб! Действительно, нерядовая идея.

Вывод, берем паяльник, и делаем следующее:

1+2.bmp => V1 => V2 => V4 => IT => V4 => V2 => V1 => 1.bmp + 2.bmp

;-))

 

[Sconosciuto]

Класс! Пасиб! Действительно, нерядовая идея.

Вывод, берем паяльник, и делаем следующее:

1+2.bmp => V1 => V2 => V4 => IT => V4 => V2 => V1 => 1.bmp + 2.bmp

;-))

Брать паяльник - лишнее.
Можно без паяльника...

 

[Kh1234]

Век живи - век учись!

Брать паяльник - лишнее.
Можно без паяльника...

А как без паяльника-то на этапе (1+2.bmp => V1), а также на (V1 => 1.bmp + 2.bmp)?
Маэстро, заделитесь технологией! Бо с паяльником в самом деле не очень приятные ощущения видятся..

 

[Sconosciuto]

Аппаратная реализация весьма преждевременна.

Пока речь может вестись исключительно о моделировании на ПК (или сети ПК).
А в схеме:
1+2.bmp => V1 => V2 => V4 => IT => V4 => V2 => V1 => 1.bmp + 2.bmp

во-первых, предшествует долгий процесс обучения:
кошка.bmp => V1 => V2 => V4 => IT
холодильник.bmb => V1 => V2 => V4 => IT
сад.bmp => V1 => V2 => V4 => IT
Человек1.bmp => V1 => V2 => V4 => IT
Человек2. bmp => V1 => V2 => V4 => IT
...

а во-вторых, еще и необходимо учесть (то, что уже известно):
- влияние альтернативного пути по иерархии - проекции в таламус;
- гиппокамп.

 

[Kh1234]

Аппаратная реализация весьма преждевременна.

Пока речь может вестись исключительно о моделировании на ПК (или сети ПК).

Я не имел ввиду полностью аппаратную реализацию визуальных областей Vx + IT, но аппаратную реализацию интерфейса (био-области <=> синтетическая интерфейсная часть).
Если есть обратная связь, и она проходит теми же путями, что и сенсорная информация, то вклинившись где-то в районе глазного нерва, или чуть повыше со своей "ПЗСкой", можно теоретически брать (внедрять) картинку (или образы более высокого порядка). То есть, задействовать полостью рабочий биологический инструмент, обеспечив только ввод для него исходных данных, и выдачу на гора результатов его деятельности. Мозг автоматически разделяет изображения, и у него уже есть в распоряжении инвариантные модели котов, людей, деревьев. Останется только схватить вычлененные изображения.
Насчет преждевременности готов поспорить. Приходилось знакомиться с работами, где на кремниевом кристалле, на его электродах отлично выращивалась нервная ткань (нейроны). При помещении этой ткани в реальные мозговые ткани, её нейроны тут же стремятся организовывать синапсы с окружающими нейронами. Так происходит почти автоматическая интеграция чипов в кору. Думаю, что это очень перспективные разработки. Получив программный путь к одновременной активации большого числа нейронов, можно генерировать как пространственные, так и временные паттерны. Также можно их снимать. Остается создать только очень гибкий софт, чтоб их расшифровывать. Тут уже могут быть и нейросети.

 

[Sconosciuto]

Я не имел ввиду полностью аппаратную реализацию визуальных областей Vx + IT, но аппаратную реализацию интерфейса (био-области <=> синтетическая интерфейсная часть).
Если есть обратная связь, и она проходит теми же путями, что и сенсорная информация, то вклинившись где-то в районе глазного нерва, или чуть повыше со своей "ПЗСкой", можно теоретически брать (внедрять) картинку (или образы более высокого порядка).

Обратная связь есть. Задействованы в ней те же нейроны, что и при обработке сенсорного потока. Но через иные синапсы...
И ПЗСкой не вклиниться - читать глазной нерв безсмысленно, в нем практически нет влияния ОС (быть может кроме некоторого латерального торможения). А читать образы с кортекса - это читать активность очень многих (миллиардов) колонок кортекса... (все зоны, в которые прецируется сенсорная информация). Задача мягко говоря, абсолютно нереальная. Проще создать с нуля ИИ.

То есть, задействовать полостью рабочий биологический инструмент, обеспечив только ввод для него исходных данных, и выдачу на гора результатов его деятельности. Мозг автоматически разделяет изображения, и у него уже есть в распоряжении инвариантные модели котов, людей, деревьев. Останется только схватить вычлененные изображения.

Да уж... Везет мозгу... У него уже все есть.
Только нам от этого в этой задаче ни холодно, ни жарко...

Насчет преждевременности готов поспорить. Приходилось знакомиться с работами, где на кремниевом кристалле, на его электродах отлично выращивалась нервная ткань (нейроны). При помещении этой ткани в реальные мозговые ткани, её нейроны тут же стремятся организовывать синапсы с окружающими нейронами. Так происходит почти автоматическая интеграция чипов в кору. Думаю, что это очень перспективные разработки. Получив программный путь к одновременной активации большого числа нейронов, можно генерировать как пространственные, так и временные паттерны. Также можно их снимать. Остается создать только очень гибкий софт, чтоб их расшифровывать. Тут уже могут быть и нейросети.

Все верно. Только "одновременной активации большого числа нейронов" - это надо иметь доступ к миллиардам нейронов. Это интересно в преспективе, но, имхо, сейчас нужно работать с реальными целями и задачами.

 

[Kh1234]

Тогды Ой..

Все верно. Только "одновременной активации большого числа нейронов" - это надо иметь доступ к миллиардам нейронов. Это интересно в преспективе, но, имхо, сейчас нужно работать с реальными целями и задачами.

Тогды Ой..
Не уверен однако, что для этой конкретной задачи нужно именно миллиарды окучивать. Мозг ведь очень гибок, и хорошо адаптируется. Чего стоит только эксперимент с зрением, организованным, через тактильное воздействие на участок языка(!). Если организовать достаточный участок воздействия (ну, приличный по размеру, скажем, несколько миллионов бит одновременно на различные нейроны), то в принципе, можно даже не моделировать реальный сенсорный поток паттернов, скажем, зрительный, но организовать новый сенсорный поток, который, при наличии ОС, мы можем менять в зависимости от реакции кортекса. Думаю, мозг быстрее любого нашего софта приспособится к его форме, и начнет правильно воздействовать на наши синтетические сенсоры (эмулятор "моторной" области), сколь бы ограниченным по размерам они не были.
Смогла же обезьяна Мигеля Николелиса рулить рукой всего через 96 примитивных электродов! Если разрешение поднять на порядки, то это уже выглядит довольно реальным.
В общем, нужны реальные эксперименты. Пойду искать добровольцев. ;-)

 

[Sconosciuto]

Тогды Ой..
Не уверен однако, что для этой конкретной задачи нужно именно миллиарды окучивать. Мозг ведь очень гибок, и хорошо адаптируется. Чего стоит только эксперимент с зрением, организованным, через тактильное воздействие на участок языка(!). Если организовать достаточный участок воздействия (ну, приличный по размеру, скажем, несколько миллионов бит одновременно на различные нейроны), то в принципе, можно даже не моделировать реальный сенсорный поток паттернов, скажем, зрительный, но организовать новый сенсорный поток, который, при наличии ОС, мы можем менять в зависимости от реакции кортекса. Думаю, мозг быстрее любого нашего софта приспособится к его форме, и начнет правильно воздействовать на наши синтетические сенсоры (эмулятор "моторной" области), сколь бы ограниченным по размерам они не были.
Смогла же обезьяна Мигеля Николелиса рулить рукой всего через 96 примитивных электродов! Если разрешение поднять на порядки, то это уже выглядит довольно реальным.
В общем, нужны реальные эксперименты. Пойду искать добровольцев. ;-)

В том то и дело, что работая с искусственно смоделированым кортексом можно ограничиться намного меньшим количеством элементов.
А вот в реальном кортексе все чувства взаимосвязаны, имхо. И чтобы получить адекватный ответ визуальной области, необходимо контролировать и все остальные (слуховую, тактильную, моторную).

Я вот подумываю описать алгоритм, для начала, на основе принципа memory-prediction framework для одного игрока в деберц. (Когда-то слепил прогу харьковской разновидности Деберц (2х2), так и не довел до ума, хотя время коротать иногда позволяет - она с объектно-ориентированной структурой, подменить алгоритм для одного из игроков - например, партнера - не будет колоссальной задачей). И посмотреть, как учится, какие ошибки допускает и как исправляет их. Вот тут-то много "нейронов" не понадобится...

 

[Kh1234]

Лед не тронется, пока мы его не тронем, господа присяжные заседатели!

А вот в реальном кортексе все чувства взаимосвязаны, имхо. И чтобы получить адекватный ответ визуальной области, необходимо контролировать и все остальные (слуховую, тактильную, моторную).

Да, скорее всего, это так и есть. Только в случае с картинками, не сильно-то оправдываются предсказания не визуальных областей, и мозг это терпит. Наверняка, это можно как-то использовать.

Я вот подумываю описать алгоритм, для начала, на основе принципа memory-prediction framework для одного игрока в деберц. (Когда-то слепил прогу харьковской разновидности Деберц (2х2), так и не довел до ума, хотя время коротать иногда позволяет - она с объектно-ориентированной структурой, подменить алгоритм для одного из игроков - например, партнера - не будет колоссальной задачей). И посмотреть, как учится, какие ошибки допускает и как исправляет их. Вот тут-то много "нейронов" не понадобится...

А вот это уже очень и очень интересно! Готов предложить свою помощь в реализации данного проекта. (Не финансирую организацию НИИ, но с кодом помогу реально!). Очень уж тема интересует. Если такое сотрудничество интересно, то буду только рад. Свои координаты отправлю в ЛС.
Если кто-нить ещё имеет какие-то идеи, или пожелания в части практической реализации memory-prediction framework (MPF), милости просим, не стесняйтесь!