Разделение мультиэкспонированных изображений

[Sconosciuto]

Разделение мультиэкспонированных изображений

Кто-нибудь сталкивался с подобной задачей?

Сегодня, обсуждая вопрос формирования изображения в цифрокомпактах, вспомнил одну задачу, которую в своё время пытался решить...

Преамбула.
Самое начало XXI века.
Знакомый ездил к родителям в другой город. Зарядил в свой Nikon FM-2 пленку, отснял, не проявлял (пленка - любительская, съёмка - также носила абсолютно любительский характер)... Через несколько дней скоропостижно умер отец. На этой плёнке были последние кадры, на которых отец еще был живым (и эти кадры были весьма ценные, эмоционально значимые, так как поездки к родителям у знакомого случались весьма редко).
Он проявил пленку. И с ужасом обнаружил, что эту пленку он экпонировал дважды. На ней один на один были наложены абсолютно беспонтовые снимки домашнего интерьера, сада, кота и снимки родителей.
Он обратился ко мне с вопросом можно ли такие изображения разделить.

Амбула.
Вопрос переэкспонирования на пленке не критичен, как Вы понимаете. Картинки печатались без проблем, правильно эспонированные (это не цифра). Вопрос был в логике разделения. После сканирования отпечатков получались JPG-файлы. Вопросы потерь информации не актуальны. Т.е. получался набор (таблица) пикселей с R-G-B. Каждый такой пиксель состоял из:
R=R1+R2;
G=G1+G2;
B=B1+B2.
Где индекс 1 - относится к первой экспозиции, 2 - ко второй.
При этом имеет место быть сложение не арифметическое, а нелинейное - согласно характеристической кривой пленки, которая доступна и известна.
Вопрос "убить ли цвет?" и работать с ЧБ - рассматривался, но был отклонен, т.к. любая потеря информации приводила к усложнению задачи.

ХарьковФорума тогда ещё не было (или он мне был неизвестен).
Я обратился за советом на другие форумы, где общались в те времена в основном программеры (они мне и были нужны). Большинство программеров входило в ступпор. Только один мне ответил:
- Серёга. Понимаешь какое дело. Если ты приготовил коктейль водка + мартини, то ты можешь его разделить на сотавляющие. Но если ты его взболтал... До свидания... В твоей задаче коктейль взболтали...

Красивая аналогия. Но тем не менее, я с ней не согласился: человеческое сознание без труда разделяло мультиэкспонированные картинки. Я мог видеть старичка в домашней одежде, а переключив внимание мог видеть кота, сидящего у холодильника. Т.е. задача явно имела решение...

Я убил на эту задачу месяц. Оттачил пользование библиотекой IJL (Intel JPEG Library). Побочным эффектом всей этой ерунды стало, что я нашел способ имитации карандашного рисунка с любого JPG-изображения... Но это не сильно приближало меня к цели.

Главный вопрос - логика принятия решения, оставался нерешённым. Писать нейронную сеть, обучать её - это единственный выход, который я видел на тот момент... На отдельно взятой машине на расчет одной картинки уходил бы год... Взять в аренду сеть компов, еще и сетевые вещи программить... Меня на это не хватило. Тем более, что найди я это решение, я не представлял, кому ещё оно может принести пользу...


А теперь суть вопроса.
Кто-нибудь сталкивался в сети с математическими алгоритмами решения хотя бы отдалённо похожих задач?

Интересует именно задача восстановления двух полноценных кадров из двойной экспозиции, а не "зарисовывание лишнего" в графическом редакторе!

 

[Oleg]

Осталось только искусственный интеллект создать он разделит.

Водку и мартини можно разделить, это разные вещества. А два изображения в одном нет, это нереально, это одинаковый свет и одинаковая хим.реакция это один фотокадр. Разделить в кадре дедушку сюда, а трактор сюда - это научная фантастика, либо долгая монотонная работа в фотошопе руками, если это хоть как то позволяет кадр.

 

[SergeyStudio]

Это по моему схоже с попытками изобретения вечного двигателя, могут быть интересные идеи, но реальное решение скорее всего так и не выйдет. Я не совсем понимаю как можно 2 изображения разделить, если они уже наложены друг на друга. Хотя может и возможно, но кто в это будет вкладывать средства и время, реально это может понадобится очень ограниченному числу фотографов.
Математик с меня никакой

 

[Sconosciuto]

Ну как раз ИИ - это и есть моя специфика. (Не по работе, по образованию)

Сознание (мозг) то разделяет! Это и есть необходимое и достаточное доказательство того, что задача имеет решение!

Сейчас ЭВМ уже достигли того уровня, когда нейронную сеть с 2 160 000 входами и столькими же выходами можно запрограммить на одной машине. Тут больше вопрос к кодеру... и структуре сети - возможно, она не должна быть однородной. Возможно, в ней должна быть структура, имитирующая структуру головного мозга. Этой информации за 6-7 лет добавилось огромное количество.
А может и напротив: достаточно однородной - кода меньше будет...

Вопрос то праздный, на самом деле. Я думаю, человек, который меня когда-то об этом просил, уже и не вспоминает об этом. Мне самому интересно...

 

[mocrosoft]

А трудно ли отснять отдельно "мешающие" снимки из той же точки и примерно в той же обстановке, а потом - насколько это возможно точно наложить, и вычесть из "мультиэкспо"?
Идеальной картинки, понятно, не получится (кот останется, гад!), но поигравшись кривыми и настройками прочими можно бы попытаться получить максимально "чистую" картинку.

 

[Sconosciuto]

Холодильник стоял под навесом на веранде в саду... Листики на деревьях в том же положении не окажутся...
Но идея оригинальная. Я о ней как-то не подумал.

Маленькая и примитивная иллюстрация. Три слоя, имитирующие три экспозиции... Мозг вычисляет и форму и цвет без вопросов...

 

[mocrosoft]

Мозг оперирует образами, а не пикселами и уровнями R-G-B
В этом отношении даже примитивный колорадский жук легко переплюнет самую навороченную "нейронную сеть"

 

[Sconosciuto]

Здесь зарыта одна из проблем с которой я столкнулся. Когда известно, что экспозиций три - всё казалось бы на своих местах - красный прямоугольник, синий квадрат и зелёный круг. Но ведь тот же результат получился бы, если круг - одна экспозиция, а прямоугольник с квадратом - вторая...

На реальных картинках таких дилем не бывает. В них мозг безошибочно определяет в какой экспозиции сидит кот! А как это объяснить (обучить) НС?..

 

[Sconosciuto]

Мозг оперирует образами, а не пикселами и уровнями R-G-B
В этом отношении даже примитивный колорадский жук легко переплюнет самую навороченную "нейронную сеть"

Эт я знаю... Есть еще эмоции, гормоны и прочий шум...

 

[Sconosciuto]

Кста. Сейчас уже колорадский жук не переплюнет. Сейчас рукотворные НС достигли уровня пчелы

 

[Sconosciuto]

Тема, в силу своей исключительно неприкладной ценности, бесполезна, но легко потянет на докторскую... Знаю, что в нескольких харьковских ВУЗах разработки ИИ ведутся.
В ХИИТе, например, кафедра ВТ (профессор Филиппенко) - только у них опора на аппаратное обеспечение НС, с программированием у них слабовато...

 

[mocrosoft]

...На реальных картинках таких дилем не бывает. В них мозг безошибочно определяет в какой экспозиции сидит кот! А как это объяснить (обучить) НС?..

...На реальных картинках таких дилем не бывает. В них мозг безошибочно определяет в какой экспозиции сидит кот! А как это объяснить (обучить) НС?..

Ха, а всегда ли?
Вот, для затравки - Посилання видалено: попробуйте поразделять
Лично мне часто требуются весьма значительные усилия, причем иногда - тщетные, когда я пытаюсь "разделить" подобные картинки, где Художник ставил целью с помошью мультиэкспозиции создать единый образ.

 

[Alien_Serg]

Думаеться мне, что поставленная задача в полном объеме не выполнима в приципе. Человеческий моск с поставленной задачей частично справляеться поскольку процесс распознавания образов в нем(мозгу тоесть)базируеться в первую очередь на выделении границ объекта. Сответсвенно если в некоторой области на одном снимке присутствуют грнаницы, а на другом их нет, то мы легко распознаем объект с первого снимка. А вот если на обоих снимках на одну область накладываються объекты изобилующие резкими границами, то в этом случае мы уже ничего не разберем. При этом нужно отметить, что текстуру/цвет объектов при наложении мы уже востановить не в силах абсолютно.

 

[АК]

столкнулся с двойной экспозицией, а может и тройной буквально неделидве назад - последние кадры на пленке продублированы причем съехав на полкадра

мое имхо
вычесть из "двойного" изображения одно (ненужное)
Mocrosoft судя по всему предлагает то же

логика
каждый пиксел (точка-зерно) на пленке был засвечен дважды
причем понятно что при двойной засветке яркостные характеристики каждой точки изображения были разными(скорее всего если картинки разные)
значит получаем, что для каждой точки (зерна) степень его экспонирования (назовем Esum) равна Е1+Е2
где Е1 не равно Е2

что важно

реакция пленочного зерна на свет (насколько я помню) не линейна
поэтому дважды засвеченный участок с 50% серого даст на пленке не 0% серого, а например 25-30%
с пленкой должно происходить насыщение, причем оно должно происходить логарифмически или экспоненциально (как незнаю. у меня с этим не оч хорош..увы..экономист я

значит - зная итоговую Esum и зная Е2, плюс предполагая функцию зависимости (ее можно просчитать поставив ряд экспериментов, не так уж это и сложно - на пленке той же марки фотографировать миру или цветастые/серые формы с наложением и определить закон.. вопрос нескольких дней)

мы можем решить уравнение и определить с определенной долей погрешностиЕ1

в чем я вижу подводные камни
1. чисто теоретически это все возможно
для отсканированной пленки с разрешением 10-20 мп (чем больше тем лучше) нужен программный алгоритм..его нужно писать
2. проще если пленка чб - есть только оттенки серого и все строится только по шкале экспозиций одного отдельно взятого зерна эмульсии
если пленка цветная, то нужно думать как складываются и влияют на экспонированность засветки разными цветами
тут нужен еще один алгоритм
какой-затрудняюсь сказать

и PS
в качестве поля для творчества могу предоставить свои несколько кадров достаточно свежей пленки с двойным наложением

 

[АК]

хотя каждый может себе такое поле для творчества соорудить сам))


Сергей (Sconosciuto) такой вопрос
представим, что мы берем жпег и представляем его в виде таблицы Эксель с Н строк и М колонок
в каждой ячейке-степень экспонированности отдельного пикселя в процентах от максимума или минимума.. надо решить
затем берем вторую таблицу Эксель - "лишний кадр"

имеем грубо говоря 2 матрицы одинакового размере

из одной матрицы вычитаем другую
причем вычитаем не линейно, а по какому-то закону (условно говоря 80% экспозиции = 50%+50%)

получаем окончательную матрицу с "остатком"

вопрос задачи
как изображение жпег перегнать в простую таблицу
яркостные характеристики для каждой отдельной точки мы померять можем и в ФШ
но как это сделать автоматически?

я увы опять таки не знаю

 

[Sconosciuto]

Ха, а всегда ли?
...
Лично мне часто требуются весьма значительные усилия, причем иногда - тщетные, когда я пытаюсь "разделить" подобные картинки, где Художник ставил целью с помошью мультиэкспозиции создать единый образ.

Конечно, не всегда. Но на исследуемых мной непреднамеренных мультиэкспозициях разделять было не сложно.

Тут вопрос другой. У этой авторки дублей может быть сотня. Она выбирает именно тот, где разделение наиболее сложно - это добавляет художественной ценности. В моём случае такой задачи не стояло.

Более того, меня бы устроил и полуавтоматический режим - когда программа определяет и выделяет объекты (набор пикселей с предполагаемыми RGB-характеристиками), а человек определяет, куда его (этот объект) отнести...

Думаеться мне, что поставленная задача в полном объеме не выполнима в приципе. Человеческий моск с поставленной задачей частично справляеться поскольку процесс распознавания образов в нем(мозгу тоесть)базируеться в первую очередь на выделении границ объекта.

Совершенно верно! Именно в этом месте я и дошёл до "карандашного" рисунка - это и были границы объектов.

Дальше пойти я не смог...

 

[mocrosoft]

Антон, тут ведь главная проблема будет как раз в том, где взять это самое "ненужное" изображение, которое хотим вычитать? Его ж само надо сначала как-то вычленить из общей каши!
Другое дело, если есть возможность просто еще раз снять "мешающее" изображение в условиях, идентичных тем, что были в момент, когда была сделана "мешающая" мультиэкспозиция, но технически это сделать будет достаточно трудно.

 

[АК]

Антон, тут ведь главная проблема будет как раз в том, где взять это самое "ненужное" изображение, которое хотим вычитать? Его ж само надо сначала как-то вычленить из общей каши!
Другое дело, если есть возможность просто еще раз снять "мешающее" изображение в условиях, идентичных тем, что были в момент, когда была сделана "мешающая" мультиэкспозиция, но технически это сделать будет достаточно трудно.

я думаю что "снять" его как раз и можно
например у меня из "наложившихся" кадров отчетливо можно удалить ветки деревьев
хотя они собаки куда посложнее чем домашний интерьер
и все таки мне кажется это на порядки проще для ч/б пленки

 

[АК]

для цветного изображения в моей теории матрица должан быть трехмерная ее "глубина" - это как раз R G B
хотя об этом уже говорилось)

но эти три ячейки между собой таки как-то должны быть связаны...вот как

ЗЫ
а если произвести сканирование пленки (кадра) в разрезе тех цветов, на которые делится фотоэмульсия

отдельно синий, отдельно красный, отдельно зеленый
только как..
почему то в голову приходит цветной светофильтр...

печатать картинку с пленки 3 раза с красный, синим, зеленым фильром, затем отпечатки сканировать

но потери информации будут
и большие
ибо программное деление цвета сканером может ничего не дать

с 3 таблицами двухмерными работать может проще будет?

 

[Sconosciuto]

мое имхо
вычесть из "двойного" изображения одно (ненужное)
Mocrosoft судя по всему предлагает то же

Это в моём случае не возможно.

каждый пиксел (точка-зерно) на пленке был засвечен дважды
причем понятно что при двойной засветке яркостные характеристики каждой точки изображения были разными(скорее всего если картинки разные)
значит получаем, что для каждой точки (зерна) степень его экспонирования (назовем Esum) равна Е1+Е2
где Е1 не равно Е2

что важно

реакция пленочного зерна на свет (насколько я помню) не линейна
поэтому дважды засвеченный участок с 50% серого даст на пленке не 0% серого, а например 25-30%
с пленкой должно происходить насыщение, причем оно должно происходить логарифмически или экспоненциально (как незнаю. у меня с этим не оч хорош..увы..экономист я

Именно это я и имел в виду, говоря о характеристической кривой пленки.
Пиксель, достигнув насыщения по одному из цветов (R/G/B) утрачивает возможность достоверного восстановления цвета. Но на пленке это не важно: можно сделать две экспозиции на фотобумагу и все будет восстановлено!

То, что экономист - это скорее плюс. Важен взгляд со стороны, другой ракурс. Ибо я свой ракурс исчерпал!

в чем я вижу подводные камни
1. чисто теоретически это все возможно
для отсканированной пленки с разрешением 10-20 мп (чем больше тем лучше) нужен программный алгоритм..его нужно писать
2. проще если пленка чб - есть только оттенки серого и все строится только по шкале экспозиций одного отдельно взятого зерна эмульсии
если пленка цветная, то нужно думать как складываются и влияют на экспонированность засветки разными цветами
тут нужен еще один алгоритм
какой-затрудняюсь сказать

Ч/б - не проще. Сложнее на много. Убить цвет в цветной картинке - не проблема. Но это только усложняет задачу. Причем колоссально. Пробывал.

в качестве поля для творчества могу предоставить свои несколько кадров достаточно свежей пленки с двойным наложением

Спасибо, но мне хватило . Теперь, имея слои в ФШ, имитировать мультиэкспозицию для обучения нейронной сети не составляет труда . Это тогда было проблемой.