А де наші АйТі, коли вони так потрібні?

[Roma2911]

опыт.
PC CPU через FFMPEG(не пакет, а оптимизированые исходники avcodec + итд), 40 мс это лучший результат. Можно искать компромис - качество-скорость. Но лучше пускать аналог и не тратить время на поиски компромиса.
Все AI упираются в скорость передачи данных на/из GPU. Там огромные потери, не говоря уже о скорости обработки. Можно только если напрямую с камеры кидать на PCI-Express. Но опятьже - это только PC, далеко не все камеры.
AI скорей нужен для детекции. Трекинг важней. Грамотный трекинг не нуждается в AI, но там фильтр Калмана (чтобы предсказать), Pixelflow - нужен GPU и жрёт время. KeyPoint pipeline - если найти GPU-реализацию - возможно было бы наиболее перспективным.
Но так, чтобы можно было ожидать рабочий вариант, это должен быть не слабые PC+GPU на борту. С хорошими показателями.

gpu из-за потребления не подойдет для дрона скорее всего.
Мне кажется тут нужен dsp контроллер использовать для расчета всего что связано с трекингом и фильтрацией(наподобие того которые установлен в умных очках).

Интересная задача конечно

 

[Roma2911]

большинство наработок - opensource. (понятные, но медленные, прожорливые)
Воpможно, если искать среди платных решений, то там уже есть оптимизированные.
разработчики FFMPEG в частном порядке брали (в 10-х годах) 70 уе/час.

Другими словами все можно найти, оптимизировать разработать) Нужна воля государства а люди которые это могут в нашей стране есть!

 

[JAZZ-Clone]

От помех это спасет?

без GPU мне кажется это всё бессмысленно.
Можно постараться скомпоновать всё на GPU, чтобы добиться минимальной задержки.
Если подключить камеру на PCI-Exporess(т.е. напрямую к GPU) где реализовать avcodec(на GPU) чтобы тот восстаналивал изменения изображения по P-фреймам, и тут-же keypoint-pipeline на GPU для трекинга, где за ним сразу и фильтр Калмана(GPU) с PI-контроллером... Возможно тогда бы, теоретически, GPU возвращал бы сразу минимум - кправляющие сигналы на моторы, и была бы реализована минимальная задержка.
Да - целеуказание должно быть вручную. Но трекинг и сопровождение бы удалось свести на алгоритмы.

 

[JAZZ-Clone]

* Connect CAM to PCI-Exporess, Streaming frames to traking pipeline. Grayscale.
* GPU-version of avcodec. Контролировать качество плотностью P-фреймов. Лучше автоматически.
* AKAZE/BRISK key-point detector + ORB-descriptors + KeyPoint-matching реализовать на GPU
* Extended Kalmann Filter - реализовать на GPU
* PI-controller реализовать на GPU.

5 отделов по 2..3 спеца. Минимум месяц-два для получения элементарного варианта для PC.
Еще 1..2 месяца для конвертации решения на устройство. Каждый будет вовлечен.
Далее уже оптимизация по ходу.
Т.е. минимум 5 * 2 * (1+1) = 20 до 5 * 3 * (2 + 2) = 60 человеко-месяцев.
Это без учета менеджмента.

 

[Roma2911]

без GPU мне кажется это всё бессмысленно.
Можно постараться скомпоновать всё на GPU, чтобы добиться минимальной задержки.
Если подключить камеру на PCI-Exporess(т.е. напрямую к GPU) где реализовать avcodec(на GPU) чтобы тот восстаналивал изменения изображения по P-фреймам, и тут-же keypoint-pipeline на GPU для трекинга, где за ним сразу и фильтр Калмана(GPU) с PI-контроллером... Возможно тогда бы, теоретически, GPU возвращал бы сразу минимум - кправляющие сигналы на моторы, и была бы реализована минимальная задержка.
Да - целеуказание должно быть вручную. Но трекинг и сопровождение бы удалось свести на алгоритмы.

Нужно компактно и с низким энергопотреблением. По хорошему тут нужно ТЗ. А дальше под него уже решение придумывать

 

[JAZZ-Clone]

каждый из сотрудников должен быть в теме, иметь опыт работы как для PC так и с устройством. Это спецы, ориентировочно 20..30 у.е. в час, как для Украины.
т.е. 3200..4800 у.е/мес
т.е. минимум 20*3200 = 64к до 60*4800=288к

 

[Гість 3253]

Признаюсь, не совсем понимаю что делают тактические дроны. Если у них есть задача поразить что-то, но отваливается управление с джойстика из-за помех, то почему бы не использовать компьютерное зрение(успели сдетектировать цель или оператор выделил ее, включаем алгоритм трекинга, дальше преобразуем локальные координаты прямоугольника в кадре в сигналы управления и бабах) . Если такой задачи нет…тогда ничего не дает.



От помех это спасет?

Тактичний дрон це камікадзе з часом у повітрі біля 20 хвилин і білетом в один кінець.
Засунути у нього АІ з таргет трекінгом - робить його дорожчим, важкішим і... Так, може протистояти завадам.
Ретрансляція сама по собі їм не протистоїть, але, можна працювати над частотами і протоколом зв'язку.

Проблема камікадзе в тому, що і без завад в 5м від землі втрачається сигнал, це видно по багатьох відео.

 

[nvr4d]

Засунути у нього АІ з таргет трекінгом - робить його дорожчим, важкішим і... Так, може протистояти завадам.

У скільки ти оцінюєш життя оператора, який зможе тицьнути в ціль, вимкнути пульт і з'їбати, поки не прилетіло?

 

[Гість 3253]

У скільки ти оцінюєш життя оператора, який зможе тицьнути в ціль, вимкнути пульт і з'їбати, поки не прилетіло?

Це не до мене. Оцінює життя - міноборони.
Я тільки знаю, що юніт за цей функціонал стане важкішим і дорожчим.
Хто це буде робити? Практика показує, що, поки - ніхто.

 

[Roma2911]

Тактичний дрон це камікадзе з часом у повітрі біля 20 хвилин і білетом в один кінець.

Спасибо за пояснение. Вот уже появилось первое требование:
Автономность : не менее 20 минут при работе всего функционала дрона одновременно

Засунути у нього АІ з таргет трекінгом - робить його дорожчим, важкішим і...

Тяжелее - не факт. Все зависит от решения на чем и как будет реализован дрон, трекинг и т.д

Цена - разработка будет дороже. А конечное, массовое изделие может и устроить по цене.
Нужно определить цену, которая ок.
А уже в рамках этой цены балансировать с решениями в изделии.

Так, може протистояти завадам.
Ретрансляція сама по собі їм не протистоїть, але, можна працювати над частотами і протоколом зв'язку.

Проблема камікадзе в тому, що і без завад в 5м від землі втрачається сигнал, це видно по багатьох відео.

Теоретически, трекинг может помочь решить проблему 5 метров.

А совместно с ретрансляторами выполнение задач станет еще более гибче

 

[Гість 3253]

OpenVINO

⚠ Тільки зареєстровані користувачі бачать весь контент та не бачать рекламу.

Може в п'ятій вони щось з DMA зробили... Бо четвірка дуже дивно поводиться.
Якщо виводьна її монітор - латенсі адекватна (все одно велика, але не бісить), а якщо використовувати маліну як відеосервер і тягти з неї по вафлє - пиздець нахуй. Затримка просто дика нахуй.
При великих змінах картинки - взагалі реально 3fps.
Походу, проблема в кодеках, дуже довго пакує.

 

[fedya_valki]

і без завад в 5м від землі втрачається сигнал, це видно по багатьох відео.

Да, екран засипае "снiгом" ще до ураження танка, це видно на багатьох вiдео

 

[fedya_valki]

по вафлє - пиздець нахуй. Затримка просто дика нахуй.

Вафля дае затримку навiть в бездротових навушниках до металодетекторiв, що вже казати за дрони?

 

[nvr4d]

При великих змінах картинки - взагалі реально 3fps.
Походу, проблема в кодеках, дуже довго пакує.

Це не проблема, це особливість роботи. Ефективний кодек дивиться одразу на багато кадрів, щоб максимально зменшити кількість і-фреймів. А поки він дивиться, ти їх не побачиш.
І от тому стандартні рішення з цифровим відео мало підходять для дронів. Потрібні спеціалізовані кодеки, а де їх взяти в недорогому залізі.

 

[Гість 3253]

Це не проблема, це особливість роботи. Ефективний кодек дивиться одразу на багато кадрів, щоб максимально зменшити кількість і-фреймів. А поки він дивиться, ти їх не побачиш.
І от тому стандартні рішення з цифровим відео мало підходять для дронів. Потрібні спеціалізовані кодеки, а де їх взяти в недорогому залізі.

Тоді не так треба. Треба дубль виходу - аналоговий сигнал окремим виходом, DAC - окремим.
Вимальовується окремий інтерфейс.
Якщо камер багато - думаю, якийсь виробник легко закастомить як скажеш.
Буде і цифра і PAL. Далі - за моїм принципом. В PAL підмішувати апертуру і службову інфу з проца. Лагів бути не повинно.

 

[RuslanMG]

 

[tifo]

і чо?

 

[RuslanMG]

і чо?

І всьо

 

[tifo]

упоротий?

 

[RuslanMG]

упоротий?

Можливо, але не хочу прямим текстом описувати можливий варіант захисту як мінімум цивільних вночі.