Глаза как у орла

Первые устройства видеонаблюдения появились в середине двадцатого века и с тех пор непрерывно улучшаются. И предел их совершенства ещё не достигнут.       

Человеческий фактор

 Мы привыкли к тому, что системы видеонаблюдения пассивны – они выдают лишь картинку, а анализировать ее и делать выводы должен оператор или должностное лицо, расследующее последствия какого-либо инцидента. Но сидеть перед монитором долгими часами – работа монотонная, при этом легко можно пропустить самый ответственный момент. То есть, несмотря на применение прогрессивных технологий, эффективность и надежность всей системы по-прежнему зависит от человеческого фактора.

Но на самом деле людям требуется не изображение, а анализ события, чтобы быстро принять меры. Поэтому в последние годы произошел переход к новому этапу жизни систем видеонаблюдения - из молчаливых свидетелей они стали превращаться в более самостоятельные и интеллектуальные устройства, приобретая способности видеоаналитики.

Этим занимается ученый из наукограда Игорь Клемышев. Недавно он подал заявку на конкурс Фонда содействия инновациям с проектом «Разработка интеллектуальной системы многоракурсного нейросетевого анализа и контроля ручного труда». По программе «Акселерация-Искусственный интеллект» проект заработал грант на обучение команды – 800 тыс. руб.

С разных ракурсов

Проект молодого обнинца направлен на создание интеллектуальной системы видеонаблюдения, анализирующей действия, которые производит человек руками.

Система может обнаруживать нежелательные или запрещенные действия и воспринимать сообщения, переданные жестами. Она контролирует процессы, где важно соблюдать последовательность действий, скорость выполнения, точность, ориентацию предметов и рук. Для безошибочной трактовки действий ведется одновременное наблюдение с разных ракурсов - видеоданные передаются с нескольких точек обзора вокруг рабочего места. При этом интеллектуальная система накапливает сведения с помощью алгоритмов машинного обучения и нейросетей.

 В сфере видеоаналитики поставленная задача является серьезной из-за сложности получения точных и полных данных. Но и сам процесс ручного труда, привычный для людей, для технического зрения также очень непрост. Во-первых, это сложность поз и расположения конечностей, которые при наблюдении с одного ракурса постоянно перекрывают сами себя и друг друга. Во-вторых, это малая амплитуда и высокая скорость движений. В-третьих, выполнение и последовательность действий может значительно отличаться разными вариантами.

Разрабатывемый продукт является программно-аппаратным прототипом интеллектуальной системы. Внедрение пилотных образцов планируется на конец 2022 - начало 2023 года. 

 Кто перейдёт в цифру?

Сегодня актуальной для страны является программа перехода к цифровой экономике. Поэтому, по мнению автора проекта, создаваемое решение будет востребованным прежде всего на производствах, где выполняется контроль на линии ручной сборки. Кроме того, такая система нужна для обучения. В дальнейшем она пригодится при роботизации процессов, которые сегодня пока слишком сложны для автоматов.

Интеллектуальная видеосистема потребуется предприятиям торговли и ювелирным производствам, где необходимо отслеживать факты краж, подмены и иных незаконных действий, в том числе в смотровых комнатах.

Образовательные учреждения тоже смогут использовать систему, скажем, для контроля постановки рук при обучении игре на музыкальных инструментах.

Потребителями станут также сегменты, связанные с созданием безбарьерной среды для людей с ограниченными возможностями, например, при создании системы распознавания жестов глухонемых.

У команды уже имеются предварительные договоренности с рядом крупных фирм.

 У нас нет конкурентов

- Наблюдение с нескольких точек обзора позволяет непрерывно получать информации о положении и движении рук в трехмерном пространстве, - говорит Илья КЛЕМЫШЕВ. - Однако при намеренной или случайной смене ракурса такая система не может продолжать работу. Новизна нашего решения заключается в том, что система может автоматически калиброваться в процессе наблюдения. 

Мы переводим действия человека в многомерное пространство векторов и используем методы машинного обучения. Одним из таких методов является применение трансформера - современной нейросетевой архитектуры.

 Система строится на одноплатном компьютере с графическим ускорителем, что делает его автономным, компактным устройством, легким в эксплуатации, не зависящим от наличия интернета и обеспечивающим конфиденциальность личных данных, при этом поддерживая работу в режиме реального времени.

У нас нет прямых конкурентов ни на международном, ни на российском рынке. Немногочисленные аналоги, доступные сейчас на рынке, уступают по многим параметрам. В частности, только наша система может использовать данные с разных ракурсов, а для повышения точности позволяет добавлять до 5 источников видеосигнала, в том числе стереокамеры.

У нас дальность работы составляет 1,6 м за счет каскадного поиска рук на видеоизображениях. У других систем это расстояние значительно меньше, около 60 см.

В нашей системе анализ действий проводится в многомерном пространстве с применением глубоких нейросетей, в отличие от простого алгоритмического подхода.

Мы уже собрали сильную команду профессионалов - выпускников МГУ, МФТИ и МИФИ. Имеются договоренности с Отделением интеллектуальных кибернетических систем НИЯУ МИФИ о привлечении профессорско-преподавательского состава, аспирантов и студентов в качестве соисполнителей.

Сейчас идет проработка методики распознавания рук, моделирование многоракурсной системы, написание специализированного ПО, и уже готовится видеоролик с демонстрацией возможностей системы.