На главную

Назад в список проектов

Разработка методов и средств обработки и интеллектуального анализа изображений и потоковых данных, получаемых со множества стационарных и подвижных сенсоров, с использованием высокопроизводительных распределенных вычислений для задач мониторинга помещений и прилегающих территорий

Федеральная целевая программа «Исследования и разработки по приоритетным направлениям развития научно-технического комплекса России на 2014-2020 годы».
Номер соглашения 14.613.21.0088
Период выполнения: 24.11.2014 – 30.12.2016
Приоритетное направление: Информационно-телекоммуникационные системы
Критическая технология: Нано-, био-, информационные, когнитивные технологии

Ключевые слова: потоковая обработка, распознавание, подвижное техническое средство, сенсоры, комплексирование, детектирования, локализация, классификация, индексация, прослеживание, прогнозирование, структурирование, параллельная обработка

Этап № 1 (промежуточный)

В ходе выполнения проекта по Соглашению о предоставлении субсидии от 24 ноября 2014 г. № 14.607.21.0088 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» на этапе № 1 в период с 24 ноября 2015 г. по 31 декабря 2014 г. выполнялись следующие работы:

1. Аналитический обзор современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему, исследуемую в рамках ПНИ.

2. Проведение патентных исследований в соответствии ГОСТ Р 15.011-96.

3. Обзор и анализ использования различных сенсоров и малогабаритных вычислителей, в том числе анализ их использования в подвижных технических средствах.

4. Выбор направления исследований, в том числе:

   • постановка задачи высокопроизводительной обработки и анализа данных, поступающих от стационарных и мобильных сенсоров;
   • обоснование выбора высокопроизводительных аппаратных платформ и средств, средств разработки параллельных и последовательных программ, способов представления данных.

При этом были получены следующие результаты.

1. Получены необходимые теоретические знания для разработки на последующих этапах ПНИ алгоритмов обнаружения, сопровождения и распознавания объектов на изображениях, и также комплексирования данных и слияния информации.

2. Установлено, что на современные подвижные технические средства возможна инсталляция широкого спектра оборудования: сенсоров, датчиков и видеокамер, малогабаритных вычислителей.

3. Установлено, что высокопроизводительные системы обработки данных должны включать в себя несколько видов вычислителей, обеспечивающих крупногранулярный и мелкогранулярный типы параллелизма.

Комиссия Минобрнауки России признала обязательства по Соглашению на отчетном этапе выполненными надлежащим образом.

Этап № 2 (промежуточный)

В ходе выполнения проекта по Соглашению о предоставлении субсидии от 24 ноября 2014 г.  № 14.607.21.0088 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» на этапе № 2 в период с 01 января 2015 г. по 30 июня 2015 г. выполнялись следующие работы:

1. Разработка методов векторизации и организации массированных параллельных вычислений современных центральных и графических процессоров для оптимизации вычислительных затрат обработки оптической и локационной информации, включая данные от сенсоров, работающих вне светового диапазона.

2. Разработка принципов и методов организации и работы систем наблюдения, основанных на применении комплекса цифровых сенсоров с известной взаимной ориентацией.

3. Разработка методики использования подвижных сенсоров в задачах мониторинга зданий территорий и районов (в том числе промышленных), а также в задачах поиска и слежения за объектами.

4. Разработка общей архитектуры, выбор алгоритмического обеспечения и обоснование принципов функционирования создаваемого программного комплекса.

При этом были получены следующие результаты.

1. В ходе анализа типов данных, получаемых с сенсоров (в том числе работающих вне светового диапазона) установлено, что данные представимы в виде одномерных, двумерных и трехмерных массивов, и для их эффективной обработки применимы традиционные методики векторизации и организации массированных параллельных вычислений. Разработан метод векторизации и организации массированных параллельных вычислений, основанный на автоматической трансляции программ, реализованных на высокоуровневом языке QuickPSA (язык алгоритма параллельных подстановок), в программы на низкоуровневых языках (Verlog, C) для соответствующей аппаратной платформы (ПЛИС, GPU).
2. Разработаны принципы и методы организации и работы систем наблюдения, основанных на применении комплекса цифровых сенсоров с известной взаимной ориентацией. В основе методики лежит концепция сенсорных вычислительных узлов (СВУ), объединяющих в себе микрокомпьютер, микроконтроллер, а также различные сенсоры. Посредством сети Wi-Fi или Ethernet отдельные СВУ объединяются в систему. Также приведены уравнения, позволяющие вычислить трехмерные координаты объекта, наблюдаемого с двух сенсоров с известной взаимной ориентацией.
3. Разработана методика использования подвижных сенсоров в задачах мониторинга зданий территорий и районов, а также в задачах поиска и слежения за объектами. Методика включает в себя способы определения координат подвижных технических средств и объектов интереса, способы предварительной обработки эталонных снимков местности, а также принципы использования одновременно нескольких ПТС.
4. Разработана общая архитектура, выбрано алгоритмическое обеспечение, обоснованы принципы функционирования создаваемого программного комплекса. Архитектура комплекса – модульная, и включает в себя хранилище данных (ресурсы, данные для обработки и передачи), стратегии управления и менеджер каналов. Программная реализация будет основана на выполнении параллельно-конвейерной обработки.
5. Элементами новизны обладают оригинальный язык программирования QuickPSA, в котором реализована возможность создания программ на высокоуровневом языке с их последующим переводом в программы, выполняющиеся на специализированных вычислителях и способные эффективно обрабатывать данные с сенсоров, работающих в том числе вне видимого диапазона. Также инновационной и не имеющей близких аналогов является архитектура разрабатываемого комплекса, сочетающая в себе принципы облачных вычислений и конвейерно-параллельную обработку.
6. Результаты полностью соответствуют техническому заданию и плану-графику работ.
7. Всестороннее использование подвижных и мобильных сенсоров и видеокамер для обнаружения, сопровождения и локализации объектов интереса на фото- и видеоданных позволит вывести эффективность систем безопасности и промышленного контроля на новый уровень, превосходящий отечественные и зарубежные аналоги.

Комиссия Минобрнауки России признала обязательства по Соглашению на отчетном этапе выполненными надлежащим образом.

Этап № 3 (промежуточный)

В ходе выполнения проекта по Соглашению о предоставлении субсидии от 24 ноября 2014 г. № 14.607.21.0088 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» на этапе № 3 в период с 1 июля 2015 г. по 31 декабря 2015 г. выполнялись следующие работы:

1. Разработка алгоритмов обработки изображений и потоковых данных, включая данные сенсоров, работающих вне видимого диапазона, для задач автоматического формирования модельного описания новых объектов и распознавания образов.
2. Создание экспериментального образца (ЭО) программного комплекса обработки изображений и потоковых данных (ПК ОИПД), реализующего разработанные алгоритмы.
3. Разработка средств проверки работоспособности алгоритмов, тестовых баз данных объектов, наборов видео данных.
4. Разработка алгоритмов автоматического управления движением подвижных сенсоров и планирования траектории их передвижения в задачах мониторинга.
5. Разработка алгоритмов поиска и слежения за объектами на изображениях получаемых с помощью сенсоров.
6. Разработка алгоритмов позиционирования обнаруженных объектов в условной системе координат, построения трехмерных карт территории с применением комплекса цифровых подвижных сенсоров с известной взаимной ориентацией.

При этом были получены следующие результаты.

1. Разработаны алгоритмы обработки изображений и потоковых данных, включая данные сенсоров, работающих вне видимого диапазона, для задач автоматического формирования модельного описания новых объектов и распознавания образов, в том числе:

   • алгоритм предварительной обработки, в том числе фильтрации и подавления шумов, потоковых данных с оптических сенсоров разных частотных диапазонов, а также потоковых локационных данных;
   •  универсальный алгоритм комплексирования данных сенсоров видимого диапазона света с данными полученными от двумерных или трехмерных сенсоров иной природы (локационных, полученных в результате сканирования, а также инфракрасных), основанный на использовании карты диспаритетов для восстановления картины окружающего пространства;
   • алгоритм поиска и распознавания объектов и событий заданных классов в потоках двумерных и трехмерных данных с применением методов слияния информации, основанный на применении сверточных нейронных сетей;
   • алгоритм классификации объектов и событий заданных классов в двумерных и трехмерных данных с применением методов слияния информации;
   • алгоритм структурирования потоковых данных, позволяющий организовать хранение информации и поиск среди структурированных данных.
2. Создан экспериментальный образец программного комплекса обработки изображений и потоковых данных, реализующих разработанные алгоритмы в виде подключаемых модулей специальной обработки данных.
3. Разработаны средства проверки работоспособности алгоритмов, тестовых баз данных объектов, наборов видео данных, основанные на данных, полученных с сенсоров различных диапазонов.
4. Разработаны алгоритмы автоматического управления движением подвижных сенсоров и планирования траектории их передвижения в задачах мониторинга.
5. Разработаны алгоритмы поиска и слежения за объектами на изображениях, получаемых с помощью сенсоров.
6. Разработаны алгоритмы позиционирования обнаруженных объектов в условной системе координат, построения трехмерных карт территории с применением комплекса цифровых подвижных сенсоров с известной взаимной ориентацией.

Комиссия Минобрнауки России признала обязательства по Соглашению на отчетном этапе выполненными надлежащим образом.

Этап № 4 (промежуточный)

В ходе выполнения проекта по Соглашению о предоставлении субсидии от 24 ноября 2014 г. № 14.607.21.0088 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» на этапе № 4 в период с 1 января 2016 г. по 30 июня 2016 г. выполнялись следующие работы:

1. Разработка программной документации на ЭО ПК.
2. Разработка программы и методики экспериментальных исследований.
3. Проведение экспериментальных исследований ЭО ПК в соответствии с разработанной Программой и методиками.
4. Анализ полученных результатов и сравнение их с мировыми аналогами.

При этом были получены следующие результаты.

1. Разработана программная документация на ЭО ПК, в том числе:

   • спецификация;
   • описание применения в соответствии с ГОСТ 19.502-78;
   • руководство системного программиста в соответствии с ГОСТ 19.503-79;
   • руководство программиста в соответствии с ГОСТ 19.505-79.

2. Для программных компонентов ЭО ПК разработана программная документация, в том числе:

   • текст программы в соответствии с ГОСТ 19.401-78;
   • описание программы в соответствии с ГОСТ 19.402-78.
3. Выполнено описание логической и физической структуры тестовой базы данных объектов в соответствии с п. 5.5 РД 50-34.698-90.
4. Разработана программа и методики экспериментальных исследований.
5. Составлены акт и протоколы экспериментальных исследований.
6. Проведены анализ полученных результатов и сравнение их с мировыми аналогами.

Комиссия Минобрнауки России признала обязательства по Соглашению на отчетном этапе выполненными надлежащим образом.

Этап № 5 (заключительный)

В ходе выполнения проекта по Соглашению о предоставлении субсидии от 24 ноября 2014 г. № 14.607.21.0088 с Минобрнауки России в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» на этапе № 5 в период с 1 июля 2016 г. по 31 декабря 2016 г. выполнялись следующие работы:

1. Обобщение и оценка полученных результатов, в том числе:

   • обобщение результатов исследований;
   • сопоставление анализа научно-информационных источников и результатов теоретических и экспериментальных исследований;
   • анализ выполнения требований ТЗ на ПНИ.
2. Разработка технических требований и предложений по разработке, производству и эксплуатации продукции с учетом технологических возможностей и особенностей индустриального партнера — организации реального сектора экономики.
3. Разработка проекта технического задания на выполнение опытно-конструкторских работ по теме «Разработка SDK (Software Development Kit — программной библиотеки) универсальной обработки двумерных и трехмерных потоковых данных различной природы, для решения задач автоматического формирования модельного описания новых объектов и распознавания образов».
4. Разработка проекта технического задания на проведение ОКР по теме: «Разработка аппаратно-программного комплекса высокопроизводительной обработки и анализа данных с сенсоров, работающих в различных диапазонах и установленных, в том числе на мобильных малогабаритных летательных аппаратах».

При этом были получены следующие результаты.

1. Выполнено обобщение и оценка результатов, полученных за время выполнения ПНИ, в том числе:

   • обобщены результаты исследований;
   • сопоставлен анализ научно-информационных источников и результаты теоретических и экспериментальных исследований. Сравнение возможностей разработанного экспериментального образца программного комплекса с возможностями аналогичных систем видеонаблюдения показало главные преимущества ЭО ПК: модульная структура, использование ускорения на GPU, поддержка потоковой обработки данных с разделением потоков. Разработанные алгоритмы 3D-позиционирования объектов интереса в зоне наблюдения позволяют использовать подвижные монокулярные камеры, в отличие от других систем видеонаблюдения. Достигнута точность распознавания целевых объектов на изображениях, равная 93-95%.;
   • выполнен анализ выполнения требований Технического задания на ПНИ. Все требования Технического задания на ПНИ (на каждый из пяти этапов ПНИ) выполнены в полной мере: в части Технических требований, в плане состава разработанной документации, в части регистрации результатов интеллектуальной деятельности.
2. Разработаны технические требования и предложения по разработке, производству и эксплуатации продукции с учетом технологических возможностей и особенностей индустриального партнера – организации реального сектора экономики. Разработанные технические требования вполне соответствуют возможностям и особенностям Индустриального партнера (ООО «Криотех»), что позволяет перейти к реализации продукции.
3. Разработан проект технического задания на выполнение опытно-конструкторских работ по теме «Разработка SDK (Software Development Kit – программной библиотеки) универсальной обработки двумерных и трехмерных потоковых данных различной природы, для решения задач автоматического формирования модельного описания новых объектов и распознавания образов». Результаты ПНИ позволяют приступить к началу выполнения дальнейших ОКР, направленных на разработку программной библиотеки алгоритмов, предназначенных для формирования дескрипторов объектов, найденных в потоках 2D- и 3D-данных, а также для их распознавания.
4. Разработан проект технического задания на проведение ОКР по теме: «Разработка аппаратно-программного комплекса высокопроизводительной обработки и анализа данных с сенсоров, работающих в различных диапазонах и установленных, в том числе на мобильных малогабаритных летательных аппаратах». Результаты ПНИ позволяют приступить к началу выполнения дальнейших ОКР, направленных на разработку аппаратно-программного комплекса, позволяющего в параллельном режиме обрабатывать и анализировать данные с различных сенсоров (причем как со стационарных, так и с подвижных).

Назад в список проектов