Примеры выполненных проектов

Прототип тренажера для тренировки и оценки навыков осмотрщиков железнодорожных вагонов на основе цифровых реальностей (совместно с вагонным хозяйством октябрьской железной дороги)

Модели:

3D модели фрагмента ландшафта, ж/д путей, полувагона, инструментов — молотка, мелка;
неисправности — буксы и колеса, уширение стены, отсутствие люка, пробой стены и др.;
звуки исправного и дефектного колеса и буксы при остукивании.

Интерфейс — области видимости осмотрщика, задания неисправностей, мини-карты, просмотра сцены инструктором.

Модуль базовый 12-позиционного осмотра вагона осмотрщиком и его оценки инструктором на основе виртуальной реальности (обход позиций с визуальным осмотром, остукивание колес и букс молотком, выделение красным цветом неисправных элементов).

Модуль жестового интерфейса виртуальной реальности.

Модуль работы с реальным молотком с закрепленным на нем трекером.

Модуль моделирования обслуживания вагона на рабочем месте на основе дополненной реальности.

Модуль сетевой поддержки совместной работы двух осмотрщиков и инструктора.

Реализация на основе HTC Vive, HTC Vive Tracker, Oculus Quest, Unity, SteamVR.

Свидетельства на регистрацию программ № 2021616517, 2021617430, 2021617426, 2021617455

Видео:

Исследование и разработка средств виртуальной реальности на основе отечественных ВК «Эльбрус-1С+» и «Эльбрус-8С» применительно к созданию прикладных систем и подготовки кадров

Для ВК «Эльбрус» для разработки приложений виртуальной реальности:

проверены ОС «Эльбрус», «Астра Линукс» и «Альт Линукс» с выбором последней;
подобраны и проверены видеокарты, интерфейс USB 3.0, а также драйверы и свободное ПО, что позволо подключить к нему и запустить шлем HTC Vive с контроллерами и базовыми станциями;
установлен графический движок OpenSceneGraph, проверенный на тестовой интерактивной 3D модели, которую можно было вращать во всех направлениях, приближать, отдалять и перемещать;
реализован фрагмент прототипа тренажера для тренировки навыков осмотрщиков железнодорожных вагонов, разработанного на платформе Unity, и его экспериментальная проверка на OSG, которая показала возможность переноса в OSG 3D моделей и сцен, работа с которыми может быть проведена как на мониторе персонального компьютера, так и в шлеме HTC Vive с уровнем интерактивности 6DOF;
разработан на основе OmegaLand от Omega Simulation Yokogawa прототипа промышленного приложения ВР на основе движка Unity 3D, экспериментальная проверка которого показала возможность работы с ним и приемлемую производительность по частоте кадров, в зависимости от режима использования, в среднем от 30 до 50 кадров в секунду;
экспериментальная проверка разработанных приложений показала возможность реализации средств виртуальной реальности на вычислительных комплексах на базе процессора «Эльбрус» и требует дальнейшего анализа и реализации опытных образцов.

Культура, искусство

История крепости Ям Государственное учреждение культуры Ленинградской области «Музейное агентство» Программа «Сохранение и использование культурного наследия в России»

1) Мультимедийные информационные системы «Личности в истории крепости Ям», «Крепости северо-запада России» и «Памятники Яма-Ямбурга-Кингисеппа».

2) Интерактивные 3D реконструкции крепостей Яма-Ямбурга.

Четырехбашенная крепость (XIV в.)

Девятибашенная крепость (XV в.)

Бастионная крепость (XVIII в.)

3) Экскурсии по моделям крепостей».

4) 3D игры «Оборона крепости» и «Подрыв крепости» с возможностью управления персонажем за счет перемещения пользователя в игровой зоне, индивидуальный или соревновательный (2 игрока) режимы (PC, Windows, Kinect, моно/стерео).

5) Модуль взаимодействия с моделями на основе жестов (PC, Windows, Kinect, моно/стерео).

6) Модуль дополнения музейных экспозиций внутри здания и на прилегающей территории на основе технологии дополненной реальности (Mobile, Android, iOS).

7) Посетителям Кингисеппского историко-краеведческого музея представляется возможность самостоятельно или в группе ознакомиться с разработанными приложениями как в мультимедийном зале, так и с использованием настольного компьютера и сенсорного киоска.

Компьютерная реконструкция Костромского Кургана Интерактивная компьютерная реконструкция «Исследования 1-го Разменного (Костромского) Кургана»

1) Интерактивный информационный справочник результатов раскопок 1897г.

2) Интерактивный информационный справочник результатов раскопок 2010-2012гг.

3) Интерактивная 3D модель возведения скифского кургана рубежа VII-VI веков до н.э.

4) Интерактивная 3D модель скифского костюма и находок вещевого комплекса.

Театр интерактивного погружения совместно с НИУ ИТМО и Александринским театром, ФЦП «Культура»

1) Интерактивная 3D модель большой сцены и зрительного зала Александринского театра с управляемой функциональностью.

2) Интерактивная 3D модель перемен сценического оформления и реконструкции мизансцен спектакля по драме М. Ю. Лермонтова «Маскарад» в постановке Вс. Мейерхольда (1917 г.).

3) Модуль взаимодействия с моделями на основе жестов (PC, Windows, Kinect, моно/стерео).

4) Модуль дополнения электронных и печатных материалов разработанными моделями (технология дополненной реальности) (Mobile, Android).

Дополнение изображения Арбенина анимированной 3D-моделью персонажа (одномаркерная).

Дополнение изображения сцены и Арбенина 3D-моделями сцены и персонажа (мультимаркерная).

5) Презентация проекта театра интерактивного погружения на открытии новой сцены Александринского театра Президенту России В. В. Путину и министру культуры В. Р. Мединскому.

Исследование технологий интерактивной трехмерной превизуализации сценариев НИУ ИТМО, ООО «Базелевс Инновации»

Исследование проводились с целью разработки технологии 3D превизуализации (с возможностью редактирования) текстового материала (сценариев) аудио-визуальных произведений в кино, театре и телевидении.

Интерактивная визуализация «Христианские святыни на Святой Земле» Государственный музей истории религии

1) Исторический аудио очерк о раннем христианстве в иконе «Святой град Иерусалим».

2) Исторические сюжеты в иконе «Святой град Иерусалим».

3) Интерактивные карты мест паломничества в Палестине, остановок Дороги Страданий, окрестностей Иерусалима.

4) Интерактивный план расположения помещений Храма Гроба Господня.

5) Прогулка по интерактивной 3D модели основных помещений Храма Гроба Господня.

Трехмерная реконструкция Святилища Аполлона в Дельфах Государственный музей истории религии

1) Экскурсия по модели с получением информации в виде текста, изображений и голоса.

2) Прогулка по модели с получением информации о названиях объектов.

3) Викторина с целью получения прорицания Пифии, а также словарь терминов и имен.

Проект многофункционального зрелищно-мемориального комплекса «Панорама битвы за Ленинград» Комитет по культуре Администрации СПб., Государственный мемориальный музей обороны и блокады Ленинграда

Битва за Ленинград в 1941–1944 годах была величайшим событием Второй мировой войны. В 1946 г. был открыт музей обороны Ленинграда, но в 1949 г. он был разгромлен в связи с так называемым «Ленинградским делом». Построенные с тех пор мемориалы лишь в небольшой степени отражают героические события битвы за Ленинград. Предложен концепт-проект Панорамы для сохранения памяти о героическом прошлом и патриотического воспитания молодежи.

Интерактивная визуализация Площади Европы в Санкт-Петербурге Комитет по внешним связям Администрации СПб

Интерактивная электронная 3D выставка проектов молодых архитекторов, представленных на международный конкурс на лучшее архитектурно-художественное решение Площади Европы, для их демонстрации российской и зарубежной общественности.

Интерактивная 3D реконструкция мемориала «900 дней, 900 ночей» Государственный мемориальный музей обороны и блокады Ленинграда

Для представления используются три уровня, на каждом из которых пользователь, управляя аватаром, может перемещаться внутри среды и получать информацию в виде комбинаций текста, видео, схем, карт, фотографий, анимации, звуковых фрагментов и т. п.

Первый уровень: пользователь попадает внутрь виртуального пространства, представляющего интерактивную 3D-модель монументального комплекса в честь героических защитников Ленинграда, на стенах которого приведена интерактивная карта и информация о различных тематических подборках по теме. Выбрав одну из них, например, бомбежки города, происходит переход на второй уровень.

Второй уровень: представлена общая информация о бомбежках города до уровня отдельных районов, при выборе одного из которых, например, Васильевского острова, происходит переход на третий уровень.

Третий уровень: дается подробная информация о бомбежках выбранного района. Здесь же пользователю предлагается стать участником какого-либо важного для района события, например, поучаствовать в отражении налета немецкой авиации над Невой осенью 1941 г., которое реализовано в виде интерактивной 3D-модели.

Промышленность

Интерактивная 3D визуализация нефтедобычи Горизонты роста

Интерактивная 3D визуализация нефтепромысловых площадок, зданий и сооружений, оборудования для повышения эффективности работы специалистов, занимающихся проектированием, строительством и эксплуатацией объектов нефтегазовой промышленности, в частности, визуализация:

ландшафта и дорог, геологических разрезов на основе геоданных;
наземного (площадки, станки-качалки, ГЗУ, станции управления, ЛЭП, система трубопроводов и т.п.) и подземного (скважины с погружным оборудованием) оборудования;
работы оборудования и тока жидкостей.

Поддерживаются режимы:

обхода и облета, в т. ч. облета подземных объектов;
перехода по ключевым пространственным точкам;
получения информации об объектах (в т. ч. на основе получения данных от АСУТП);
управления работой оборудования.

Интерактивные электронные технические руководства

Цели — описание состава изделия и принципов его работы, использования по назначению, технического обслуживания, поиска и устранения неисправностей, обучения и самотестирования
Примеры — судовые системы, станки ЧПУ и др
ИЭТР класса 3 (иерархически-структурированные, БД+ЭСО)
Соответствие международным и отечественным стандартам — S1000D, ГОСТ 54088-2017 (ИЭТР), ГОСТ Р 59278-2020 (ИЭТР с ИИ и ДР) и др.
ЭСО на базе браузеров MS Internet Explorer, Mozilla FireFox, ВНИИНС Клиент ГОД-2
ОС MS Windows, Линукс, МСВС, Эльбрус, Альт Линукс
Аппаратные платформы Intel, SPARC, Эльбрус
Научные и экспериментальные исследования ИЭТР классов 4 (интегрированные) и 5 (знания, совместная работа, ИИ, ЭС) на основе VR, AR, XR, совместной работы, виртуальных двойников, искусственного интеллекта и машинного обучения, биокибернетического и мультимодального интерфейса

Электронный курс JAR 66 для Airbus Проект AeroGates

Прототип системы обучения техников и инженеров, обслуживающих самолеты Airbus.

Медицина, здравоохранение

Прототип системы обучения, планирования и постоперационной оценки хирургических вмешательств на основе технологии дополненной реальности Российский научный центр «Восстановительная травматология и ортопедия» им. Академика Г. А. Илизарова

Демонстрация управляемой поэтапной сборки аппарата Г. А. Илизарова на голени с использованием интерактивных анимированных 3D моделей анатомического органа (голень, кожа, нервы, сосуды, кость), частей аппарата и хирургических инструментов (гаечный ключ, дрель, молоток, клещи, скальпель, долото) и с соответствующей этапу синхронной выдачей справочной информации (текстовой, видео, голосовой комментарий, изображений среза кости и изображений с томографа) на основе технологии одномаркерной дополненной реальности.

Прототип печатных медицинских публикаций на основе мультимаркерной дополненной реальности Российский научный центр «Восстановительная травматология и ортопедия» им. Академика Г. А. Илизарова

Позволяет при чтении книги контекстно просматривать на экране видео, анимации, 3D модели описываемых в книге объектов и процессов, а также управлять ими с использованием технологии многомавркерной дополненной реальности.

Многофункциональная интерактивная электронная панорама центра Г. А. Илизарова для представления справочных, учебных, рекламных, исторических и других материалов Российский научный центр «Восстановительная травматология и ортопедия» им. Академика Г. А. Илизарова

Экскурсия по модели центра с получением информации в виде текста, изображений и голоса.

Свободная прогулка по территории и зданиям центра.

Психологические применения систем виртуальной реальности Факультет психологии МГУ

Разработка «виртуальной аудитории»», представляющей собой аудиторию из двенадцати человек с возможностью запрограммировать поведение каждого из них, для исследования зависимости уровня ситуативной тревожности (перед публичным выступлением) от опыта выступлений перед виртуальной аудиторией.

Тренажеры

Многофункциональный программно-аппаратный комплекс «Кибернетический велосипед»

Комплекс представляет собой программно-аппаратный комплекс, позволяющий велосипедисту перемещаться в виртуальной среде (ВС) и взаимодействовать с ее объектами.

Комплекс состоит из закрепленного в станине велосипеда (дорожного, горного и т. п.) с установленными на нем трекболом и датчиками угла поворота руля и скорости вращения колеса, а также системы имитации нагрузок, универсального контроллера для передачи данных между велосипедом и персональным компьютером и велобраузера для взаимодействия пользователя с ВС. Сигналы от датчиков передаются в компьютер, специальное программное обеспечение которого позволяет перестраивать визуальную картину перед велосипедистом в зависимости от ситуации (например, объезд препятствия) и изменять звуковое сопровождение и силовую нагрузку (например, нагрузка на педали и руль при подъеме/спуске с горы). Велосипед с велосипедистом в ВС представляются соответствующими моделями. Модель велосипеда в ВС передает вращение педали и колес, а также руля реального велосипеда. Велосипедист в ВС представляется как сидящий на модели велосипеда персонаж, который повторяет движения его ног и рук, а также головы в случае использования шлема с трекером для отображения ВС. Это позволяет создавать у велосипедиста иллюзию перемещения в виртуальном среде и обеспечивает возможность «взаимодействия» с его объектами и персонажами.

Подвесная конструкция ГУАП

Роликовая конструкция ГУАП совместно с Российским научным центром «Восстановительная травматология и ортопедия» им. Академика Г. А. Илизарова

Образование

Тренажер токарного и фрезерного станков с ЧПУ ГУАП, совместно с факультетом СПО

Виртуальный мир «Новые технологии в преподавании русского языка как иностранного» ЮНЕСКО, ГУАП совместно с филологическим факультетом СПбГУ

Приложение предназначено для повышения языковой компетентности обучаемых, с помощью участия в ориентированных на изучение языка игровых ситуациях, представленных в форме 3D (ознакомительный урок, контроль, совместная работа), а также для демонстрации возможностей альтернативных систем образования и развития новых форм сетевого общения, обучения и работы.

Виртуальный мир университетов Санкт-Петербурга Комитет по науке и высшей школе Санкт-Петербурга, ГУАП совместно с СПбГУ, СПбГИТМО, СПбГЭТУ, СПбГУТД, СПбГПУ, РГГМУ

Представление высших учебных заведений Санкт-Петербурга и их образовательных и научных ресурсов с использованием технологии виртуальных миров, в частности:

интерактивная карта СПб с обозначением местоположения университетов;
интерактивные 3D-модели зданий, прилегающей территории и значимые помещений университетов;
исторические справки об университетах, зданиях, помещениях и ректорах;
историко-тематические приложения, связанные с университетами;
примеры электронных образовательных ресурсов;
примеры студенческих работ.