Описывается не имеющая прямых аналогов стереоскопическая версия визуального интерфейса «небесный туннель», реализованная как автономная система дополненной реальности «карманных» размеров из недорогих компонентов, которая свободна от недостатков, присущих существующим системам технического и расширенного зрения.

Ключевые слова: дополненная реальность, система технического зрения, система расширенного зрения, управление воздушным судном.

Введение

Пилотский визуальный интерфейс, называемый «небесным туннелем» (НТ, исходный термин «tunnel-in-the-sky»), известен уже около 20 лет. Успешные испытания прототипов систем управления воздушными судами (ВС) с НТ на реальных самолетах проведены ещё в 1990-х гг. (например, система, разработанная в Стэндфордском университете [1]). Несмотря на свои достоинства, системы синтетического зрения (Synthetic Vision System, SVS) c НТ (рис. 1) [3] до настоящего времени не нашли широкого применения на практике, хотя и остались в поле зрения исследователей [2] и доступны для пилотов через современные дисплеи HUD (Head-up Display).

                                   Рис. 1. Дисплей SVS с НТ

Представляется, что есть две основные причины сложившейся ситуации вокруг концепции НТ:

1) прогресс техники автоматического управления полётом сделал НТ неактуальным для больших коммерческих лайнеров, а существующие разработки недостаточно компактны и дёшевы для ВС авиации общего назначения;

2) нынешнее воспроизведение 3D-структур НТ на обычных плоских экранах SVS и HUD не даёт существенного выигрыша по сравнению с традиционными основными полётными дисплеями (Primary-Flight-Display, PFD) [4].

В настоящей статье описывается прототип со стереоскопической версией НТ в виде мобильной системы дополненной реальности (МСДР), свободной от указанных недостатков:

1) используются недорогие компоненты – лёгкие (менее 150 г) прозрачные очки дополненной реальности (ДР) со встроенным трекингом и мобильное устройство в качестве контроллера, что делает систему автономной по питанию и «карманной» в буквальном смысле;

2) реализовано стереоскопическое представление НТ в виде объёмных рамок – режим стерео3D-ДР.

В режиме стерео 3D-ДР с минимальной дополнительной цифровой индикацией НТ заменяет все навигационные индикаторы PFD, имея при этом исключительно простую и естественную для человеческого восприятия визуальную структуру. Режим стерео3D-ДР обладает рядом существенных преимуществ по сравнению с символикой PFD на HUD и воспроизведением НТ на отдельном плоском экране:

реализованный с помощью прозрачных ДР-очков, он исключает дополнительную ментальную нагрузку, поскольку не требует согласования секторов обзора и масштабов изображения реального мира и дисплейной картинки, как это происходит в SVS [4];

рамки, формирующие НТ, становятся объёмными и ориентированными вдоль линии горизонта (рис. 2), что при стереовосприятии позволяет с большой точностью визуально оценивать углы рыскания, крена и тангажа ВС обычным для человека образом, при этом исчезает стадия ментальной конвертации символьной информации в оценки этих углов, как это происходит при использовании PFD [5].

               Рис. 2. Картинка комбинированной реальности,

                            сформированная МСДР в полёте.

                 Вид через лобовое стеклокабины самолета

Стерео 3D-ДР устраняет характерную для HUD проблему рассеивания внимания [6], поскольку рамки НТ как навигационные индикаторы становятся частью картины реального мира.

Ближайшими аналогами к предлагаемому решению являются устанавливаемые на самолетах последнего поколения (типа Boeing 787) системы расширенного зрения (Enhanced Vision System, EVS), включающие HUD и инфракрасную камеру на носу ВС. В отличие от реализации НТ в EVS разработанное техническое решение мобильно (не требуется специальная установка, практически всё оборудование имеет буквально «карманные» размеры) и дёшево (в десятки раз); оно обеспечивает лучшую пространственную ориентацию за счет стереовоспроизведения помещённых в реальный мир виртуальных маркеров и снижает нагрузку на пилота: нет необходимости в переключении внимания пилота и в ментальной конвертации навигационной информации.

Состав технических средств, входивших в состав прототипа МСДР, показан на рис. 3.

                           Рис. 3. Технические средства МСДР

            (конвертеры, контроллеры и адаптеры, используемые

              для связи компонентов, на рисунке не показаны):

 а) вариант с использованием сертифицированного GPS-приёмника;

              б) вариант с GPS-приёмником мобильного устройства

Линейные координаты головы экспериментатора вырабатывались с помощью сертифицированного авиационного GPS-приёмника и GPS-приёмника мобильного устройства. Использование GPS-приёмника мобильного устройства позволяет в условиях эксперимента получить более точные GPS-координаты за счет задействованных алгоритмов сглаживания. Электропитание МСДР осуществлялось от компактного автомобильного аккумулятора.

Угловые координаты головы сидящего рядом с пилотом экспериментатора вырабатывались с применением микромеханических гироскопов и акселерометров, встроенных в очки комбинированной реальности, и инфракрасного трекера, камера которого была размещена над приборной панелью.

Кроме указанного оборудования, использовалась укрепленная на голове экспериментатора контрольная видеокамера, с помощью которой во время экспериментов фиксировалась картина реального мира (рис. 4).

Объектные испытания

В ходе лётного испытания, проводившегося с целью визуальной проверки интерфейса МСДР и способности к позиционированию, осуществлялись визуальный контроль пролёта по виртуальной траектории в реальном пространстве и воссоздание во время испытания наблюдаемой картины дополненной реальности путём видеореконструкции, совмещающей видеозапись контрольной камеры и виртуальную траекторию, восстановленную по зафиксированным в ходе испытания линейным и угловым координатам головы экспериментатора.

Испытания проводились на легкомоторном самолете со следующим планом полёта: выполнение полёта – двумя разворотами на 180 град.; после взлёта 2 мин по прямой с набором высоты, разворот влево с продолжением набора высоты 200 м; пролёт траверза с полётом к 3-му развороту, разворот влево на посадочный курс; удаление 1 км от торца полосы.

В соответствии с планом полёта была построена виртуальная траектория – «небесный туннель», состоящий из расположенных в пространстве на расстоянии 200 м друг от друга рамок зелёного цвета размером ШВГ 40×20×10 м с толщиной стенок 1 м.

Испытания проводились в условиях слоя облачности на высоте более 1000 м и видимости более 2000 м. Произведено последовательно четыре полёта: два – с GPS-приёмником мобильного устройства и два – с сертифицированным GPS-приёмником. В первом полёте с GPS-приёмником мобильного устройства условия наблюдения навигационных спутников были хорошими (не менее пяти спутников), что обеспечило возможность корректного позиционирования виртуальной траектории. В трёх прочих полётах нестабильное число наблюдаемых навигационных спутников, которое падало до 1, позволило правильно позиционировать виртуальную траекторию только на отдельных участках полёта. Количество наблюдаемых навигационных спутников контролировалось по бортовому приёмнику GPS.

По результатам испытаний можно сделать промежуточные выводы:

1. При устойчивой работе спутниковой навигации виртуальная траектория надёжно позиционировалась в пространстве.

2. Инфракрасный трекер, который используется для коррекции дрейфа микромеханических датчиков, вырабатывающих угол рыскания, из-за бликов, возникающих при отражении солнечного света от боковых и задних стекол пилотской кабины, работает устойчиво в пасмурную и неустойчиво – в солнечную погоду даже при отсутствии прямой солнечной засветки.

Проблема решается путём размещения металлизированной полупрозрачной пленки перед инфракрасной камерой с применением светодиодов в качестве активных мишеней трекера. Решение нельзя назвать оптимальным, поскольку оно требует размещения на очках мишеней трекера (что снижает удобство пользования очками) и инфракрасной камеры на лобовом стекле, соединенной с процессором проводом (что загромождает рабочее пространство в кабине). В дальнейшем представляется целесообразным отказаться от инфракрасного трекера в пользу позиционирования головы пользователя по углу рыскания с помощью методов компьютерного зрения с применением встроенной в очки дополненной реальности видеокамеры.

3. Используемые в испытании очки не обеспечивают достаточную яркость изображения виртуальных объектов для наблюдения их на фоне неба днём даже в пасмурную погоду. В последующем необходимо применение очков с параметрами яркости виртуальных объектов не менее 5000 Nits (кд/м2).

Стендовые испытания с симулятором пилотской кабины

Симулятор пилотского визуального интерфейса включает 2 планшетных компьютера, связанных по беспроводному каналу (организован через Wi-Fi-роутер), что обеспечивает гибкость при размещении в различных тренажерах пилотских кабин. Первый планшетный компьютер позволяет управлять процессом симуляции (запуск-останов, различные режимы отладки и т. п.) и одновременно визуально контролировать картинку, доставляемую пользователю через очки дополненной реальности. Очки и джойстик, с помощью которого пользователь управляет виртуальным ВС, соединены со вторым планшетным компьютером через интерфейсы USB (сенсоры очков, джойстик) и HDMI.

Проведение экспериментов с симулятором МСДР

В экспериментах (табл. 1) участвовали две группы испытуемых по 12 студентов МГТУ ГА с игровым опытом пользования компьютерными симуляторами полёта ВС. Тесты выполнялись в присутствии инструктора-исследователя. Испытуемые первой группы выполняли эксперименты 1а, 2а, второй группы – эксперименты 1б, 2б (цифра означает номер эксперимента, а буква – тип независимой переменной из табл. 1).

                                                                                                                                          Таблица 1

Предварительные процедуры. Каждый испытуемый прошел краткий инструктаж (5 мин) и тренировочную сессию (5 мин) для приобретения навыков управления виртуальным ВС с помощью джойстика.

Послетестовые процедуры. Каждый испытуемый прошёл тест NASA-TLX [7], созданный в 1980-х гг. в исследовательском центре NАSА Ames с целью сравнительного анализа нагрузки на авиационный персонал: пилотов, техников, диспетчеров и т. д. Тест разрабатывался в течение трёх лет с участием более 40 исследовательских групп и широко использу ется в авиакосмической индустрии и в других отраслях.

NASA-TLX представляет собой многомерную рейтинговую процедуру – взвешенное среднее, основанное на 6 оценочных факторах:

1 – ментальная нагрузка (Mental Deamand);

2 – физическая нагрузка (Physical Deamand);

3 – нагрузка, связанная с темпом работы (Temporal Demand);

4 – производительность (Performance);

5 – затраченные усилия (Effort);

6 – неудовлетворённость (Frustration).

Вес каждого фактора при выведении итоговой оценки определяется через ответы на предложения сравнить пары факторов между собой. Величины оценок по факторам получают с помощью шкал с 10 градациями после каждого выполнения тестовой задачи. Чувствительность теста обеспечивается варьированием весов факторов.

NASA-TLX – двухступенчатая процедура, включающая этапы оценки весов и факторов.

На первом этапе испытуемые присваивают веса факторов в соответствии со своими представлениями об их вкладе в итоговую нагрузку. Эта информация используется для определения различий в экспертных подходах и различий в важности критериев при выполнении разных задач.

На втором этапе испытуемые оценивают сами факторы, используя шкалу, раздёленную на 20 отрезков, каждый отрезок имеет вес 5, минимальное значение оценки – 0, максимальное – 100. Шкалы снабжены оппозитными дескрипторами типа слабый/сильный. Результаты оценки приведены в табл. 2.

                                                                                                    Таблица 2

Заключение

Результаты стендовых испытаний МСДР подтвердили гипотезу о бóльшей эффективности визуального пилотского интерфейса типа «стереоскопический объёмный виртуальный туннель». Результаты лётных экспериментов подтвердили способность системы корректно позиционировать виртуальный туннель. МСДР может позиционироваться как резервное средство для коммерческих лайнеров в экстренных случаях, когда возникают пробле мы со стандартным оборудованием и особенно при посадках в условиях ограниченной видимости. Для ВС авиации общего назначения МСДР в перспективе может стать основным навигационным инструментом в силу своей дешевизны, мобильности и простоты использования.

Авторы:

Горбунов Андрей Леонидович – кандидат технических наук, доцент, советник ректората Московского государственного университета гражданской авиации, г. Москва. Область научных интересов: дополненная реальность в авиации.

Нечаев Евгений Евгеньевич – доктор технических наук, профессор, советник генерального директора по развитию и инновационной работе ОАО «Научно-технический центр промышленных технологий и аэронавигационных систем», г. Москва. Область научных интересов: навигация и управление воздушным движением.

Материал предоставлен для публикации журналом "Вестник концерна ПВО "Алмаз - Антей"

Список литературы

1. Barrows A., Alter K., Jennings C., Powell J. Alaskan flight trials of a synthetic vision system for instrument landings of a piston twin aircraft // In Proc. SPIE. 1999. Vol. 3691. P. 98–106.

2. Landry S. J. Advances in Human Aspects of Aviation. CRC Press: Boca Raton, Florida, 2012. 206 p.

3. Sachs G., Sperl R., Sturhan I. Curved and steep approach flight tests of a lowcost 3d-display for general aviation aircraft. // In Proc. of 25th Intern. Congress of the Aeronautical Sciences. Hamburg, Germany, 2006. P. 345-353.

4. Arents R., Groeneweg J., Borst C., Van Paassen M., Mulder M. Predictive Landing Guidance in Synthetic Vision Displays // The Open Aerospace Engineering J. 2011. № 4. P. 11–25.

5. Foyle D., Hooey B., Wilson J., Johnson W. HUD symbology for surface operations: Commandguidance vs. situation-guidance formats // SAE Transactions: J. of Aerospace. 2002. № 111. P. 647–658.

5. Prinzel L. Head-Up Displays and Attention Capture. NASA Technical Memorandum 2004-213000 Hampton: Langley Research Center, 2004 300 p.

6. Salas E., Jentsch F., Maurino D. Human Factors in Aviation. San Diego: Acad. Press, 2006.744 p.