Wave Field Synthesis ( WFS ) – система волнового синтеза пространственного звуковоспроизведения

Ирина Алдошина, Валентин Чабушкин

При прослушивании музыки в концертном зале (или другом помещении) у слушателя формируется пространственный звуковой образ за счет восприятия прямого звука и звуков, отраженных от окружающих поверхностей. Именно этот звуковой образ, являющейся важнейшей эстетической составляющей восприятия музыки, позволяет оценить качество акустики концертных залов, создание которых является "искусством на научной основе" (Лео Беранек). Влияние помещения на восприятие музыки известно было еще со времен создания античных древнегреческих театров, возведения средневековых соборов и появления концертных залов в XVII-XIX вв. В настоящее время строительство концертных залов с естественной акустикой по-прежнему является высочайшим искусством, правда, опирающимся на современные компьютерные методы их расчета и проектирования (например, методы аурализации – создания пространственных компьютерных моделей помещений).

С момента появления звукозаписи в начале ХХ века предпринимались попытки сохранения и передачи пространственных ощущений, возникающих у слушателя в концертном зале. Именно это послужило причиной перехода от моно- к стереофоническим записям, а затем и к системам матричной стереофонии (Dolby Stereo, Dolby Digital, DTS, 22.2 и др.).

Однако поскольку их появление не решает многих проблем передачи трехмерного звукового образа, достаточно давно развиваются альтернативные направления – бинауральная стереофония, амбиофония, "Амбисоник" и др. К числу этих систем относится и особая система пространственного звуковоспроизведения Wave Field Synthesis (WFS) – система волнового синтеза.

Теоретические основы системы были заложены еще в XVII веке, когда Х. Гюйгенс в своей статье о природе света в 1690 г. изложил следующий принцип: любой фронт волны (поверхность, соединяющая точки, находящиеся в одинаковой фазе колебаний) можно рассматривать как непрерывное распределение точечных источников, каждый из которых излучает вторичную волну, фаза и амплитуда которой определяется параметрами проходящей через эту точку первичной волной. Огибающая фронтов вторичных источников дает фронт волны, совпадающей с исходным источником. Если применить этот принцип к звуковым волнам, то, измерив с помощью распределенной системы микрофонов амплитуды и фазы на сферическом фронте волны точечного источника (рис.1а), можно разместить на сферической поверхности громкоговорители, к которым подвести сигнал от соответствующих микрофонов, и получить волну, фронт которой совпадает с фронтом волны первичного источника. (рис.1б).

Именно на этом принципе была основана новая система пространственного звуковоспроизведения, предложенная профессором А.Берхаутом из Дельфтского Университета в 1988 г. Первая лабораторная установка, реализующая такую систему, показана на рис.2.

Позднее в трудах его учеников (Vries (1992, 1993), Boone (1995), Vogel (1993), Start (1997), Verheijen (1998) and Sonke (2000)) было показано, что, опираясь, на интегралы Кирхгофа-Рэлея, можно синтезировать сферическое звуковое поле с помощью системы громкоговорителей, распределенной не на сфере, а на плоскости (рис.3).

Это открывает возможности заменить реальный источник на синтезированный мнимый звуковой образ, который будет услышан слушателем, находящимся в том же помещении, где и исходный образ (рис.4а,б).

Таким же образом можно сформировать несколько мнимых источников. (рис.5).

При этом мнимые источники могут располагаться, как за пределами плоскости, где находятся громкоговорители, так и перед нею (рис.6).

Практическая реализация такой системы заключается в следующем: с помощью распределенной системы микрофонов записывается звуковое поле первичного источника, полученные сигналы обрабатываются в соответствующем процессорном устройстве и подаются на систему громкоговорителей, с помощью которой воссоздается звуковое поле первичного источника во вторичном помещении (рис.7)

Если расположить громкоговорители на всех стенах помещения, то можно синтезировать мнимые источники в различных позициях, как вне, так и внутри помещения с сохранением временных и спектральных свойств первичных источников для всех слушателей, находящихся внутри пространства (рис 8).

При этом слушатели могут располагаться и перемещаться в любую точку  помещения с сохранением стабильного положения источников, что является одним из главных преимуществ системы WFS, т.к. снимает присущий всем пространственным системам недостаток – ограниченную зону стереоэффекта (sweet pot).

Кроме этого, с помощью системы WFS можно передавать и воспроизводить реверберационные свойства первичного помещения. Структура реверберационного процесса в помещении складывается из прямого звука, первых дискретных отражений (до 80-100 мс) и позднего участка реверберационного процесса, где множество отраженных сигналов формируют диффузное звуковое поле.

Для расчета ранних отражений часто используются методы геометрической акустики, одним из которых является "метод мнимых источников", который позволяет заменить отраженный звук на расчет прямого звука от мнимого источника, который можно считать зеркальным отражением реального источника от отражающей поверхности (рис.9).

Эти мнимые источники могут быть также воспроизведены в системе WFS вышеуказанными способами, при этом громкоговорители должны быть распределены по всем стенам вторичного помещения (для того, чтобы избежать влияния реверберационных процессов вторичного помещения, оно должно быть достаточно хорошо заглушено).

Для воспроизведения поздних отражений был предложен метод синтеза плоских волн из измеренных импульсных характеристик в первичном поле с заданным начальным уровнем и определенным показателем затухания. При этом субъективная экспертиза показала, что достаточно имитировать приход плоских волн из восьми разных направлений для восприятия диффузности звукового поля.

Таким образом, как показано на рис.10, с помощью системы WFS можно воспроизводить волновые фронты точечных источников и структуру отраженных процессов первичного помещения для любой группы слушателей внутри помещения.

Наряду с несомненным преимуществом предлагаемой системы пространственного звуковоспроизведения, на пути к ее реализации необходимо было решить ряд существенных проблем, основные из которых следующие:

• необходимо (теоретически), чтобы бесконечно большое число точечных излучателей покрывало трехмерное пространство, что практически нереализуемо. Если громкоговорители конечных размеров покрывают только ограниченную плоскость, то возникают эффекты усечения (truncation effect) и выше определенной частоты, которая зависит от расстояния между громкоговорителями, появляются искажения (элайзинговыне эффекты).
• необходимо (для точного применения интеграла Рэлея для расчета звукового поля), чтобы излучатели имели монопольные (круговые) или дипольные (восьмерки) характеристики направленности, что в полном диапазоне воспроизводимых частот реализовать невозможно.
• необходимо построить алгоритмы расчета амплитуд и фаз поступающих на громкоговорители сигналов из измеренных или моделированных характеристик первичного поля.

На решение этих проблем были направлены исследования ученых, как в Дельфтском Университете, так и других многочисленных научных центрах (IRCAM, CCSR, IRT и др). Были опубликованы десятки статей, диссертаций, докладов на конгрессах AES и пр.

В результате были разработаны новые алгоритмы (2.5D Operator), позволяющие представлять трехмерное поле источника в виде двухмерных проекций сферических волн, создаваемых линейкой громкоговорителей, расположенных на стенах помещения только в горизонтальной плоскости на уровне ушей слушателя. В таком расположении слух имеет максимальную чувствительность к локализации источника, что позволило реализовать системы воспроизведения WFS в виде, представленном на рис.8. Это дает достаточно точные результаты локализации, когда источники звука располагаются близко к горизонтальной плоскости, где находятся громкоговорители и слушатели, однако вносит погрешности при передаче звучания источников, расположенных в вертикальной плоскости.

В настоящее время продолжаются исследования по корректной передаче трехмерных звуковых полей источников. Для уменьшения эффектов дифракции на краях (truncation effect) разработаны специальные взвешивающие фильтры. Корректное воспроизведение звуковых фронтов происходит только до определенной частоты (при расстоянии между громкоговорителями 124 мм до частоты примерно 1500 Гц), выше этой частоты возникают искажения. Для уменьшения этих эффектов разработаны специальные массивы излучателей с близким расположением акустических центров, созданы плоские акустические панели, введена специальная электрическая коррекция. и др. (рис. 11).

И, наконец, были созданы алгоритмы, позволяющие учесть любые изменения характеристик направленности громкоговорителей с частотой. Таким образом, имеющиеся проблемы успешно решаются, хотя работы в этом направлении все время продолжаются.

Технология записи сигналов для воспроизведения в формате WFS имеет ряд отличительных особенностей: необходимо обеспечить запись сигналов отдельных источников близкими микрофонами, а также запись импульсных характеристик помещения с помощью системы распределенных микрофонов (или микрофона типа SoundField) (рис.12).

Микрофоны могут быть распределены по сфере, или представлены в виде линеек микрофонов различной конфигурации.

При записи больших распределенных источников возможно использование смешанной техники: запись хора или оркестра с помощью нескольких микрофонов и их микшировании как в обычной стереофонии при одновременной записи звукового поля помещения системой микрофонов. Затем с помощью процессорной обработки каждый микрофонный сигнал трансформируется в точечный звуковой объект в формате WFS, расположенный в виртуальном пространстве в соответствии с расположением микрофона в первичном пространстве. Несколько таких виртуальных звуковых объектов воссоздают протяженную звуковую картину, которая может быть дополнена точечными звуковыми объектами солирующих инструментов и реверберацией в соответствии с форматом WFS. (рис.13)

Новым толчком к развитию пространственных звуковых систем синтеза волнового поля (WFS) послужило включение этой тематики в европейский междисциплинарный проект CARROUSO.

Проект CARROUSO (for Creating, Assessing and Rendering in Real-Time Of high-quality aUdio-viSual envirOnment in MPEG-4 context), можно перевести как "создание, передача и воспроизведение в реальном времени высококачественного аудиовизуального окружения в контексте стандарта MPEG-4". Целью этого проекта, начатого в 2001 г., была разработка новых технологий, которые обеспечивали бы передачу трехмерного звукового поля из реального или виртуального пространства в другое пространство с высоким качеством звука, используя для передачи интерфейс в соответствии с требованиями стандарта MPEG-4. В соответствии с решением Европейской Комиссии для участия в этом проекте были приглашены десять крупнейших университетов, научных институтов и фирм, таких как: фирма Studer (Швейцария), Технический Университет в Дельфте (Голландия), Институт IRT (Германия), IRCAM (Франция), Университет Аристотеля (Греция) и др.

Общая схема процессов записи, передачи и воспроизведения, разработанная в рамках этого проекта, показана на рис.14. Записанная аудио- (включая запись живых источников и импульсных характеристик помещения) и видеоинформация подвергалась процессорной обработке, включающей эхоподавление, дереверберацию, подавление шумов, выделение информации об движении источника и т.д. Затем объединенный поток кодировался в соответствии со стандартом MPEG-4 и передавался по различным сетям, после чего сигналы декодировались, разделялись и воспроизводились в звуковом формате WFS и видеоформате IMAX.

В рамках данного проекта были созданы специальные  аудиопроцессоры, видеомультиплексоры и серверы, способные кодировать, сохранять и передавать информацию по сетям радиовещания, Интернет и др.

После окончания этого проекта работы по развитию и внедрению WFS продолжаются во многих научных центрах. Специальные компании IOSONO и SonicEmotion были созданы для коммерческого внедрения новой звуковой системы WFS.

Наиболее интересные направления исследований проводятся в известных научных центрах.

IRCAM ("Институт исследований и координации музыки и акустики", Париж) интенсивно занимается интеграцией системы WFS в различные средства процессорной обработки при создании музыкальных композиций, в частности, с известным программным пакетом Spatialisateur. В институте изучается влияние различных типов излучателей: от плоских систем в первой 48-канальной системе с 12 излучателями, до современной 128-канальной на громкоговорителях фирмы KEF с возможностью изменения расстояния между громкоговорителями для оптимизации граничной частоты (элайзинговой). В настоящее время система используется в создании систем виртуальной реальности в живых  представлениях.

Например, на рис.15 показано сочетание живого исполнителя и клонированного с помощью системы WFS мнимого образа, который может размещаться в различной позиции  в трехмерном пространстве по отношению к живому исполнителю, создавая новые возможности для создания звуковых пространственных эффектов.

IRT (Институт радиовещания в Мюнхене) играет принципиально важную роль в создании теоретических основой систем WFS, в частности, в трудах исследователей H.Wittek и G Thiele разработаны концепции виртуально панорамируемых зон (VPS) и оптимизированных фантомных источников (OPSI), позволяющих избежать пространственных искажений за счет элайзинга. В институте была создана установка Binaural Sky, которая позволяет с помощью громкоговорителей размещенных на потолке, сфокусировать источники на ушах слушателя, положение головы которого контролируется системой слежения, что позволяет воссоздать бинауральную панораму без использования телефонов (рис. 16).

Fraunhofer IDMT, Ilmenau (Институт цифровых медиатехнологий) начиная c 1990-х играет ведущую роль в разработке теоретических основ и технологий применения системы WFS (группа исследователей под руководством профессора К. Бранденбурга опубликовала большое количество статей по результатам исследований). У них было создано несколько моделей систем от первой 48-канальной до 192-канальной мобильной системы, использовавшейся на выставках и конференциях и 104-канальной, которой оборудованы в настоящее время лаборатория в институте для изучения систем виртуальной реальности, созданной с ее помощью (рис. 17).

Технический Университет Берлина. На базе университета действуют две студии, оборудованные для занятий композицией в области электронной музыки. С 2001 года более крупная студия оборудована системой звуковоспроизведения в формате WFS, что послужило началом активного освоения возможностей WFS в среде студентов и разработки программных средств для использования потенциала WFS в композиторской практике. Результатом работы стала программа sWONDER, которая позволяет работать с WFS музыкантам, непосвященным в научные детали процесса синтеза. С 2009 года в университете используется 160-канальный линейный массив из специально разработанных громкоговорителей.

Кроме того в целом ряде университетов и научных центров Германии имеются студии и лаборатории, оборудованные современными системами WFS, которые используются для научных исследований, обучения студентов и музыкантов, в создании систем виртуальной реальности и др. В числе таких центров можно указать университет Эрланген (Нюрнберг), Deutsche Telekom Research Labs (Берлин), Дюссельдорфский университет прикладных наук, Фуртвангенский университет прикладных наук, Веймарский университет; Детмольдская высшая школа музыки.

Дельфтский технический университет, который является создателем системы WFS, продолжает в настоящее время исследования по совершенствованию системы, в частности, по созданию трехмерного звукового поля. Для этого используется 128-канальная система, состоящая из плоских панельных громкоговорителей, часть из которых расположена на потолке, что дает возможность обеспечить воспроизведение ранних отражений от потолка, играющих важную роль при восприятии пространственной звуковой картины.

Университет музыки и исполнительских искусств (г. Грац, Австрия) занимается разработкой систем WFS, ориентированных на индивидуального пользователя, работающего с компьютером, что позволяет сфокусировать виртуальные источники на ушах слушателя, воссоздавая пространственную звуковую картину без применения телефонов (рис.18).

Кроме этих, научные исследования системы WFS, проводятся в Университете Surrey (Англия), где оборудована Лаборатория виртуальной реальности; в Политехническом университете Валенсии (Испания), где отработана технология создания специальных плоских излучателей для таких систем; в ETH (Цюрих, Швейцария), где также оборудована Лаборатория виртуальной реальности с 3D проекционными экранами и 112-канальной системы WFS фирмы IOSONO. Таким образом, из этого краткого обзора видно, какие серьезные научные силы и средства задействованы в создание и развитие систем WFS.

Итоги этих работ нашли практическое применение в разных странах:

• В театре под открытым небом Seebühne в Брегенце (Австрия), где плавучая сцена оборудована 820-канальной системой звукоусиления. С использованием технологии WFS создана возможность звукорежиссерам во время проведения оперных фестивалей создавать интересные пространственные эффекты;
• Национальный центр искусства и культуры имени Жоржа Помпиду (Франция), оборудованный несколькими системами WFS с помощью специалистов IRCAM, проводит выставки, например во время выставки посвященной творчеству Сэмюэла Беккета. Установка WFS использовалась для синтеза трех сфокусированных звуковых объектов, трех голосов, которые читали поэмы Беккета, тем самым "сопровождая" посетителей экспозиции.
• В кинотеатре при Cinémathèque Française использование системы WFS обеспечило корреляцию визуальной и звуковой составляющей демонстрируемых фильмов. Так, например, в рамках одного из таких показов одновременно проецировались три фильма на три экрана, во время показа фильмы попеременно сменяли свое расположение на экранах, что являлось концепцией авторов, при этом звуковая дорожка следовала этому перемещению.
• В Германии несколько кинотеатров и культурных центров оборудованы системой WFS,так например, кинотеатр Lindenlichtspiele (Ильменау) имеет 192-канальную систему WFS с громкоговорителями, распределенными по всему залу, а также Детский культурный центр в Эрфурте, ряд концертных залов и лекционных аудиторий.
• В Италии такой системой, расположенной в виде купола на потолке, оборудован Музей истории звуковой       техники, что дает возможность создавать фокусированные источники в разных точках зала. Ряд музеев, театров и студий в США, Нидерландах, Испании, Катаре и др. странах также оснащены системами WFS.

Предлагаемая система может найти себе достаточно много применений, в кинотеатрах, концертных залах и театрах, где она может обеспечить высокое качество пространственного звука на большой площади слушательских мест; при создании систем виртуальной реальности, позволяя совместить зрительный образ со слуховым в любой точке пространства; в системах телеконференц-систем, где, создавая фокусированные источники в заданной точке, можно концентрировать внимание участников.