В истории развития телевидения и цифрового видео можно выделить следующие крупные этапы:

1 -- черно-белое телевидение -- передается яркость изображения.

2 -- цветное телевидение -- передается яркость и цветовые составляющие. С точки зрения объема данных, добавление цвета -- это количественный переход. С точки зрения наблюдателя -- качественный.

3 -- появление цифрового видео (Video CD, DVD) -- качественный переход с точки зрения формата данных.

4 -- цифровое видео и телевидение высокого разрешения (Blu-Ray, HDTV)-- количественный переход с точки зрения объема данных. Однако передаются все те же составляющие: яркость и цвет.

Среди специалистов и зрителей назрело ожидание очередного качественного перехода, давно предсказанного писателями-фантастами, -- появление объемного телевидения. Долгое время "узким местом" в реализации стереоскопического видеопоказа был объем данных, который было невозможно передать существующими средствами. Цифровое телевидение позволило передавать достаточное количество информации и стало основой ряда устройств, позволяющих осуществить объемную визуализацию.

Попробуем сформулировать основные требования к объемному телевидению для широкого применения в домашних условиях.

С точки зрения пользователя (зрителя):

1. Устройство воспроизведения должно создавать реалистичное ощущение объемности изображения.
2. Просмотр должен осуществляется естественно, без напряжения, для просмотра не должны требоваться дополнительные устройства (например, шлем или специальные очки). Он должен быть доступен как для одного наблюдателя, так и для нескольких зрителей одновременно.
3. Устройство визуализации должно «уметь» показывать как стереоскопические, так и обычные изображения.
4. Устройство визуализации должно быть достаточно компактным и удобным для размещения в жилых помещениях.

С точки зрения инженеров, обобщенные требования к средствам и техническим устройствам объемного телевидения:

1. Объем данных, необходимых для показа стереоскопического изображения, не должен существенно превосходить объем данных, передаваемых для обычного изображения.
2. Способ передачи данных должен быть совместим с существующими стандартами и технологиями.

Казалось бы, перечисленным требованиям трудно удовлетворить одновременно. Однако совокупность современных технических решений делают это возможным.

Получить представление об объемности окружающего мира человеку позволяет ряд явлений: геометрическая и воздушная перспектива, тени и блики на поверхностях объектов, относительные размеры объектов. Изобразительные приемы, моделирующие эти явления, используются художниками с давних пор для передачи объемности трехмерных предметов, нарисованных на плоскости.

Природа наделила человека бинокулярным зрением -- парой глаз, расположенных на расстоянии 60-70 мм. За счет этого человек видит мир одновременно с двух точек наблюдения. В результате изображения, получаемые левым и правым глазом, слегка отличаются. Эти два изображения принято называть стереопарой. Анализируя различия между изображениями стереопары, мозг человека получает информацию об объеме и удаленности наблюдаемых объектов (рис. 1).

Рис. 1. Параллакс: каждый глаз видит предмет по-своему; мозг оценивает разницу и формирует объемный образ (изображения с сайта www.triaxes.ru).

Кажущееся смещение рассматриваемого объекта, вызванное изменением точки наблюдения, называется параллаксом и является главным фактором в восприятии трехмерности мира.

Все способы, которые широко используются для создания стереоэффекта в видео, используют принцип раздельного просмотра -- левому глазу человека демонстрируется левое изображение стереопары, правому -- правое. Различия заключаются в том, каким образом достигается сепарация (разделение) изображений стереопары. Большинство современных устройств стереовизуализации и в кино, и в телевидении основаны на методах, известных более 100 лет.

Анаглифному методу показа 150 лет. Метод предложен ДАльмейда и Дюко дю Ороном в 1858 году. Реализован в кино Луи Люмьером в 1935-м. Анаглифный метод (от греч. anagliphos -- рельефный) состоит в окрашивании изображений стереопары в дополнительные цвета. Оба кадра стереопары формируют одно изображение. Разделение левого и правого кадра происходит с помощью цветных очков, окрашенных в соответствующие цвета. Анаглифный метод используется и в кинопоказе, и в телевизионных трансляциях. Этот метод работает практически на любых цветных телевизорах и мониторах. Достоинство метода -- простота и дешевизна реализации, недостаток -- потеря части цветов и необходимость использования очков.

Поляризационному методу стереопроекции около 120 лет. Предложен Ж. Андертоном в 1891 году. Получил широкое распространение после изобретения в 1935-м Е. Лэндом поляроидной пленки. Левый и правый кадр проецируются одновременно, но свет поляризуется (линейно или циркулярно) в разных направлениях. Просмотр осуществляется с помощью очков, имеющих соответствующие светофильтры. Поляризационный метод получил широкое распространение в кинопрокате благодаря четкому разделению стереопары, сохранению цветности; недостатки -- необходимость использования дорогостоящего оборудования, специальных устройств визуализации и очки, которые зритель должен надевать. Используется в кинотеатрах IMAX и др.

Растровому стерео более 110 лет. Впервые метод безочкового стерео с применением параллельного светопоглощающего растра предложен одновременно Бертье и Лизегангом в 1896 году. Впервые в мире для демонстрации стереокино этот метод был предложен в СССР С. Ивановым и А. Андриевским и реализован под руководством Б. Иванова в 1942-м. Первый в мире кинотеатр с растрово-линзовым экраном "Стереокино" был открыт в Москве в 1947-м. Растр выглядел в виде ряда непрозрачных вертикальных полос. Свет проходил в прозрачные участки между полосами, каждому глазу зрителя показывался необходимый фрагмент изображения. Размеры экрана составляли 3х3 м.

Подобные устройства "безочковой" объемной визуализации называются автостереоскопическими. Этот метод имеет различные конструктивные реализации: барьерный, линзовый варианты. В настоящее время в основном используется линзово-растровый (lenticular) вариант конструкции экранов. Для показа через растр исходная стереопара кадров "нарезается" на вертикальные полоски, которые затем чередуются так, чтобы под каждой линзой оказалась пара полос: одна от левого кадра, другая -- от правого. Такое "полосатое" изображение называют кодированным. Принцип действия линзово-растрового экрана показан на рис. 2. Поток света, исходящий от кодированного изображения, проходя через линзы, разделяется таким образом, что левый глаз наблюдателя видит левое изображение стереопары, правый глаз -- правое.

Рис. 2. Схема разделения кодированного изображения стереопары с помощью линзового растра. Левое изображение условно обозначено красным цветом, правое – голубым (изображения с сайта www.triaxes.ru).

Наибольший эффект от линзово-растрового способа показа достигается, когда показываются не два кадра стереопары, а ряд кадров, сделанных с небольшим смещением по горизонтали (многоракурсная съемка). В этом случае при просмотре образуется широкая зона стереовидения, в которой наблюдатель может перемещаться, поочередно наблюдая сцену с разных ракурсов. Появляется возможность как бы заглянуть за объекты переднего плана. Это придает натуральность наблюдаемому стереоизображению. В фотографии для съемки серии кадров используют специальные стереофотокамеры с рядом объективов (рис. 3), или специальные штативы, позволяющие при съемке перемещать камеру в горизонтальном направлении (рис. 4).

Рис. 3. Многообъективный стереофотоаппарат (фотография с www.3-dimages.com).

Рис. 4. Штатив Triaxes StereoRail для стереопарной и многоракурсной фото-видеосъемки (изображения с сайта www.triaxes.ru).

Достоинство растрового метода в том, что устройство сепарации объединено с самим изображением и зрителю нет необходимости надевать какие-либо очки для просмотра. Кроме того, формирование объемного изображения из серии кадров, снятых с различных точек зрения, позволяет придать большую реалистичность сцене.

Недостаток в том, что для качественного воспроизведения объемного изображения требуется гораздо больше данных. Если для анаглифного и поляризационного методов достаточно двух кадров стереопары, то для растрового желательно иметь одновременно 9-12 кадров. Далее будет рассказано о способе решения данной проблемы.

Существует большое количество реализаций стереоскопических мониторов [см. Сергей Книгин. 3D дисплеи.]. Практически у всех известных марок (LG, Philips, Sharp и др.) есть модели стереомониторов, основанные на принципе линзового растра. Это можно объяснить тем, что данные устройства достаточно хорошо отвечают требованиям 1-5 из обозначенных выше. Разработка линзово-растровых стереомониторов началась еще в прошлом веке (например, Philips), однако действительно хорошего эффекта и определенного коммерческого успеха удалось добиться лишь сравнительно недавно, с распространением стандарта высокого разрешения (HD). Это связано с тем, что для формирования кодированного многоракурсного изображения требуется разрешение более высокое, чем для каждого из исходных кадров по отдельности: под каждую линзу должны войти элементы всех исходных кадров. Только с появлением возможности передавать и декодировать видео высокого разрешения количества пикселов стало достаточно, чтобы увеличить качество воспроизводимого стерео (3D) эффекта.

Очевидно, что выполнить многоракурсную видеосъемку -- задача непростая. Требуется либо специальная камера с большим количеством объективов, либо ряд камер и устройство, обеспечивающее синхронную съемку. Надо учесть также, что возникает задача хранения большого количества данных -- видеопотоков с каждой камеры. Даже с учетом того, что современные методы цифрового видеосжатия позволяют эффективно учитывать временную и пространственную избыточность, объем данных при многоракурсной видеосъемке возрастет многократно.

Один из эффективных способов решения проблемы большого объема данных состоит в использовании так называемого формата 2D+Z. Любому обычному (2D) изображению можно сопоставить информацию об удаленности каждого пиксела от наблюдателя (Z-координату). Такое представление изображения называют "формат 2D+Z", а плоскость координат Z – "картой глубины". Ее можно представить в виде монохромного изображения. В карте глубины градациями серого обозначается удалённость точек изображения от наблюдателя. На рис. 5 показан пример оригинального изображения и карты глубины.

Рис. 5. Оригинальное изображение и карта глубины (изображения с сайта www.stamptex.pl).

Формат 2D+Z является продолжением концепции представления информации об изображении по компонентам. Как известно, и в аналоговом, и в цифровом телевидении изображение формируется из яркости и двух цветовых составляющих. Добавление еще одного компонента, характеризующего "объемность" изображения, является вполне логичным развитием и хорошо согласуется с принципами совместимости. Действительно, в настоящее время черно-белые телевизоры успешно работают, воспринимая только яркостный компонент телевизионного изображения, в то время как цветные телевизоры используют все данные. При трансляции видео, содержащего информацию об объеме изображения, дополнительные данные могут быть использованы теми устройствами визуализации, которые умеют их правильно интерпретировать и игнорированы остальными. Использование формата 2D+Z позволяет осуществить передачу стереоскопического видео с увеличением потока данных всего на 25-30%. Таким образом, удовлетворяется требование приемлемого объема данных.

Однако 2D+Z -- это не моногракурсная серия и даже не стереопара. Чтобы показать объемное изображение, необходимо выполнить расчет серии кадров. Восстановление стереоскопического изображения происходит путем интерполяции исходного изображения с учетом карты глубины. Полученная серия кадров затем демонстрируется с использованием растрового дисплея (рис. 6).

Рис. 6. Трансформация 2D+Z изображения в серию кадров и показ на устройстве объемной визуализации (изображения с сайта www.philips.com, www.isu3d.org).

Формат MPEG-2 имеет дополнительный многоракурсный (multiview) профиль, принятый в 1996 году и позволяющий кодировать и передавать изображения с двух и более камер [см. Jens-Rainer Ohm. Stereo/Multiview Video Encoding Using the MPEG Family of Standards.]. Спецификация формата MPEG-4, части 2, определяющая способ кодирования видеообъектов, позволяет стандартным способом передавать и обычное 2D изображение, и соответствующую ему карту глубины (Z). Аналогичные возможности есть и в MPEG-4, части 10 (AVC). Причем стандарты определяют возможность кодировать плоскость Z как дополнительные данные, которые могут быть проигнорированы устройствами, не ожидающими их появления. При этом наличие Z никак не повлияет на декодирование основного изображения. Форматы MPEG-2 и MPEG-4 (AVC) являются основными в цифровом телевидении, поэтому уже есть достаточная база для стандартной трансляции 3D видеоданных. Надо отметить, что работа над стандартизацией продолжается, и принятие очередных добавлений ожидается к 2011 году [см. Atanas Gotchev. Computer Technologies for 3D Video Delivery for Home Entertainment.].

Уже имеющиеся в настоящее время наработки позволяют приступить к непосредственной реализации систем стереоскопического вещания в интернет-сетях (IPTV). В таких сетях есть возможность предоставлять услугу 3D индивидуально, а не транслировать поток на тысячи абонентов, из которых только несколько процентов пока имеют 3D-мониторы. Рядом мировых производителей мониторов выпускаются модели, позволяющие показывать объемные изображения. В частности, Philips промышленно выпускает 3D мониторы, основанные на растровом принципе. Входными данными таких мониторов является обычное изображение и карта глубины (формат 2D+Z) [3D Interface Specifications. White Paper. Philips 3D Solutions]. Данные мониторы получили распространение и успешно используются для демонстрации рекламы в крупных торгово-выставочных помещениях. Есть информация об их применении в тестовых системах 3D IPTV [5. Philips and eventIS demonstrate 3D video-on-demand at IBC2007]. Недостатком является необходимость специальной обработки изображения перед передачей на монитор. В настоящее время обработка выполняется с помощью компьютера и специального программного обеспечения. Использование компьютера не всегда удобно и ограничивает сферу применения мониторов такого типа.

Как было отмечено выше, 2D+Z видеоданные могут быть переданы в виде, сжатом в соответствии с общепринятым стандартом MPEG-2 или AVC. Декодирование стандартных потоков может быть выполнено и с помощью компактных устройств декодирования цифрового видео (set top box -- STB). Однако выпускаемые многими мировыми производителями STB не генерируют необходимую управляющую информацию для правильной интерпретации данных о глубине. Российской компанией "Элекард" (Elecard) выпускается серия STB на базе DSP-процессоров Philips Nexperia и TI DaVinci [ Elecard iTelec STB 61x ]. Особенность этих устройств в том, что они сочетают в себе свойства аппаратного декодера (малый размер, низкое потребление мощности в пределах 6-8 Ватт, надежность), а также гибкость программного обеспечения (легкость наращивания функционала). Архитектура этих устройств позволяет менять встроенное в них программное обеспечение. Это дает возможность легко наращивать функциональность устройств, не меняя при этом аппаратную часть и, например, предусмотреть в партии устройств возможность работы с объемным изображением.

Разработана специальная версия программного обеспечения для STB, которая выполняет формирование служебной информации, необходимой для показа видео в формате 2D+Z на 3D мониторе. Рабочий прототип устройства показан на рис. 7. Рисунок иллюстрирует декодирование потока MPEG-2 1920х1080 (HD) формата 2D+Z в реальном времени. Вся картинка в ширину 1920, но на 3D мониторе будет показана только левая часть. Правая часть – это информация о глубине.

Рис. 7. Прототип Elecard 3DSTB. Декодирование MPEG-2 1080 HD видеопотока в формате 2D+Z.

При переключении STB в режим объемной визуализации в изображение добавляется управляющая информация, которая обеспечивает объемную визуализацию на автостереоскопических дисплеях. Такой 3DSTB позволяет расширить сферу применения устройств стереоскопической визуализации. Elecard 3DSTB имеют аналоговые выходы для подключения к бытовым телевизорам и DVI/HDMI интерфейсы для подключения к цифровым устройствам. По сути, это реальная возможность создать доступные для большого числа абонентов услуги стереоскопического телевидения по IP-сетям (IPTV) и в перспективе обеспечить реализацию стереоскопического телевизионного вещания. Кроме того, компактность устройства 3DSTB облегчает использование стереоскопических мониторов для оформления и демонстрации рекламной информации в магазинах и других общественных местах.

IPTV-сети с использованием Elecard STB SD разрешения развертываются в городах Екатеринбург, Челябинск, Красноярск, Уфа, Москва и др. Прототип Elecard 3DSTB изготовлен на основе разработки для серийного производства HD версии Elecard STB. Обе разработки (3DSTB и HD STB) проходят тестовые испытания, их серийное производство намечено на 2009 год. Тестирование ведется с использованием мониторов Philips 3D Wow display.

Построение системы объемного телевидения невозможно без достаточного количества 3D видеоматериалов, средств конвертации в различные форматы и соответствующих кодеков. Многие мировые киностудии уже стали снимать новые фильмы в формате стереопары, то есть сразу двумя камерами (рис. 8).

Рис. 8. Камера для 3D видеосъемки (использованы изображения с сайта www.inition.co.uk).

Такая съемка позволяет демонстрировать стереоскопические фильмы в кинотеатрах и на мониторах, работающих с использованием поляризационной технологии. Однако двух кадров недостаточно для демонстрации объемного видео на автостереоскопических устройствах. Как было отмечено выше, формат 2D+Z представляется наиболее приемлемым вариантом с точки зрения применимости для реконструкции стереоизображения и размера передаваемых данных. Поэтому актуально решение задачи преобразования стереопары в формат 2D+Z. Математически это задача нахождения относительного расстояния до объектов по двум изображениям. Уже существуют программные продукты, позволяющие выполнить расчет Z (карты глубины), например, для стереопары фотографий карту глубины позволяет автоматически найти программа Triaxes StereoTracer, для видео -- BlueBox от фирмы Philips 3D Solutions. Несмотря на наличие уже существующих средств расчета 2D+Z, эта область предоставляет широкие возможности для исследований и разработки новых продуктов.

Еще более сложной задачей является преобразование большого количества 2D материалов в формат объемной визуализации. Разработки в этой области ведут многие компании мира, в том числе российская компания "Триаксес Вижн" (Triaxes Vision), основанная на базе компаний "Триаксес" и "Элекард" для разработки системы цифрового объемного телевидения 3DTV.

Проект, представленный "Триаксес Вижн" на конкурс Фонда содействия развитию предприятий в научно-технической сфере, по оценкам экспертов, занял первое место в Сибирском Федеральном округе. Проект включает решение следующих задач:

• разработка математических алгоритмов и программ преобразования 2D видео в 3D (2D+Z);
• реализация кодирования 3D информации в требуемый формат;
• обеспечение совместимости форматов 3D видеокодирования с используемым в настоящее время и планируемым к запуску в 2015 году оборудованием цифрового телевизионного вещания;
• проектирование схемы передачи и декодирования на приемном конце;
• вывод 3D видео на монитор (телевизор).

В настоящее время в рамках проекта уже разработаны модификации стандартных MPEG-2 и MPEG-4 (AVC) видеокодеков, предназначенные для компрессии 3D видеоданных. Разработаны модули преобразования видео в 2D+Z формат, а также программный модуль для создания 3DSTB.

Компанией "Элекард" совместно с "Триаксес Вижн" создан прототип системы доставки 3D видео-по-запросу. Система включает сервер, содержащий библиотеку 3D видеофильмов и обеспечивающий сервис видео-по-запросу, (video on demand — VOD), и распределенную сеть абонентов, стереомониторы которых оснащены приставками 3DSTB (рис. 9).

Рис. 9. Схема прототипа 3D IPTV системы.

Областью применения таких систем может быть и вещание 3D видео в сетях IPTV для отдельных абонентов, и доставка цифрового видео к большим экранам демонстрации рекламной информации в стереоскопическом формате.

Демонстрация разработанной системы планируется в 2009 году на тематических выставках в России и других странах.