Патент на изобретение №2201654
|
||||||||||||||||||||||||||
(54) СПОСОБ НИЗКОШУМОВОГО КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ
(57) Реферат: Изобретение относится к сжатию изображения для снижения требований к ширине полосы цифрового видеодекодера. Техническим результатом является получение улучшенного восстановления изображения для высокочеткого воспроизведения, что позволяет передавать одну программу высокой четкости с несколькими программами стандартной четкости по каналу наземной трансляции 6 МГц. Технический результат достигается тем, что адаптивный процессор цифрового изображения предшествует MPEG2-кодеру и принимает сигнал высокой четкости (1920  1080 пикселей на изображение), предназначенный для трансляции или хранения, и адаптивно фильтрует сигнал по низким частотам. Сигнал подвергается двумерной фильтрации низких частот для устранения искажений кодирования и связанного с ним шума, затем горизонтально прореживается для создания гибридного сигнала более низкого разрешения (12801080 пикселей на изображение), который распаковывает и декодирует приемник, после чего производится увеличение частоты дискредитации гибридного сигнала до его исходного разрешения. 6 с. и 24 з.п. ф-лы, 5 ил., 1 табл.
Область техники, к которой относится изобретение Это изобретение относится к сжатию изображения для снижения требований к ширине полосы цифрового видеокодера. Уровень техники Федеральная комиссия связи (FCC) США утвердила цифровой стандарт телевидения высокой четкости (ТВЧ), предложенный компанией Grand Alliance (GA), подготавливая почву для наземной трансляции цифрового телевидения в США. ТВЧ система компании GA использует международный стандарт сжатия и передачи видеосигнала Экспертной группы в области подвижного изображения MPEG2. Для ознакомления с подробностями смотрите “Информационные технологии – общее кодирование киноизображения и взаимосвязанной аудиоинформации: Видео” ISO/IEC 13818-2: 1996 (Е). При использовании современных и сложных способов сжатия видеосигнала, таких как обработка источника, оценка и компенсация движения, задание преобразования и статистическое кодирование, система сжатия MPEG может уменьшить битовую частоту передачи на коэффициент 50 и более. До сжатия полный сигнал высокой четкости в течение одной секунды требует приблизительно одного миллиарда бит. Как предложено в спецификации GA, изображения размером 1920 1080 пикселей (элементов изображения) с частотой 60 полей в секунду сжимаются до 18 мегабит в секунду для цифровой трансляции.
Система сжатия видеосигнала компании GA обычно содержит две главные подсистемы, препроцессор и видеокодер MPEG2, за которыми следует выходной буфер. Входным сигналом в препроцессор является аналоговый видеосигнал в формате RGB (red-green-blue, красный – зеленый – голубой). Препроцессор переводит входные сигналы в цифровую форму и выполняет гамма-коррекцию каждого цветового компонента для компенсации нелинейной характеристики, формирующей изображение камеры. Гамма-коррекция уменьшает видимость шума квантования, содержащегося в сжатом изображении, особенно в темных областях изображения. Затем препроцессор линейно преобразует переведенные в цифровую форму и прошедшие гамма-коррекцию дискретизированные сигналы RGB в цветовое пространство SMPTE (Society of motion picture and television engineers – Общество инженеров кино и телевидения) 240М YC1C2. В заключение, результирующие компоненты сигнала цветности подвергаются субдискретизации для создания цифрового входного видеосигнала 4:2:0. Кроме только что описанных задач препроцессор может выполнять преобразование изображения. Например, в цифровой спутниковой системе трансляции видеосигнал горизонтально прореживается с 720 пикселей на строку до 544 пикселей на строку для дальнейшего снижения требований к ширине полосы. Этот сигнал посылается в видеокодер MPEG2.
Видеокодер MPEG2 сжимает входной цифровой видеосигнал путем удаления некоторой временной избыточности между кадрами и некоторой пространственной избыточности внутри кадров. Обычно сжатие достигается путем использования ряда различных технологий в последовательном порядке, как описано выше. Регулирование точности квантования позволяет кодеру генерировать сжатый битовый поток любой частоты, заданной конкретным приложением. Квантование в системах MPEG2 выполняется над коэффициентами дискретного косинусного преобразования (DCT – discrete cosine transform) блока данных, который может представлять собой информацию исходного изображения или разностную информацию от оценки движения. Используя матрицы квантования совместно с масштабируемыми размерами шага квантования, квантователь выбирает и квантует лишь небольшую долю коэффициентов дискретного косинусного преобразования от каждого блока дискретного косинусного преобразования, предназначенного для передачи, что приводит к значительному уменьшению объема данных. Матрицы квантования могут меняться на покадровой основе согласно статистическому распределению коэффициентов дискретного косинусного преобразования и содержимому видеосигнала. Для различных зон внутри кадра квантование может точно настраиваться от макроблока к макроблоку путем масштабирования размера шага квантования исходя из сложности макроблока. Для заданной выходной битовой частоты выходной буфер будет предоставлять управляющие сигналы, используемые кодером для регулирования размера шага квантования для конкретного кадра, чтобы увеличить до максимума разрешающую способность квантования в пределах доступной ширины полосы.
В идеальном случае система сжатия видеосигнала удаляет высокочастотные компоненты, которые не будут восприниматься зрителями как пропавшие, когда изображение восстанавливается и воспроизводится. Остающиеся низкочастотные компоненты квантуются, чтобы уместиться в пределах доступной ширины полосы. Шум квантования, внесенный в сигнал, также должен быть невидим зрителям при восстановлении изображения. Однако в реальной системе выбирается оптимальное соотношение между передаваемой информацией и размером шага квантования для доступной ширины полосы. Если система не обеспечивает достаточного количества коэффициентов для квантования, система увеличивает размер шага квантования, что приводит к блочным искажениям в восстановленном изображении. Если картинка во время процесса сжатия теряет слишком много высокочастотной информации, восстановленное изображение будет содержать другие заметные искажения контуров.
Более того, различия в квантовании между кадрами приводят к тому, что кадры в группе картинок содержат различающиеся высокочастотные компоненты. I кадр, например, может потерять существенное количество высокочастотных коэффициентов во время кодирования, в то время как Р и В кадры сохраняют высокочастотные компоненты, соответствующие потерянным в I кадре. Восстановленная группа картинок будет теперь содержать искажения, так как высокочастотная информация различается между кадрами, используемыми для восстановления друг друга.
Эти проблемы возникают в системе GA, которая существует в настоящее время. Сжатие сигнала изображения высокой четкости лишь далее снижает качество воспроизводимой картинки. Провайдеры услуг спутниковой трансляции не желают передавать сигналы высокой четкости, так как единовременно через транспондер может передаваться только одна программа. Осуществляемое для соответствия требованиям сжатие программы высокой четкости, достаточное для размещения двух программ на одном спутниковом канале (например, канале 24 МГц с четырехпозиционной фазовой манипуляцией (PSK phase-shift keying)) в одно и то же время, приводит к неприемлемому для зрителя качеству картинки. Следовательно, провайдеры услуг спутниковой трансляции не решаются транслировать ТВЧ из-за неэффективного использования канала. Подобным же образом, провайдеры услуг наземной трансляции неохотно берутся за предоставление полных программ высокой четкости, когда одна программа полностью занимает канал, в котором могут разместиться несколько программ стандартной четкости (SD – standard definition).
Сущность изобретенияСогласно принципам настоящего изобретения процессор цифрового изображения идентифицирует тип видеосигнала и селективно преобразует формат исходного сигнала в другой формат так, как это необходимо. Преобразованный сигнал фильтруется и преобразуется обратно в исходный формат так, как это необходимо. Фильтрованный сигнал преобразуется до более низкого разрешения и сжимается до планируемой битовой частоты. В заключение сжатый сигнал подается на выходной канал данных. Краткое описание чертежей На фиг. 1 показана одна из конфигураций устройства сжатия видеосигнала согласно настоящему изобретению. На фиг.2 подробно показан блок 22, изображенный на фиг.1. На фиг. 3 показана одна из возможных характеристик адаптивного фильтра, включенного в блок 22. Фиг. 4 представляет собой блок-схему примерной передающей системы, использующей настоящее изобретение. Фиг.5 представляет собой блок-схему примерной принимающей системы, использующей настоящее изобретение. Описание предпочтительного варианта реализации изобретения MPEG2-кодер, включающий устройство, соответствующее принципам настоящего изобретения, содержит перед кодером двумерный (например, вертикальный и горизонтальный) фильтр. Кодер, выходной буфер и фильтр каждый генерируют информацию, которая может быть использована другими блоками для повышения общей эффективности. Такая информация касается, например, движения изображения, контраста изображения, выбора матрицы квантования, выбора коэффициента масштабирования, битовой частоты на выходе каждого блока, текстуры изображения. Обмен данной информацией между блоками осуществляется при помощи контроллера, который отслеживает процесс кодирования, или при помощи индивидуальных контроллеров, размещенных в каждом блоке. Контроллер оценивает входящую информацию и определяет унифицированности по группе картинок, кадру или части кадра, использование которых может быть полезно для модификации работы фильтра и/или кодера с целью эффективного кодирования группы, кадра или части кадра до планируемой битовой частоты. Обычно фильтр регулируется, так как регулирование фильтра порождает меньше шума, чем регулирование кодера. Также, фильтр в действительности представляет собой группу фильтров, что делает возможной наибольшую гибкость при регулировании коэффициентов индивидуальных фильтров так, как это требуется. Эти фильтры представляют собой горизонтальный фильтр низких частот для устранения эффектов наложения спектров/ вертикальный фильтр низких частот и двумерный фильтр низких частот, расположенные обычно в только что указанном последовательном порядке. Контроллер оценивает принятую информацию с точки зрения настройки текущего фильтра и кодера и производит регулировку одного или более фильтров и/или кодера в соответствии с одной или более доминирующими унифицированностями. Конечным результатом является то, что входной сигнал фильтруется фильтром по низким частотам методом, который в основном позволяет кодеру закодировать изображение однородно по группе картинок, кадру или части кадра относительно доминирующей унифицированности однородно кодируемых данных. Кодированный сигнал может передаваться в доступной ширине полосы и затем восстанавливаться и воспроизводиться без искажений, которые присутствовали бы в ином случае. Для сигналов высокой четкости, имеющих размер кадра изображения 1920 1080 пикселей, после фильтрации и перед кодированием горизонтальное разрешение уменьшается до 1280 пикселей на строку для дальнейшего уменьшения ширины полосы передаваемого сигнала. Результатом является гибридное разрешение для изображения, которое приемники высокой четкости могут принять, декодировать и воспроизвести при незначительных изменениях в программных средствах.
Примерная конфигурация системы сжатия видеосигнала согласно настоящему изобретению показана на фиг.1. Входной видеосигнал принимается детектором киноизображения 20, который определяет, является ли сигнал сигналом киноизображения (пленки), который переформатирован способами телекинопреобразования с 24 кадров в секунду на 30 кадров в секунду. Переформатированный сигнал киноизображения направляется в соответствующую секцию адаптивного процессора изображения 22, как будет описано далее. Если входной сигнал не является переформатированным сигналом киноизображения, сигнал проходит в другую секцию адаптивного процессора изображения 22. Идентификация сигналов киноизображения, прошедших телекинопреобразование, происходит с использованием известных способов.
Процессор 22 принимает управляющую информацию от выходного буфера 26 и от MPEG2-кодера 24 через контроллер 28 и фильтрует кадры изображения так, чтобы кодер 24 мог эффективно кодировать кадр таким образом, чтобы кадр находился в пределах доступной битовой частоты и был в основном свободен от заметных искажений. Процессор 22 фильтрует сигнал в двух направлениях (2-D) (например, горизонтальном и вертикальном), что требуется для улучшения качества восстановленного изображения, полученного из кодированного в формате MPEG2 битового потока, сжатого до средней битовой частоты. Задачей является модификация локального двумерного частотного содержания источника для повышения эффективности MPEG2-кодирования методом, в наименьшей степени повреждающим восстановленное из формата MPEG2 изображение с точки зрения четкости изображения и искажений при кодировании. Фильтрация сигнала может применяться к заранее определенным данным, например группе картинок или кадров, отдельному кадру или попиксельно.
Двумерный фильтр фильтрует низкие частоты изображения. В оптимальном варианте высокочастотная информация, которая удаляется, либо избыточна, либо незаметна для зрителя. На практике, чтобы достичь требуемой битовой частоты, может быть удалена некоторая часть высокочастотной информации, которая заметна для зрителя. Однако система, которая включает перед MPEG2-кодированием процессор 22, генерирует изображение, лучшее по сравнению с системой без процессора 22, что будет рассмотрено далее.
Фильтрованный сигнал кодируется MPEG2-кодером 24, который получает параметры изображения от процессора 22 и выходного буфера 26 через контроллер 28 и регулирует сжатие в формате MPEG2 так, чтобы оно соответствовало доступной битовой частоте. Сжатие происходит таким же образом, как описано в спецификации GA. Кодер 24 посылает сжатые данные в выходной буфер 26. Буфер 26 предоставляет сжатые данные на заранее определенной частоте для кодирования в целях транспортировки, модуляции и передачи по каналу передачи с использованием известных технологий обработки сигнала. Перед модуляцией сжатый сигнал может быть послан в статистический мультиплексор для мультиплексирования с несколькими программами для передачи по одному каналу. Блоки обработки сигнала после буфера 26 хорошо известны и, следовательно, не показаны на фиг.1 для упрощения чертежа.
Система сжатия видеосигнала может быть сконфигурирована таким образом, чтобы воспринимать любой тип видеосигнала. Система на фиг.1 сконфигурирована для принятия как телепрограмм (камера), так и кинопрограмм (пленка), форматированных в известных промышленных стандартах. Например, одна общая конфигурация использовалась бы для системы по фиг.1, чтобы принять выходной сигнал от препроцессора, как ранее рассмотрено в разделе “Уровень техники”. Система может быть сконфигурирована для принятия других типов видеосигналов добавлением соответствующих аппаратных и/или программных средств.
Эти конфигурации не показаны для упрощения фиг.1.
Детектор киноизображения 20 распознает наличие определенных соотношений во входном сигнале, которые могут быть использованы для повышения эффективности кодирования: (Тип 1) Источник с чересстрочной разверткой 60 полей в секунду, (Тип 2) Киноизображение 30 кадров в секунду с чересстрочной разверткой 60 полей в секунду, (Тип 3) Киноизображение 24 кадра в секунду с чересстрочной разверткой 60 полей в секунду, (Тип 4) Источник с построчной разверткой, (Тип 5) Киноизображение 30 кадров в секунду с построчной разверткой 60 кадров в секунду, и (Тип 6) Киноизображение 24 кадра в секунду с построчной разверткой 60 кадров в секунду. Детектирование происходит в ответ на внешний управляющий сигнал (не показан) или с использованием известных технологий, например тех, которые используются в современных MPEG2-кодерах стандартной четкости. Информация о формате сигнала поступает вместе с самим сигналом в адаптивный процессор изображения 22, как описано ниже. Детектор киноизображения 20 также распознает, относится ли сигнал к типу с чересстрочной или к типу с построчной разверткой и направляет эту информацию процессору 22. Эти типы разверток являются примерными и задают параметры, по которым сигналы направляются через процессор 22. Могут также быть использованы варианты реализации других частот полей и кадров.
Адаптивный процессор изображения 22 выполняет несколько программируемых функций, уменьшающих объем данных, которые нужно сжать при помощи кодера 24. Процессор 22 в основном обрабатывает каждый кадр, так чтобы обработанный кадр мог быть закодирован оптимальным образом для устранения или значительного уменьшения шума, который заметен зрителю. Процессор 22 может в основном рассматриваться как пространственный изменяющийся двумерный фильтр низких частот, так как он прореживает каждый кадр изображения, пространственно и адаптивно отфильтровывает выбранные двумерные высокочастотные компоненты из сигнала. Для создания обработанного кадра адаптивная фильтрация может регулироваться по серии кадров, для отдельного кадра или попиксельно.
Процессор 22 может облегчить кодирование для любого типа сигнала. Однако для данного варианта настоящего изобретения процессор 22 программируется для работы с данными высокой четкости, как задано спецификацией GA. Это может быть либо 19201080 пикселей на изображение, либо 1280720 пикселей на изображение. Согласно спецификации GA каждый формат высокой четкости требует для трансляции приблизительно 18 мегабит в секунду. Для упрощения обсуждения далее будет подробно рассмотрен только формат 19201080. Данное рассмотрение в равной степени применимо для формата 1280720 или любого другого формата.
На фиг.2 подробно показан адаптивный процессор изображения 22. В зависимости от информации о формате сигнала, полученной от детектора 20, сигнал изображения направляется контроллером 28 (фиг. 1) в преобразователь чересстрочной развертки в построчную 221 (Тип 1), блок обратного телекинопреобразования 222 (Тип 2, 3) или проходит немодифицированным (Тип 4-6) в пространственный фильтр нижних частот с ограниченной полосой частот 223. Фильтр 223 принимает выходной сигнал из блоков 221 и 222 после того, как эти блоки обработали сигнал.
Преобразователь 221 принимает сигнал, если его формат содержит чересстрочные поля с частотой 60 Гц, и преобразует сигнал в построчные кадры с частотой 60 кадров в секунду. Построчный кадр включает всю информацию изображения в каждом кадре. Фильтрация сигнала с построчной разверткой в типичном случае не вносит искажений, как это может произойти при фильтрации информации полей чересстрочного сигнала. Преобразователь 221 применяет известные способы для преобразования чересстрочных полей в построчный кадр.
Блок обратного телекинопреобразования 222 удаляет избыточные поля из киноизображения с чересстрочной разверткой частотой 60 Гц и восстанавливает исходное киноизображение с построчной разверткой. Построчный формат делает возможной последующую вертикальную фильтрацию низких частот без искажений движения. Если входной сигнал источника киноизображения (Тип 2 или Тип 3) обрабатывался как источник Типа 1, вертикальная фильтрация низких частот понизит способность MPEG2-кодера обнаруживать и должным образом обрабатывать материал источника киноизображения. Пострадает эффективность кодирования. Блок 222 преобразует сигнал в построчный формат и перед фильтрацией удаляет избыточные поля/кадры, так как фильтрация может отфильтровать данную избыточную информацию по-разному. Если избыточная информация перед фильтрацией не удаляется, информация после фильтрации может не быть идентичной, и кодер может не распознать сигнал как сигнал Типа 2/3. Тогда кодер закодирует информацию, которая в ином случае была бы удалена из-за избыточности.
Также структура процессора 22 упрощена путем обеспечения единого выходного тактового сигнала из блока 222. Если блок 222 предоставляет выходные построчные киноизображения с частотой 24 кадра в секунду и 30 кадров в секунду, потребуется два выходных тактовых сигнала и поддерживающая их схема.
Сигналы, которые первоначально были созданы в построчном формате 30 кадров в секунду, проходят непосредственно в фильтр 223. Фильтр 223 ожидает видеоинформации, представленной как законченные кадры изображения. Пространственный фильтр низких частот 223 в действительности является группой фильтров. Например, первый фильтр представляет собой горизонтальный фильтр низких частот для устранения эффектов наложения спектров. Второй фильтр представляет собой вертикальный фильтр низких частот. Последний фильтр представляет собой двумерный фильтр низких частот, как описано ранее. Коэффициенты каждого вывода фильтра могут адаптивно устанавливаться в соответствии с управляющей информацией от кодера 24 и буфера 26, как видно на фиг.1. Построчный сигнал горизонтально фильтруется по низким частотам для исключения наложения спектров при последующем прореживании в преобразователе частоты дискретизации 226. Окончательный горизонтальный результат от 1920 пикселей на строку будет 1280 пикселей на строку, как будет рассмотрено далее. Для устранения шума от наложения спектров в результирующем сигнале фильтр низких частот 223 имеет частоту отсечки 640 циклов на строку. Горизонтальный фильтр для устранения эффектов наложения спектров, включенный в блок 223, может представлять собой фильтр с конечной импульсной характеристикой (КИХ) с 17 выводами со следующими коэффициентами для выводов:[f0, f1, …, f15, f16]=[-4, 10, 0, -30, 48, 0, -128, 276, 680, 276, -128, 0, 48, -30, 0, 10, -4]/1024. Кодирование видеосигналов высокой четкости на уменьшенной битовой частоте обычно требует дополнительной вертикальной фильтрации низких частот для дальнейшего уменьшения ширины полосы видеосигналов. Удаление вертикальной высокочастотной энергии перед MPEG – кодированием необходимо, для достижения приемлемого общего качества картинки. Вертикальные частотные области наиболее высокой фазовой чувствительности ослабляются. Вертикальная частота отсечки устанавливается равной некоторой доле частоты Найквиста. Например, для некоторого видеоматериала может подойти частота отсечки, равная приблизительно половине частоты строк входного сигнала высокой четкости. Для сигнала высокой четкости с 1080 строками на высоту картинки это соответствовало бы отсечке 540 строк на высоту картинки. Эта частота может быть программируемой, и программируемая частота отсечка тогда будет определяться контроллером 28 из параметров, доступных от кодера 24 и буфера 26 на фиг.1 (т.е. требуемой битовой частоты, матриц квантования и т.д.). Вертикальный фильтр низких частот, включенный в блок 223, может представлять собой КИХ-фильтр с 17 выводами со следующими коэффициентами для выводов: [f0, f1,…, f15, f16]=[-4, -7, 14, 28, -27, -81, 37, 316, 472, 316, 37, -81, -27, 28, 14, -7, -4]/1024. В качестве альтернативы частота отсечки может быть равна двойной частоте строк сигнала стандартной четкости. Обычно вертикальный фильтр низких частот следует за горизонтальным фильтром, предназначенным для устранения эффектов наложения спектров. Процессор 22 выполняет вертикальную фильтрацию, а не вертикальную децимацию, в результате чего поддерживается постоянное вертикальное строковое разрешение. В настоящее время фильтрация более предпочтительна для чересстрочных видеосигналов, чем децимация. Преобразование вертикального строкового разрешения для чересстрочной последовательности изображения требует сложных аппаратных и программных средств, что приводит к высокой стоимости приемника. Вертикальное преобразование частоты дискретизации отрицательно сказывается на вертикальной высокочастотной характеристике из-за возрастающей сложности выводов в комбинации с дискретизацией Найквиста (т.е. отсутствием супердискретизации). Стоимостные соображения для приемника в настоящее время делают неперспективным уменьшение вертикального разрешения для уменьшения искажений и битовой частоты, получаемой в результате кодирования. Воспроизводимая картинка значительно ухудшалась бы при использовании существующей технологии в преобразователях вертикальной частоты дискретизации вместо вертикального фильтра низких частот, описанного выше. Однако эффективные и экономически выгодные преобразователи вертикальной частоты дискретизации могут заменить описанный здесь вертикальный фильтр, не нарушая принципов настоящего изобретения. Коэффициенты как для горизонтального, так и для вертикального фильтров низких частот могут быть модифицированы программным путем и, если необходимо, могут быть применены на пиксельном уровне для достижения планируемой битовой частоты без создания искажений в восстановленном изображении. Обычно достаточно модификации коэффициентов на покадровой основе. Альтернативой для более медленных процессоров является предварительное программирование ряда различных наборов коэффициентов для фильтров и выбор набора, наиболее подходящего для обрабатываемой информации изображения. Большая гибкость адаптивных фильтров дает возможность всей системе в целом создавать поток данных с меньшим количеством искажений по сравнению с системой без адаптивных фильтров. После того как сигнал отфильтрован по низким частотам в горизонтальном и вертикальном направлениях блоком 223, контроллер 28 определяет, может ли сигнал быть однородно закодирован кодером 24 на покадровой основе без внесения значительного шума квантования. Если это так, то сигнал поступает в любой из блоков 224, 225 или 226 в зависимости от его формата, как будет рассмотрено далее. Если, однако, процесс кодирования, по всей вероятности, внесет шум и/или искажения в сигнал, сигнал посылается в двумерный фильтр низких частот в блоке 223 для дальнейшей адаптивной фильтрации. Управляющие параметры от процессора 22, кодера 24 и выходного буфера 26 (фиг.1) позволяют контроллеру 28 (или индивидуальному контроллеру блока в блоке 223) определить, требуется ли дальнейшая фильтрация. Используемые для осуществления этого определения управляющие параметры представляют собой, например, измерения движения и контраста, доступные таблицы квантования, эффективность кодирования и текущую планируемую битовую частоту. Двумерный фильтр в блоке 223 уменьшает объем высокочастотной информации, поступающей от кадра изображения, главным образом в направлении по диагонали вместо горизонтального или вертикального направлений по отдельности. Человеческий глаз очень чувствителен к высокочастотному шуму по вертикали и горизонтали в диагональных направлениях. Удаление достаточного объема высокочастотной информации по диагонали, чтобы сделать возможным однородное квантование кодером 24, обычно дает результатом сигнал более высокого качества с меньшим наблюдаемым шумом. Диагональный фильтр, как и вся предыдущая фильтрация, работает с кадром изображения целиком и является программируемым. Диагональный фильтр может быть совместим с матрицами квантования в кодере. Матрицы квантования часто применяют ромбовидные матрицы для квантования I кадров. Однако эти матрицы часто порождают шум, так как В и Р кадры используют другие типы матриц квантования, которые сохраняют высокочастотные компоненты во время процесса сжатия и компенсации движения, который происходит в кодере 24. Фильтры процессора 22 удаляют высокочастотную информацию из каждого кадра изображения перед тем, как MPEG2-кодер 24 создает в процессе обработки данных I, P и В кадры в контуре оценки движения. Таким образом, высокочастотные компоненты в основном удаляются из Р и В кадров, так же как и из I кадров. При восстановлении, как известно, изображение в основном свободно от искажений, созданных MPEG2-кодированием. На практике контроллер 28 по фиг.1 оценивает параметры сигнала (например, движение, контраст и т.д.) перед фильтрацией конкретного кадра процессором 22 и определяет настройки коэффициентов для всех фильтров в блоке 223, включая необходимую диагональную фильтрацию. Во время процесса фильтрации конкретного кадра контроллер 28 отслеживает параметры сигнала, поступающие от процессора 22, кодера 24 и буфера 26 и изменяет коэффициенты так, как это необходимо для поддержания планируемой битовой частоты с минимальными искажениями/шумом. Каждый кадр фильтруется на основе самых последних параметров сигнала и поступает в кодер 24 для сжатия и затем в буфер 26, в то время как последующая информация вводится в фильтр 223. Если сигнал был создан как сигнал киноизображения с частотой 24 кадра в секунду, фильтрованный сигнал подается в блок 224, предназначенный для растягивания 3:2. Блок 224 дублирует выбранные кадры, чтобы обеспечить выходной сигнал с частотой 30 кадров в секунду. Это происходит с использованием известных способов. Затем из блока 224 сигнал поступает в преобразователь с горизонтальным прореживанием 226. Блок субдискретизации полей 225 преобразует построчные сигналы от фильтра 223 из формата построчной развертки в формат чересстрочной развертки. Это преобразование осуществляется известными способами. Без обратного преобразования в чересстрочный формат сигнал содержал бы двойной объем данных, так как частота построчных кадров, поступающих от блока 221, составляет 60 Гц. Чересстрочный сигнал подается в преобразователь 226. Преобразователь частоты дискретизации 226 получает построчные сигналы частотой 30 кадров в секунду непосредственно от фильтра 223. Кроме того, как описано выше, в преобразователь 226 предоставляют сигналы блоки 224 и 225. Преобразователь 226 прореживает сигналы высокой четкости до выбранного формата передачи. Этот формат может не быть стандартным. Это может быть любой размер изображения и кадра, который требуется. Однако нестандартный формат потребует модификации приемника. Когда преобразователь 226 получает сигналы ТВЧ стандарта GA 1920 1080, преобразователь 226 прореживает горизонтальную информацию и выводит гибридный пиксельный формат кадра 12801080. Приемники, совместимые со стандартом ТВЧ компании GA, способны принимать кадры изображения, содержащие 19201080 пикселей и 1280720 пикселей. Следовательно, GA-совместимые приемники могут быть модифицированы для поддержки 1280 пикселей горизонтального разрешения и 1080 пикселей вертикального разрешения. Аппаратные средства совместимого приемника увеличивают частоту дискретизации с 1280 горизонтальных пикселей до 1920 горизонтальных пикселей одновременно с увеличением вертикального разрешения. Однако соответствующие стандарту GA приемники не требуются и не программируются для приема кадров изображения с разрешением 12801080 пикселей (горизонтальное разрешение на вертикальное разрешение) в качестве заданного формата. Аппаратные средства для приема и декодирования этого разрешения уже имеются, но должны быть добавлены программные средства для декодирования и увеличения лишь горизонтального разрешения. Добавление программных средств является более простым и дешевым, чем изменение конструкции и добавление новых аппаратных средств, необходимых для других нестандартных форматов.
Процессор 22 предоставляет гибридный формат 12801080, так как современная технология воспроизведения не способна воспроизвести разрешение 1920 пикселей на строку. В настоящее время лучшие телевизионные мониторы могут воспроизвести только разрешение приблизительно 1200-1300 пикселей на строку. Следовательно, ограничение выходного разрешения до 1280 пикселей на строку в горизонтальном направлении оказывает небольшой неблагоприятный эффект на качество картинки, если таковой вообще имеется. Предоставление разрешения при воспроизведении 12801080, которое поддерживается существующими аппаратными средствами приемников для декодирования и распаковки, доставит производителям приемников минимум проблем, так как необходимо лишь изменение программных средств. Для определенных приемников, таких как трансляционные спутники, модификация программных средств может быть загружена и установлена дистанционно по спутниковой линии. Для этих приемников отсутствует необходимость задействования обслуживающего персонала.
Гибридный формат имеет преимущества, так как провайдеры наземных и спутниковых программ не желают передавать программы высокой четкости. Спутниковый транспондер передает битовый поток с частотой приблизительно 24 Мбит в секунду (Мбит/с). Наземные ТВЧ трансляции могут передаваться со скоростью до 19 Мбит/с, включая программу высокой четкости с 18 Мбит/с и другую информацию (например, аудиоканал, программу передач, механизмы доступа и т.д.). Каждый из современных спутниковых транспондеров может нести самое большее одну программу ТВЧ, что провайдеры спутниковых программ считают недостаточно выгодным. Простого уменьшения горизонтального разрешения кадра с 1920 до 1280 недостаточно, чтобы сделать возможной одновременную передачу двух программ высокой четкости через один спутниковый транспондер. Фильтрация, обеспечиваемая процессором 22, успешно позволяет осуществлять подобную двойную передачу высокой четкости по одному каналу.
Характеристика фильтрации, предоставляемая процессором 22, может иметь различные формы, включая ромб, крест и гиперболу по осям координат, где для каждого фильтра фильтрация является диагональной. Одна возможная форма, двумерная гипербола, обладает особыми преимуществами для данного приложения и имеет амплитудно-частотную характеристику, которая изображена на фиг.3. Частота отсечки регулируемого фильтра в основном задается, чтобы позволить однородное сжатие выбранной группы картинок, кадра или части кадра кодером 24. Если необходимо, может фильтроваться дополнительная горизонтальная и вертикальная высокочастотная информация, но обычно этого не требуется. По мере того, как меняется сложность картинки или увеличивается доступная битовая частота, объем данных, отфильтрованных диагональным фильтром и другими предшествующими фильтрами, уменьшается. Двумерный фильтр может быть описан, например, как двумерный КИХ-фильтр с 13 выводами в каждом направлении (1313) или как двумерный фильтр с бесконечной импульсной характеристикой (БИХ-фильтр).
Двумерный КИХ-фильтр, включенный в блок 223, может представлять собой фильтр, имеющий 1313 выводов, с коэффициентами для выводов, приведенными в таблице (см. в конце описания).
Для этих коэффициентов коэффициент передачи преобразования с понижением частоты ДС (DC – down conversion) составляет 1024. Коэффициенты демонстрируют октантную симметрию, которая дает 28 независимых коэффициентов. Симметричные области коэффициентов делают возможной более быструю настройку регулируемого фильтра. Возможно, однако, чтобы каждый октант отличался, если, например, фильтруемое изображение или область демонстрируют отличающуюся характеристику в одной части изображения.
Характеристика фильтра процессора 22 может изменяться непрерывно от одного набора коэффициентов к другому на попиксельной основе. Таким образом, процессор 22 может устанавливать различные рабочие параметры для поддержания хорошего качества изображения при ограничении битовой частоты, как будет рассмотрено далее.
Как упомянуто ранее, процессор 22 может быть адаптивно модифицирован для адаптивной фильтрации в зависимости от параметра (параметров), используемых для задания адаптации фильтра. Например, вариация в кадре изображения может быть использована для сегментирования изображения на области для различной обработки. Контуры являются важной особенностью изображения, так как доминирующие контуры маскируют ошибки кодирования в непосредственной к ним близости, и они также могут определять области изображения. Для идентификации зон низкой сложности, таких как тело или небо, может быть использована колориметрия. Текстуры могут быть также идентифицированы и обработаны как область. Текстуры обычно менее важны, чем контуры. Следовательно, текстуры идентифицируют области, которые могут быть сильнее отфильтрованы, чем другие области. Также, для фиксирования важных образов или действия, которые требуют кодирования с более высокой эффективностью и, следовательно, меньшей фильтрации, может быть использована кинематическая композиция. Фон в основном смягчается глубиной поля оптики камеры и может быть отфильтрован более сильно. Информация панорамирования и обзора может быть использована/ чтобы определить центр интереса в изображении для дифференцированной обработки процессором 22.
Функционирование кодера 24 совместимо со стандартом MPEG2. Кодер 24 может предоставлять через контроллер 28 информацию, которую процессор 22 может использовать для повышения производительности. Такая информация может включать информацию по битовой частоте, например. Эта информация по битовой частоте может содержать среднюю битовую частоту для группы картинок, битовую частоту кадра и битовую частоту макроблока или блока. Другая информация, которая может повысить производительность процессора 22, включает сложность дискретного косинусного преобразования, тип используемой матрицы квантования и используемый размер шага матрицы квантования. Также процессор 22 может предоставлять через контроллер 28 информацию кодеру 24 для регулирования его работы с целью повышения производительности кодирования.
После формирования в транспортный пакетный поток данных с использованием известных технологий, сигнал высокой четкости известным образом передается на приемник, например, как описано в спецификации компании Grand Alliance. За исключением требуемого увеличения частоты дискретизации до полного пиксельного разрешения высокой четкости в приемнике, обработка сигнала, обеспечиваемая процессором 22, прозрачна для декодера в приемнике, совместимом со стандартом Grand Alliance.
В приемнике поток данных демодулируется и транспортный поток обрабатывается для извлечения пакетов данных и информации о программе с использованием известных технологий. Для программ высокой четкости в гибридном формате, описанном выше, частота дискретизации сигнала в процессоре воспроизведения увеличивается в горизонтальном направлении, если воспроизведение требует полного сигнала высокой четкости. Количество вертикальных строк в сигнале изображения остается неизменным. Это восстанавливает полный сигнал высокой четкости с разрешением 19201080 для воспроизведения устройством воссоздания изображения высокой четкости. Если устройство воспроизведения изображения не требует полного сигнала высокой четкости, сигнал подходящим образом прореживается с использованием известных способов во время восстановления изображения перед его воспроизведением. Существующие приемники, совместимые со стандартом Grand Alliance, требуют модификации программных средств, чтобы они могли восстанавливать гибридный сигнал. Модификация программных средств позволяет независимо выбирать алгоритмы горизонтальной и вертикальной аппаратной и программной обработки, выделенные стандартизированным режимом стандарта Grand Alliance, как это требуется для входящего сигнала.
Фиг.4 представляет собой блок-схему прохождения видеосигнала изображения через кодирующую систему. На этапе 30 формат сигнала идентифицируется, и информация идентификации подается вместе с видеосигналом. Информация о формате может указывать, например, происходит ли сигнал первоначально из киноизображения с форматом 24 кадра в секунду и является ли он чересстрочным или построчным. Если видеосигнал является чересстрочным, на этапе 31 он преобразуется в построчный сигнал с частотой 60 кадров в секунду. Если сигнал преобразован растягиванием 3:2, на этапе 32 избыточные кадры удаляются. Если видеосигнал уже имеет построчный формат видеокамеры, он поступает непосредственно в фильтр этапа 34. На этапе 34 видеосигнал пространственно фильтруется по низким частотам. Это включает вертикальную, горизонтальную и диагональную фильтрацию, как описано выше. На этапе 35 происходит повторное преобразование построчного сигнала, который был образован из чересстрочного сигнала на этапе 31, обратно в чересстрочный сигнал. На этапе 36 сигнал подвергается растягиванию 3:2, чтобы вернуть избыточные кадры, ранее удаленные на этапе 32. Видеосигналы, поступившие с этапа 30 непосредственно на этап 34, как описано выше, теперь поступают с этапа 34 непосредственно на этап 38. На этапе 38 видеосигнал с одного из этапов 34, 35 и 36 субдискретизируется до гибридного разрешения сигнала высокой четкости 12801080, определенного выше, или в другой выходной формат, как это необходимо. На этапе 40 гибридный сигнал, кодируется в формате MPEG2, как описано ранее. Этап 42 обрабатывает кодированный сигнал для транспортировки, этап 44 модулирует транспортный сигнал, как требуется для передачи по выходному каналу, такому как высокочастотный канал наземной трансляции. В заключение этап 46 передает модулированный сигнал. Этапы с 42 по 46 осуществляются известными способами.
Фиг. 5 представляет собой блок-схему прохождения переданного сигнала изображения через приемник. Эта блок-схема предполагает, что разрешение изображения принятого сигнала является гибридным сигналом высокой четкости 12801080, определенным выше. На этапе 50 переданный сигнал принимается тюнером и демодулируется. Демодулированный сигнал декодируется и распаковывается из формата MPEG2 на этапе 52. Этап 54 идентифицирует разрешение видеосигнала как 12801080 пикселей на изображение при помощи управляющей информации, посланной вместе с сигналом. Протокол MPEG2 компании Grand Alliance поставляет информацию о разрешении изображения вместе с передаваемым сигналом. Гибридный сигнал обычно идентифицируется уникальным кодом, как и любое другое заданное разрешение. Гибридный сигнал может также быть описан иным образом, например при помощи информации в данных пользователя, содержащихся в передаваемых данных. На этапе 56 во время обработки воспроизведения происходит увеличение частоты дискретизации гибридного видеосигнала в горизонтальном направлении до полного сигнала высокой четкости 19201080. Увеличение частоты дискретизации гибридного сигнала происходит с использованием новых программных средств совместно с существующими аппаратными и программными средствами, имеющимися в приемнике, как описано ранее, В заключение полный видеосигнал высокой четкости воспроизводится на дисплее с разрешением 19201080 на этапе 58. Этапы 50, 52 и 58 используют известные способы.
Устройство и способы, описанные выше, могут быть применены в ряде конфигураций, чтобы достигнуть улучшенного восстановления изображения для высокочеткого воспроизведения. В зависимости от требований конкретной системы могут быть использованы адаптивные и неадаптивные варианты. Некоторые из этих вариантов рассмотрены ниже.
Неадаптивной стратегией было бы задание фильтрации кадров процессором 22 до планируемой битовой частоты и разрешение обрабатывать все изображения однородно. Другая неадаптивная стратегия должна исходить из предположения, что центр воспроизводимого изображения является наиболее интересной областью. Это также предполагает, что периферия изображения менее интересна и, следовательно, менее важна для зрителя. Коэффициенты фильтров процессора 22 устанавливаются контроллером 28 при помощи параметров, которые являются функциями пространственного положения пикселя, и вся информация изображения обрабатывается однородно.
Адаптивным вариантом является сегментация изображения на области с использованием параметров текстурной модели, локальной видеовариации, измерений цветности или других измерений сложности картинки на основе исходного изображения. Характеристики фильтрации процессора 22 адаптивно модифицируются для различных областей.
Другим подходом является адаптивная модификация характеристик фильтрации процессора 22 как функции от разницы между реальной битовой частотой и планируемой битовой частотой. В этом случае один параметр управляет сменой коэффициентов фильтра для двумерного частотного преобразования.
Другой стратегией является разработка такой двумерной частотной характеристики фильтрации, обеспечиваемой процессором 22, которая совместима с матрицей квантования, используемой кодером 24. Матрица квантования может рассматриваться как фильтр низких частот, который имеет двумерную форму. Для этой стратегии величины коэффициентов фильтра должны быть функцией от размера шага матрицы квантования. Так как размер шага изменяется в соответствии с известным режимом функционирования кодера, соответствующее изменение происходило бы для соответствующих коэффициентов фильтра.
Отмеченные выше варианты иллюстрируют гибкость системы, использующей принципы настоящего изобретения. Такая система предпочтительно функционирует в контексте управления частотой стандарта MPEG2 для расширения возможностей MPEG2-сжатия путем уменьшения искажений при кодировании и другого шума. Универсальность и экономичность при внедрении ТВЧ с использованием настоящего изобретения повышаются. Число программ высокой четкости, передаваемых одним транспондером в спутниковой системе прямой трансляции (т.е. 24 МГц четырехпозиционная фазовая манипуляция), увеличивается с одной до двух, или одна программа высокой четкости с несколькими программами стандартной четкости. В соответствии с принципами настоящего изобретения является достижимой возможность передачи одной программы высокой четкости с несколькими программами стандартной четкости по каналу наземной трансляции 6 МГц. Ранее станции трансляции были ограничены передачей одной программы высокой четкости по одному каналу или нескольких программ стандартной четкости по одному каналу.
Хотя настоящее изобретение описано в контексте систем, передающих и принимающих сигнал высокой четкости, его принципы применимы к другой аппаратуре, такой как системы хранения данных. В таких системах, как цифровой видеодиск (DVD), видеоданные кодируются и сохраняются для воспроизведения в более позднее время. Носитель имеет ограниченный объем доступного для хранения пространства. Если кодированная программа, киноизображение или другая видеопоследовательность превышает объем доступного пространства на носителе, дальнейшее кодирование/сжатие с целью уместить программу может создать неприемлемые искажения. Описанное выше изобретение может быть использовано для эффективного кодирования программы до более низкой битовой частоты, позволяющей разместить программу на диске. Или теперь несколько программ могут уместиться на одном диске. Цифровое сохранение на пленке также может обеспечить преимущества, как описано выше.
Формула изобретения
1080 дискретных элементов данных на кадр.
12. Способ по п. 1, в котором первый и второй видеосигналы являются сигналами высокой четкости, имеющими разрешение 19201080 дискретных элементов данных на кадр.
13. Способ обработки одного из следующих: видеосигнала с чересстрочной разверткой и сигнала в формате прошедшей телекинопреобразование кинопленки, согласно которому обнаруживают присутствие одного из следующих: видеосигнала с чересстрочной разверткой и сигнала в формате прошедшей телекинопреобразование кинопленки, преобразуют обнаруженный сигнал в одно из следующих: сигнал с построчной разверткой и сигнал в формате прошедшей обратное телекинопреобразование кинопленки, соответственно, для создания преобразованного сигнала, фильтруют преобразованный сигнал для создания фильтрованного сигнала, повторно преобразуют фильтрованный сигнал в один из следующих: сигнал с чересстрочной разверткой и сигнал в формате прошедшей телекинопреобразование кинопленки, соответственно, для создания повторно преобразованного сигнала, преобразуют повторно преобразованный сигнал до более низкого разрешения для создания сигнала с более низким разрешением, кодируют сигнал с более низким разрешением для создания кодированного сигнала и подают кодированный сигнал на выходной канал.
14. Способ по п. 13, в котором этап фильтрации является фильтрацией низких частот и этап кодирования является кодированием согласно международному стандарту сжатия и передачи видеосигнала экспертной группой в области подвижного изображения MPEG2.
15. Способ по п. 13, в котором сигнал с более низким разрешением имеет разрешение 12801080 дискретных элементов данных на кадр.
16. Способ обработки не прошедшего телекинопреобразование видеосигнала с построчной разверткой, согласно которому адаптивно фильтруют обнаруженный сигнал для создания фильтрованного сигнала, преобразуют фильтрованный сигнал до более низкого разрешения для создания сигнала с более низким разрешением, кодируют сигнал с более низким разрешением согласно международному стандарту сжатия и передачи видеосигнала экспертной группой в области подвижного изображения MPEG2 для создания кодированного сигнала и подают кодированный сигнал на выходной канал.
17. Способ по п. 16, в котором этап фильтрации является фильтрацией низких частот и этап кодирования является кодированием согласно международному стандарту MPEG2.
18. Способ обработки не прошедшего телекинопреобразование видеосигнала с построчной разверткой, согласно которому фильтруют обнаруженный сигнал для создания фильтрованного сигнала, преобразуют фильтрованный сигнал до более низкого разрешения для создания сигнала с более низким разрешением, имеющего разрешение 12801080 дискретных элементов на кадр, кодируют сигнал с более низким разрешением для создания кодированного сигнала и подают кодированный сигнал на выходной канал.
19. Способ обработки принятого цифрового видеосигнала в системе обработки видеосигнала высокой четкости, который может иметь более чем одно разрешение изображения, включая разрешение 12801080 дискретных элементов данных на кадр, согласно которому декодируют сигнал для создания декодированного сигнала, определяют разрешение изображения декодированного сигнала, преобразуют горизонтальную информацию от декодированного сигнала в другое разрешение, если декодированный сигнал имеет горизонтальное разрешение изображения 1280 дискретных элементов на строку, для создания преобразованного сигнала и подают преобразованный сигнал в устройство вывода.
20. Способ по п. 19, в котором преобразование является повышающим преобразованием и другое разрешение представляет собой 1920 горизонтальных дискретных элементов на строку.
21. Способ по п. 19, в котором преобразование является понижающим преобразованием и другое разрешение является более низким разрешением.
22. Способ по п. 19, в котором принятый цифровой видеосигнал является совместимым согласно международному стандарту сжатия и передачи видеосигнала экспертной группой в области подвижного изображения MPEG2.
23. Способ по п. 16, в котором адаптивная фильтрация не зависит от субдискретизации сигнала, осуществленной на этапе преобразования.
24. Способ по п. 16, в котором адаптивная фильтрация является функцией от параметров сигнала изображения перед фильтрацией.
25. Способ по п. 16, который, начиная с этапа адаптивной фильтрации по этап подачи, предусматривает обработку относительно фиксированного формата кадра изображения.
26. Способ по п. 16, в котором адаптивная фильтрация является адаптивной в пределах кадра изображения.
27. Способ по п. 26, в котором адаптивную фильтрацию выполняют на попиксельной основе.
28. Способ подачи видеоинформации с использованием формата сигнала, причем упомянутый формат задают 1280 элементами картинки на 1080 элементов картинки.
29. Способ по п. 28, в котором упомянутые 1280 элементов картинки представляют горизонтальную информацию и упомянутые 1080 элементов картинки представляют вертикальную информацию.
30. Способ по п. 29, в котором видеоинформация является информацией трансляционного спутника.
РИСУНКИ
|
||||||||||||||||||||||||||
