Патент на изобретение №2189700

(54) УСТРОЙСТВО ДЛЯ СЖАТИЯ ПРЕДСТАВЛЯЮЩЕГО ИЗОБРАЖЕНИЕ ВИДЕОСИГНАЛА И УСТРОЙСТВО ДЛЯ ФИЛЬТРАЦИИ ШУМА В СИГНАЛЕ

(57) Реферат:

Изобретение относится к устройству шумопонижения в системе кодирования видеосигнала. Технический результат – обеспечение понижения шума при обработке и сжатии видеосигнала. Устройство для сжатия видеосигнала содержит устройство для генерации остаточных сигналов, представляющих разницы значения элементов изображения между предсказанными и реальными значениями элементов изображения текущего кадра видеосигнала. Схемы шумопонижения в виде нелинейного элемента обработки ослабляют низкоамплитудные остаточные сигналы в большей степени, чем высокоамплитудные остаточные сигналы, и реагируют на оценку шума. Обработанные остаточные сигналы преобразуют для обеспечения выхода сжатых видеоданных. Раскрытые нелинейные функции обработки ослабляют шум и уменьшают искажение изображения. 2 с. и 19 з.п.ф-лы, 7 ил.

Изобретение относится к шумопонижению для устройства обработки и сжатия видеосигнала и, более конкретно, к устройству шумопонижения в системе кодирования видеосигнала.

Кодирование с предсказанием для сжатия видеосигнала функционирует наиболее оптимально, когда текущие изображения легко предсказывают из временно прилегающих изображений. Но когда вводимые изображения содержат шум, точное предсказание затруднено, и производительность по сжатию ухудшается, либо страдает качество воспроизведенного изображения, либо и то и другое вместе. Поэтому желательно свести до минимума шум в видеосигнале, подлежащем сжатию, до процесса сжатия.

Рассмотрим фиг. 1, где изображена система имеющегося уровня техники кодирования изображения с предсказанием. Элементы 12-22 образуют действующий кодер с предсказанием, который будет описан здесь ниже. Шумопонижение в этих системах имеющегося уровня техники обычно содержит рекурсивный фильтр 10 шумопонижения для предварительной обработки видеосигнала до сжатия. Есть тенденция предпочтительного применения рекурсивных фильтров поля или кадра, поскольку они могут эффективно понижать компоненты шума в полосе частоты активного сигнала. Однако для этих фильтров также требуется большая емкость памяти и относительно усложненные схемы обработки, чтобы можно было осуществлять значительное шумопонижение, не допуская при этом нежелательные искусственные объекты вокруг признаков движущегося изображения.

Техническая задача данного изобретения заключается в обеспечении, с минимальной дополнительной аппаратурой, высокоэффективного устройства фильтра шума и способа для кодеров с предсказанием.

Данное изобретение понижает шум в обработке и сжатии видеосигнала. Устройство сжатия видеосигнала содержит схемы для генерации остаточных сигналов, представляющих разницы значения элементов изображения между предсказанными и реальными значениями элементов изображения текущего кадра видеосигнала. Нелинейный процессор ослабляет низкоамплитудные остаточные сигналы больше, чем высокоамплитудные остаточные сигналы, и реагирует на оценку шума. Для обеспечения выхода сжатых видеоданных обработанные остаточные сигналы преобразуют.

В признаке данного изобретения раскрывают нелинейные функции обработки для оценки шума и ослабления шума и для уменьшения искажения изображения.

В другом признаке данного изобретения раскрывают функции оценки шума.

На чертежах:
Фиг. 1 – блок-схема устройства сжатия дифференциальной импульсно-кодовой модуляции (ДИКМ).

Фиг. 2 и 4 – блок-схемы варианта устройства сжатия, которое содержит устройство шумопонижения согласно данному изобретению.

Фиг.3-5 – наглядные схемы приводимых в качестве примера нелинейных передаточных функций для устройства шумопонижения на фиг.2 и 4.

Фиг.6 и 7 – наглядные схемы приводимых в качестве примера нелинейных передаточных функций согласно данному изобретению для устройства шумопонижения на фиг.2 и 4.

Данное изобретение описывается в контексте сжатия видеоданных аналогично описанному в нормативе, установленном Группой Экспертов Подвижного Изображения (MPEG) Международной Организации Стандартизации. Для кодирования с предсказанием, с компенсацией движения, того типа, который описан в протоколе MPEG, требуется как внутрикадровое кодирование, так и межкадровое кодирование. То есть для обеспечения регулярного временного пополнения сигнала каждый М-й кадр является кадром, который кодирован по внутрикадровому кодированию. Находящиеся между ними кадры являются кодированными по межкадровому кодированию или по методу ДИКМ с предсказанием, в которых сжатые данные в последующих кадрах зависят от предыдущих кадров. Кадры, кодированные по внутрикадровому кодированию, обозначают как I-кадры, а кадры, кодированные по межкадровому кодированию, обозначают как Р- или В-кадры в зависимости от следующего – являются ли они только предсказанными вперед, либо, соответственно, предсказанными как вперед, так и назад. Процесс кодирования с предсказанием предполагает разделение соответствующих изображений на небольшие участки и поиск на соседних участках для обнаружения идентичных или почти идентичных участков в соседнем изображении. Местонахождение участка в соседнем изображении и разницы между участком текущего изображения и соответствующим идентичным или почти идентичным участком соседнего изображения кодируют для передачи. Отметим, что если соответствующие участки являются фактически идентичными, то все разницы будут равны нулю, и участок можно кодировать просто вектором, определяющим местонахождение соответствующего участка, и кодом, указывающим, что все разницы нулевые. Поэтому сжатые идентичные или почти идентичные изображения можно реализовать с помощью относительно немногих кодовых слов. Или если изображение содержит значительный шум, то будет определено, что корреляция участков изображения от кадра к кадру будет ухудшаться при одновременном нарастании остаточных данных и соответствующем увеличении сжатых кодовых слов.

На фиг. 1 видеосигналы, генерированные, например, камерой, прилагают к рекурсивному устройству 10 шумопонижения, которое обрабатывает видеосигналы для сжатия. В остальном устройство имеет относительно хорошо известную конфигурацию и поэтому будет дано только общее описание. Данные элементов изображения I-кадра от устройства 10 шумопонижения направляют неизменным к кодеру 15 вычитателем 12. Кодер 15 выполняет дискретное косинус-преобразование ДКП на данных элементов изображения (в блоках по 88 элементов изображения) для генерации коэффициентов ДКП. Коэффициенты квантуют для управления скоростью передачи данных и упорядочивают в заданной последовательности, которая имеет тенденцию к объединению большинства оцененных как нулевые коэффициентов в целях эффективного кодирования по длине прогона. Затем кодер кодирует коэффициенты по длине прогона и по статистическому методу. Кодированные представительные данные элементов изображения прилагают к форматтеру 19, который присоединяет информацию, указывающую исходное местонахождение соответствующих блоков в кадре, тип кодирования, (I, Р, В), номер кадра, отметки времени и пр. в соответствии с выбранным протоколом сжатия, например MPEG 2. Данные от форматтера прилагают к процессору 20 перемещения, который сегментирует форматированные данные в пакеты полезной нагрузки с конкретным числом битов, генерирует идентификаторы для слежения за соответствующими полезными нагрузками, генерирует информацию синхронизации, вырабатывает коды коррекции/детектирования ошибок и прилагает все это к соответствующим пакетам полезной нагрузки, чтобы сформировать пакеты перемещения. Пакеты перемещения прилагают к соответствующему модему 22 для передачи.

Сжатые по типу I кадры с кодера 15 прилагают к декодеру 16, который выполняет обратную функцию кодера 15. Для сжатых по типу I кадров выход декодера 16 является воспроизведенным I-кадром. I-кадр после расширения направляют неизменным с помощью сумматора 18 к буферному запоминающему устройству 17, где его запоминают для сжатия с предсказанием последующих Р- и В-кадров. Кодирование с предсказанием Р- и В-кадров аналогичное, и будет описано сжатие Р-кадра. Р-кадр изображения, сжимаемый в данное время, прилагают к устройству 14 оценки движения, которое разделяет кадр на блоки по, например, 1616 элементов изображения. Устройство 14 оценки затем производит поиск в предшествующем I- или Р-кадре аналогичного блока из 1616 элементов изображения и вычисляет совокупность векторов, которые указывают относительную разницу в пространственных координатах этого блока в текущем кадре и наиболее почти идентичного блока в кадре, в котором осуществляют поиск. С помощью этого вектора соответствующий блок из соответствующего расширенного кадра в буферном запоминающем устройстве 17 связывают с вычитателем 12, который вычитает предсказанный блок из буферного запоминающего устройства 17, на поэлементной основе, из соответствующего блока расширяемого текущего кадра. Разницы или остаточные сигналы, которые даны вычитателем, прилагают к кодеру 15, где их обрабатывают аналогично данным элементов изображения I-кадра. Векторы, генерированные устройством оценки 14, связывают с форматтером 19, в который их включают как часть кодированных данных, относящихся к соответствующим блокам.

Сжатые Р-кадры декодируют в декодере 16 и прилагают к сумматору 18. Одновременно соответствующие блоки кадра изображения, из которого был предсказан кадр, выбирают из буферного запоминающего устройства с помощью устройства предсказания 13 и прилагают ко второму входу сумматора 18, где декодированные остаточные сигналы или разницы суммируют на поэлементной основе в целях восстановления фактического изображения. Восстановленные данные элементов изображения Р-кадра от сумматора 18 запоминают в буферном запоминающем устройстве 17 для кодирования/декодирования с предсказанием последующих Р- и В-кадров.

Важно отметить, что когда I-кадры обрабатывают, устройство предсказания 13 прилагает нулевые величины и к вычитателю 12, и сумматору 18. I-кадры, являющиеся входом, поэтому направляют неизменными вычитателем 12, а декодированные I-кадры от декодера 16 направляют неизменными сумматором 18.

Фиг. 2 изображает первое осуществление данного изобретения. На фиг.2 устройство сжатия аналогично фиг.1 и элементы, обозначенные цифрами, аналогичными фиг. 1, выполняют аналогичные функции. Есть два основных отличия: добавлен нелинейный элемент 500, который выполняет функцию элемента 13 на фиг. 1, и незначительная дополнительная функция добавлена к устройству предсказания 1333.

Нелинейный элемент 500 соединяют между вычитателем 12 и кодером 15. Этот элемент выполнен с возможностью пропускания только тех значений сигнала, которые превышают заданное значение. Элемент 500 может быть простой схемой определения существенной области, которая пропускает нулевое значение для всех значений ниже заданного значения и значение сигнала за вычетом заданного значения для всех значений, превышающих заданное значение – как изображено кусочно линейной функцией (кривая В) на фиг.3. Либо он может принять форму более типичной схемы определения существенной области, котopaя пропускает нулевое значение для всех значений сигнала, которые меньше заданного значения, и значение сигнала для всех значений сигнала, которые превышают заданное значение. Еще одной альтернативной функцией для элемента 500 может быть более плавная функция подобно кривой, обозначенной под буквой А на фиг. 3.

Дополнительные приводимые в качестве примера альтернативные нелинейные передаточные функции, которые в соответствии с данным изобретением обеспечивают преимущества в фильтрации шума, изображены на фиг.6 и 7. Желательно, чтобы передаточная функция нелинейного элемента обеспечивала функцию тождества (в которой выход равен входу) вне участка “окна” определения существенной области (от W до – W на фиг.6 и 7). Также желательно, чтобы передаточная функция нелинейного элемента обеспечивала плавный переход между участками, где существенную область определяют и не определяют. В противном случае искажения изображения могут привести к отсутствию этих двух характеристик определения существенной области. Нелинейная передаточная функция согласно данному изобретению, которая обеспечивает эти характеристики, является классом функций, обеспечивающих (а) функцию тождества вне окна определения существенной области и (б) выпуклую вниз и возрастающую функцию внутри окна определения существенной области. Класс функций, обеспечивающих нужные нелинейные передаточные функции, определяются как
f(x)=x, когда |x|>W;
f(x)=g(x), когда |x|< = W,
где g(x) является как возрастающей функцией, так и выпуклой вниз функцией x (например, x²), и g(W)=W.

Кривая на фиг.6 определяется как
f(x), когда |x|>W, кривая А на фиг.6
когда |x|< = W, кривая В на фиг.6
где n является целым числом и управляет выпуклостью функции определения существенной области в окне определения существенной области |x|< = W. Более крупное значение n делает кривую В функции определения существенной области более выпуклой и приближает к нулю в области |x|< = W. Если n=1, то функция определения существенной области становится функцией тождества.

Кривая на фиг. 7 является кусочно линейным и выпуклым приводимым в качестве примера выполнением указанного класса функций. Кривая на фиг.7 определяется как
f(x)=x, когда |x|>W кривая С на фиг.7
f(x)=ax, когда |x| f(x)=bx, когда T<|x| где а Все описанные выше функции можно обеспечить программированием функций в соответствующие адресные ячейки запоминающего устройства в нелинейном элементе 500, который выполнен с возможностью обращения к нему подлежащим обработке сигналом. Запоминающее устройство нелинейного элемента 500 можно программировать некоторым числом различных передаточных функций, и передаточную функцию можно выбрать при реагировании на сигнал управления от блока 1333 предсказания, как это будет описано ниже. Описаны прочие способы выбора передаточной функции, например патент США 5258928, выданный Эдепскому и др. Помимо этого упомянутый класс нелинейных функций согласно данному изобретению соответствует фильтрации и шумопонижению в широком спектре применений, не только описанной внутрисхемной видеокодерной системе определения существенной области. Возможные случаи применения включают в себя спутниковые, наземные и кабельные системы для связи или вещания, включая телефонию. Например, эти функции можно использовать для сжатия неподвижного изображения, для модемов или сжатия речи.

На фиг.2 устройство сжатия выполняет два типа сжатия – внутрикадровое и межкадровое. В последнем типе сигнал, приложенный к элементу 500, является остаточными сигналами, полученными в результате взятия разницы элементов изображения двух независимых кадров. В первом типе сигнал, приложенный к элементу 500, является неизменным видеосигналом. Мощность шума во втором типе больше, чем в первом, на квадратный корень из двух, и уровень сигнала второго типа значительно ниже. Поэтому отношение “сигнал-шум” внутрикадрового видеосигнала значительно выше отношения “сигнал-шум” межкадровых остаточных сигналов независимо от объема шума, загрязняющего сигнал.

Ввиду разницы отношений “сигнал-шум” нелинейная функция, приложенная во время внутрикадрового сжатия, должна отличаться от функции для межкадрового сжатия. Например, если нелинейная функция является кусочно линейным определением существенной области, то заданное значение, ниже которого внутрикадровые значения будут определены как существенная область, могут быть значительно выше, чем для межкадровых остаточных сигналов. Либо, поскольку отношение “сигнал-шум” внутрикадровых сигналов будет относительно большим по сравнению с остаточными сигналами, то нелинейный элемент можно выполнить для пропускания внутрикадровых сигналов неизменным. Относительные отношения “сигнал-шум” кодированных с предсказанием В- и Р-кадров могут также быть значительно различными в зависимости от числа В-кадров между Р-кадрами. Таким образом, может быть целесообразным применение различных нелинейных функций в элементе 500 для различных типов кодирования с предсказанием. Адаптивное управление нелинейным элементом выполняют устройством 1333 предсказания, которое прилагает соответствующие сигналы управления для кодируемых I-, P- и В-кадров.

Помимо этого изобретатели допустили, что шум в поступающем видеосигнале от такого источника, как камера, может изменяться во времени (например, от кадра к кадру) в силу различных факторов, включая оперативные изменения, такие как, например, панорамирование. Также, шум в поступающем сигнале может изменяться в частях кадра изображения в силу, например, смены эпизода. Поэтому изобретатели допустили, что целесообразно изменить нелинейную функцию элемента, основанную на оценке шума изображения. Подробнее это излагается ниже.

Фиг.4 изображает осуществление, способствующее использованию аналогичной нелинейной функции для всех типов сжатия: внутрикадрового и межкадрового. На фиг. 4 элементы, обозначенные цифрами, аналогичными элементам на фиг.4, являются аналогичными и выполняют аналогичные функции. Схема на фиг.4 включает в себя нелинейный элемент 50 между вычитателем 12 и кодером 15. Функция нелинейного элемента может быть аналогичной функции, изображенной на фиг.5 (стандартная функция определения существенной области), или функцией, описанной для элемента 500.

Во время сжатия межкадровых кадров переключатели SW 1 и SW 2 находятся в альтернативных положениях относительно изображенных положений. Когда переключатели находятся в этом положении, система сконфигурирована и действует точно, как система на фиг.2 для межкадрового кодирования. Поэтому нелинейную функцию элемента 50 будут выбирать в соответствии с ожиданиями функционирования для межкадрового кодирования.

Для внутрикадрового кодирования необходимо, чтобы декодированный внутрикадровый сигнал от декодера 16 проходил через сумматор 18 неизменным. Это осуществляется применением приводимого в действие устройства 133 предсказания переключателя SW 1, чтобы пропускать нулевые величины во время кодирования I-кадров. Одновременно переключатель SW 2 перемещают в положение, изображенное на фиг.4.

Чтобы нелинейный элемент имел нужное воздействие на сигналы I-кадра, ввиду их относительно высокого отношения “сигнал-шум”, сигналы I-кадра искусственно понижают для обработки шума и затем восстанавливают после обработки шума. Понижение сигнала I-кадра выполняют путем генерации предсказанного I-кадра и приложением предсказанного I-кадра к вычитателю 12. Разницы, генерированные вычитателем, будут того же порядка величины, что и межкадровые остаточные сигналы, и поэтому нелинейный элемент будет действовать на них аналогично. Предсказанный сигнал, направленный с устройства 133 предсказания, затем прибавляют опять к сигналу, направленному от нелинейного элемента, чтобы восстановить входной сигнал I-кадра до, по существу, его первоначального значения.

Имеется несколько способов генерации предсказанных I-кадров. Один из способов заключается просто в выполнении устройства 133 предсказания с возможностью выводить блоки элементов изображения, расположенные совместно с текущим I-кадром, из последнего декодированного кадра, в буферном запоминающем устройстве 17 (который не может быть I-кадром). Но предпочтительный способ, который обеспечивает гораздо более точное предсказание I-кадра, заключается в предсказании I-кадра аналогично предсказанию Р- или В-кадров. Отметим, что для предсказания необходимы векторы движения, которые обеспечивают пространственное соответствие между аналогичными блоками элементов изображения в отделенных временными промежутками кадрах. Кодированные I-кадры в общем не включают в себя векторы движения. Но поскольку кодер содержит устройство генерации вектора движения для генерации векторов для Р-или В-кадров, то будет легко программировать это устройство для генерации векторов движения также и для I-кадров. Эти векторы движения можно использовать в кодере для генерации предсказанного I-кадра в целях шумопонижения и затем сбросить их, то есть не включать в поток кодированных битов. Или векторы движения I-кадра можно включить в поток кодированных битов с целью скрыть ошибку, как это следует из протокола MPEG.

Предположим, что нелинейный элемент 50 программируют на пропускание всех образцов сигнала с величинами свыше значения Т, которое будет номинально довольно небольшим. Также предположим, что сигнал, направленный с устройства предсказания является S(n), а входной сигнал I-кадра – I(n). Не принимая во внимание элемент 50, сигнал, направленный к верхнему контакту переключателя SW 2, есть I(n)-S(n). Этот сигнал связывают с одним входом сумматора 52, а сигнал S(n) прилагают ко второму входу сумматора 52. Сумматор 52 обеспечивает сигнал I(n)-S(n)+S(n)= I(n). Эти значения связывают с кодером 15 и не изменяют их относительно входных значений. Воздействие нелинейным элементом 12 будет оказано только на те выходные значения I(n), для которых разницы, обеспеченные сумматором 12, находятся в пределе +-Т. Поэтому будет целесообразно, если предсказания I-кадров, данные устройством 133 предсказания, будут очень точными, т.е. в пределах отклонения +-Т; в этом случае нелинейный элемент 50 будет по существу оказывать воздействие только на компоненты шума.

Вышеизложенное описание предполагает, что кадры кодируют в их целокупности, как кадры, кодированные по внутрикадровому кодированию, или как кадры, кодированные по межкадровому кодированию. Например, в нормативе MPEG видеосигнал кодируют на поблочной основе и предусматривается кодирование определенных блоков Р- или В-кадров в режиме внутрикадрового кодирования, если нельзя обнаружить близкого согласования для блока в кадре поиска. В этих случаях устройства 13, 133 и 1333 предсказания будут программировать для переключения нелинейных элементов 15, 50 и 500 обработки соответственно на поблочной основе в соответствии с текущим типом обработки. Таким образом, в прилагаемой формуле изобретения, если упоминается сжатие кадров согласно режиму межкадровой обработки, то следует понимать, что блоки элементов изображения в этих кадрах можно обрабатывать по внутрикадровому режиму, и формула изобретения предназначается для применения к этим кадрам, обработанным в смешанном режиме.

Как указывалось выше, изобретатели допустили, что целесообразно изменять передаточную функцию нелинейного элемента на основе оценки шума изображения. Кроме того, передаточную функцию нелинейного элемента целесообразно изменяют для адаптирования кодера к изменениям отношения “сигнал-шум”, которые возникают от кадра к кадру и внутри кадра. Эти изменения отношения “сигнал-шум” могут возникать по причине выполняемого камерой маневра панорамирования или смены эпизода, например. Кроме этого, согласно данному изобретению, установлена обратная зависимость между шумом изображения и степенью движения в участке изображения. Аналогичная обратная зависимость установлена, согласно данному изобретению, между шумом изображения и сложностью движения в участке изображения. Также имеется обратная зависимость между нужной шириной определения существенной области, например, и степенью сложности движения изображения.

В осуществлении кодера в соответствии с фиг.2 блок 1333 предсказания оценивает шум, связанный с кодируемым текущим блоком элементов изображения. Исходя из этой оценки шума, блок 1333 согласует ширину определения существенной области функции определения существенной области в нелинейном элементе 500 (пример этого приведен на фиг.6) посредством сигнала управления для фильтрации остаточных сигналов от вычитателя 12. Блок 1333 согласует ширину определения существенной области для блоков элементов изображения, кодируемых в Р- или В-блоках на выбираемых интернелинейный элемент валах. Но нелинейный элемент 500 пропускает неизменными блоки элементов изображения I-кадра. Операции оценки шума и корректировки нелинейного элемента выполняют блоком 1333 согласно изложенному ниже объяснению. В остальном кодер действует в соответствии с объяснением, данным в связи с фиг.2.

Устройство предсказания 1333 рассматривает вектор движения, обеспеченный устройством 14 оценки движения, для кодируемого в данное время блока элементов изображения (текущий блок). Когда этот вектор движения является по существу нулем, и ошибка предсказания текущего блока ниже заданной пороговой величины, вычисляют оценку шума. Передаточную функцию нелинейного элемента 500 изменяют на основе этой оценки шума. С помощью вычисления оценки шума только при схождении вектора движения по существу нулевого значения и малой ошибки предсказания повышают точность оценки шума. Причина этого в том, что уменьшают ошибку, связанную с крупными изменениями эпизода, которые совпадают с векторами движения нулевого значения. Ошибку предсказания вычисляют как средний квадрат ошибки (СКО) для текущего блока. Например, в макроблоке, содержащем число N элементов изображения, где каждый элемент изображения имеет значение яркости, определяющую яркость элемента изображения (серый оттенок считают черно-белым изображением), значение СКО определяется как

где u_i являются значениями яркости элемента изображения текущего блока, и u_i являются значениями яркости элемента изображения, соответствующими предсказанному блоку для текущего блока. N равно числу значений яркости элементов изображения в текущем блоке, например N=256 в нормативе MPEG, предполагая макроблок 1616 элементов изображения. Более низкое значение СКО означает более лучшее предсказание, поскольку оно проявляет меньшую нестабильность и меньшую степень приблизительного оценивания в предсказанных значениях. Оценку шума определяют исходя из того, что значение СКО представляет шум блока изображения при схождении вектора движения с по существу нулевым значением и низкой ошибки предсказания. Оценку шума выводят следующим образом:

Значения оценки шума, вычисленные в кадре, усредняют, чтобы получить значение e оценки шума кадра. Значения можно также фильтровать для обеспечения фильтрованного и усредненного значения оценки шума кадра для e. Окончательную оценку шума, используемую для корректировки передаточной функции нелинейного элемента 500, затем вычисляют как взвешенное среднее значение e текущего и предыдущего кадров. Функцию нелинейного элемента 500 в предпочтительном осуществлении корректируют на интервалах в 10 кадров. Но передаточную функцию нелинейного элемента могут изменять на выбираемых интервалах, начиная с большого числа, кадров (более 10 кадров), до интервалов, соответствующих отдельным периодам кодирования блоков элементов изображения. Выбранный интервал могут автоматически определять на основе вариации оценки шума, находящейся в заданных пределах.

Усреднение значений оценки шума кадра выполняют с помощью следующей функции фильтра импульсной характеристики конечной длительности (ИХКД) для обеспечения общего значения оценки шума, e<sup>, используемого для корректировки передаточной функции нелинейного элемента 500:

Суммирование e выполняют от 0 до N. Значение е_n-j представляют предыдущие оценки шума кадра, j=N и соответствующее е_n-N является значением оценки шума кадра, который имеет место до N-числа кадров, предшествующих текущему кадру; j=0 и соответствующая е_n является значением оценки шума текущего кадра. Конкретно, в тех случаях, когда используют только одну предыдущую оценку шума, как в предпочтительном осуществлении, e_n определяют следующим образом:
e_n = e_n+(1-)e_n-1,
где является эмпирически определенной постоянной, приблизительно равной 0,8 в приводимом в качестве примера предпочтительном осуществлении.</sup>

Значение h_j весового множителя можно также динамически определить и скорректировать с помощью степени достоверности текущей оценки шума. Например, множитель ‘h’ можно определить как функцию участка вектора движения нулевого значения относительно всего участка изображения или как функцию значений вектора движения.

Ширину окна определения существенной области w функции определения существенной области нелинейного элемента 500 определяют по следующему уравнению:
w = ce_n+k,
где c является эмпирически определенной фиксированной постоянной взвешивания со значением между 0 и 1. Постоянная k зависит от содержания эпизода и определяется эмпирически на основе измерений статистики кодера, включая векторы движения, коэффициенты корреляции и коэффициенты сложности. Значение k могут определить, например, повторяющимся кодированием проверочных видеоданных с помощью альтернативных значений k. Значение k, обеспечивающее оптимальную корреляцию между первоначальным и декодированным блоками проверки изображения относительно отношения “сигнал-шум”, выбирают для использования в кодере. Ширину определения существенной области w вычисляют в целях оптимизирования отношения “сигнал-шум” и сведения до минимума разрушения сигнала.

Следует отметить, что также можно использовать широкое разнообразие других способов получения оценки шума. В этих способах может иметь место изменение в способе получения оценки шума и фильтрации этой оценки. Например, шум можно оценивать поэлементными оценками шума, или оценками шума кадра. Оценка шума не ограничивается вычислением на основе блока элементов изображения, имеющего фиксированный размер. Есть различные методы применения оценки шума для изменения передаточной функции нелинейного элемента. Оценку шума можно, например, использовать для выбора одной из различных параллельных передаточных функций вместо изменения отдельной функции.

Еще один способ получения оценки шума заключается в использовании самого низкого значения СКО, полученного от устройства 14 оценки движения, в качестве указания шума. В этом методе самое низкое значение СКО, полученное от блока элементов изображения в кадре, принимают в качестве оценки шума. В идеале значение СКО для блоков элементов изображения, в которых никакого движения нет, нулевое, и поэтому минимальное значение СКО указывает остаточное рассогласование между блоками элементов изображения, возникающее вследствие этого шума. Поэтому это минимальное значение СКО можно принимать в качестве оценки шума. Этот способ в равной степени применим для других указаний на ошибку предсказания – не только СКО. Например, как вариант, способ оценки шума может использовать другие типы мер указания ошибки, включая Среднюю Абсолютную Ошибку и Сумму Абсолютной Ошибки. Помимо этого, для уменьшения ошибок, которые могут возникнуть в силу плохих внутрикадровых оценок движения, минимальное значение СКО можно профильтровать по некоторому числу кадров. Это можно сделать с помощью фильтра нелинейного рекурсивного типа, определяемого следующим образом:
L_n = L_n-1+(1-)M_n,
где L_n – фильтрованный выход оценки шума, используемый для корректировки передаточной функции нелинейного элемента;
L_n-1 – предыдущий фильтрованный выход оценки шума;
М_n – наименьшее значение СКО, полученное для текущего кадра;
находится между 0 и 1 и управляет постоянной времени фильтра;
=А для (L_n-1-М_n)>О;
=В в ином случае.

Достоверность вычисления пониженного значения оценки шума относительно предыдущих значений превышает достоверность вычисления повышенного значения оценки шума. Причина этого заключается в том, что повышенное значение оценки шума с большей вероятностью возникает из фиктивной ошибки измерения, такой как эффекты смены эпизода, например. Поэтому значение может быть уточнено. Значение является данным значением А для обеспечения более длительной (более медленной) постоянной времени фильтра в целях повышения значений оценки шума. Значение является данным значением В для обеспечения более краткой (более быстрой) постоянной времени фильтра для пространственной фильтрации шума в целях понижения значений оценки шума. Примером значений для А является 0,5; для В – 0,1. В целях оптимизации оценки шума для прочих условий изображения можно использовать более двух уточняемых постоянных времени упомянутого фильтра и прочих функций упомянутого фильтра.

Принципы данного изобретения также применимы для систем кодеров, использующих предпроцессоры шумопонижения. В этих предпроцессорах обычно используют упрощенные детекторы движения, которые могут давать значительные ошибки оценки движения. Для этих систем будет особо выгодна описанная выше фильтрация оценки шума.

Формула изобретения

1. Устройство для сжатия представляющего изображение видеосигнала, содержащего данные элементов изображения, содержащее устройство предсказания (1333) для оценки шума в видеосигнале и обеспечение выхода; устройство для генерации остаточных сигналов (12, 16, 18, 17, 14), имеющих низко- и высокоамплитудные компоненты, причем остаточные сигналы представляют разницы значений элементов изображения между предсказанными значениями элементов изображения и реальными значениями элементов изображения текущего кадра указанного сжимаемого видеосигнала, отличающееся тем, что содержит нелинейный элемент (500), связанный с упомянутым устройством генерации, для ослабления низкоамплитудных остаточных сигналов в большей степени, чем ослабление высокоамплитудных остаточных сигналов, и обеспечения выхода, при этом передаточная функция нелинейного элемента реагирует на оценку шума; и кодер (15), выполненный с возможностью преобразования обработанных остаточных сигналов и обеспечения выхода сжатых видеоданных.

2. Устройство по п. 1, отличающееся тем, что оценку шума производят как функцию ошибки предсказания элементов изображения.

3. Устройство по п. 2, отличающееся тем, что оценку шума производят, когда движение в участке изображения по сути равно нулю.

4. Устройство по п. 1, отличающееся тем, что передаточная функция реагирует на оценку шума на переменных временных интервалах.

5. Устройство по п. 1, отличающееся тем, что содержит фильтр с переменной постоянной времени для временной фильтрации оценки шума, при этом передаточная функция нелинейного устройства обработки реагирует на временно фильтрованную оценку шума.

6. Устройство по п. 5, отличающееся тем, что фильтр переменной постоянной времени обеспечивает более длительную постоянную времени фильтра для повышения значений оценки шума и более краткую постоянную времени фильтра для понижения значений оценки шума.

7. Устройство по п. 1, отличающееся тем, что содержит фильтр для пространственной фильтрации оценки шума; при этом передаточная функция нелинейного элемента реагирует на пространственно фильтрованную оценку шума.

8. Устройство по п. 1, отличающееся тем, что передаточная функция является функцией определения существенной области с окном определения существенной области, имеющим ширину и реагирует на оценку шума.

9. Устройство по п. 1, отличающееся тем, что передаточная функция является функцией определения существенной области и функция определения существенной области реагирует на движение в участке изображения.

10. Устройство по п. 9, отличающееся тем, что нелинейный элемент выполнен с возможностью обработки данных элементов изображения на поблочной основе и степень определения существенной области в функции определения существенной области реагирует на движение в блоке элементов изображения.

11. Устройство по п. 9, отличающееся тем, что нелинейный элемент выполнен с возможностью обработки элементов изображения на поблочной основе и функция определения существенной области применима только к остаточным сигналам, соответствующим блокам элементов изображения, проявляющим движение изображения ниже заданного порога.

12. Устройство по п. 1, отличающееся тем, что оценка шума имеет обратную зависимость от степени движения в участке изображения.

13. Устройство по п. 1, отличающееся тем, что нелинейный элемент выполнен с возможностью обеспечивания множества выбираемых передаточных функций, включая линейную передаточную функцию.

14. Устройство по п. 1, отличающееся тем, что передаточная функция является функцией определения существенной области с окном определения существенной области и функция определения существенной области является функцией изменения в содержании изображения текущего кадра.

15. Устройство по п. 1, отличающееся тем, что передаточная функция является функцией определения существенной области с окном определения существенной области и функция определения существенной области, по существу, содержит функцию тождества вне окна определения существенной области.

16. Устройство по п. 1, отличающееся тем, что передаточная функция является функцией определения существенной области с окном определения существенной области и функция определения существенной области, по существу, содержит выпуклую вниз и возрастающую функцию внутри окна.

17. Устройство для фильтрации шума в сигнале, содержащее входной процессор (12) для приема и обработки указанного сигнала для обеспечения выхода, соответствующего фильтрации, отличающееся тем, что содержит нелинейный элемент (500), связанный с входным процессором, для ослабления низкоамплитудных компонентов указанного обработанного выхода в большей степени, чем ослабление высокоамплитудных компонентов, и для обеспечения фильтрованного выхода, при этом передаточная функция нелинейного элемента относится к классу функций определения существенной области, имеющих окно определения существенной области и, по существу, обеспечивающих функцию тождества, в которой выход равен входу, вне указанного окна определения существенной области и выпуклую вниз и возрастающую функцию внутри окна определения существенной области.

18. Устройство по п. 17, отличающееся тем, что передаточную функцию адаптивно выбирают из множества функций определения существенной области, которые включают в себя передаточную функцию в указанном классе.

19. Устройство по п. 18, отличающееся тем, что передаточную функцию выбирают, исходя из оценки шума в видеосигнале.

20. Устройство по п. 17, отличающееся тем, что передаточная функция является кусочно линейной передаточной функцией.

21. Устройство по п. 17, отличающееся тем, что передаточная функция (f(x)) внутри окна определения существенной области имеет вид

где n является целым числом.

РИСУНКИ

MM4A – Досрочное прекращение действия патента СССР или патента Российской Федерации на изобретение из-за неуплаты в установленный срок пошлины за поддержание патента в силе

Дата прекращения действия патента: 15.12.2008

Извещение опубликовано: 20.07.2010 БИ: 20/2010