Патент на изобретение №2328775
|
||||||||||||||||||||||||||
(54) УЛУЧШЕННОЕ МАСКИРОВАНИЕ ОШИБКИ В ОБЛАСТИ ЧАСТОТ
(57) Реферат:
Изобретение относится к методике маскирования ошибки в области частот для информации, которая представлена на покадровой основе с помощью коэффициентов кодирования. Сущность изобретения состоит в маскировании коэффициентов кодирования с ошибками, используя корреляцию коэффициента кодирования как по времени, так и по частоте. Методику маскирования применяют к любой информации, такой как аудиоданные, видеоданные и данные изображения, которые сжаты в коэффициенты кодирования и переданы в неблагоприятных условиях канала. Маскирование ошибок осуществляют с использованием избыточности исходного информационного сигнала по времени, а также по частоте. Это создает возможность использования избыточности между кадрами (межкадровой), а также в пределах кадров (внутрикадровой). Использование коэффициентов кодирования из того же кадра, в котором содержится коэффициент кодирования с ошибкой, иногда называют корреляцией коэффициентов внутри кадра, и представляет собой специальный случай более общей корреляции по частоте. Технический результат – обеспечение эффективного маскирования ошибок в области частот, которая более оптимально использует избыточность исходного информационного сигнала. 4 н. и 34 з.п. ф-лы, 18 ил. представляет собой коэффициент ослабления, 0< Другие типы мер сопоставления спектральной энергии можно использовать без отхода от основной идеи изобретения. В другом варианте выполнения усиление G(m) можно оценивать по нескольким спектральным полосам путем группирования спектральных коэффициентов в субполосы и оценки усиления в каждой субполосе. Группирование в субполосы может быть выполнено по равномерной шкале или по барк-шкале, использование которой мотивировано психоакустическими показателями. Адаптивное усиление в субполосе l поэтому можно оценить по следующей формуле: Прогнозируемую амплитуду спектральных коэффициентов в субполосе l частот задают следующим образом: Предпочтительно, чтобы весовые коэффициенты были установлены пропорционально амплитуде спектра предыдущего кадра, или прогнозируемой амплитуде текущего кадра, или сглаженной спектральной огибающей. Это позволяет подчеркнуть важность спектральных пиков и отфильтровать плохие оценки фазовых производных, вводимых шумом в точках минимума спектра. Другими словами, фазовое прогнозирование предпочтительно основано на оценке групповой задержки, по меньшей мере, из одного другого (предыдущего) кадра и определении спектральной фазы коэффициента с ошибкой так, что групповая задержка, ассоциированная с коэффициентом с ошибкой, получается насколько это возможно близкой к оцениваемой групповой задержке в соответствии с некоторым критерием аппроксимации. Приведен пример решения для случая W(k)=1. Как показано на фиг.9A,B, потерянные коэффициенты находятся между элементом K и элементом K+N. Критерий минимизации ошибки приводит к следующему рекурсивному решению для экстраполированной прогнозируемой фазы: Затем для случая, когда все спектральные коэффициенты потеряны, используют вторичный блок прогнозирования фазы для обеспечения возможности инициирования указанной выше рекурсивной обработки. Более сложные средства можно использовать для прогнозирования фазы без отхода от основной идеи согласования/сохранения групповой задержки, например путем дополнительного использования избыточности во временной области с сохранением групповой задержки. На фиг. 10 показана блок-схема блока оценки для комплексных коэффициентов в соответствии с предпочтительным вариантом выполнения изобретения. Блок 56 оценки, в общем, содержит запоминающее устройство 60, предназначенное для сохранения коэффициентов кодирования, принадлежащих выбираемому количеству кадров, и модуль 70, предназначенный для выполнения расчетов, необходимых для оценки новых заменяющих коэффициентов. Запоминающее устройство 60 принимает извлеченные коэффициенты текущего кадра и сохраняет их вместе с не содержащими ошибку/восстановленными коэффициентами кодирования, принадлежащими одному или более из предыдущих кадров. Модуль 70 расчетов принимает информацию S, по которой оценивают (рассчитывают) коэффициенты, и рассчитывает соответствующие коэффициенты замены (заменяющие коэффициенты) на основе сохраненных коэффициентов, обращаясь к запоминающему устройству 60. В предпочтительном варианте выполнения изобретения, который адаптирован для использования комплексных коэффициентов преобразования, модуль 70 расчетов содержит модуль 72 оценки амплитуды, работа которого основана на описанных выше принципах согласования энергии, модуль 74 оценки фазы, работа которого основана на описанных выше принципах согласования групповой задержки, а также модуль 76 объединения, который предназначен для объединения компонентов оценки фазы и амплитуды с получением комплексных коэффициентов. Однако следует понимать, что более сложные технологии оценки фазы и амплитуды, предложенные в настоящем изобретении, можно использовать независимо друг от друга. Например, оценку фазы можно выполнить на основе согласования групповой задержки, как указано выше, с использованием более простого подхода к оценке амплитуды. С другой стороны, оценку амплитуды можно выполнить на основе согласования спектральной энергии, как указано выше, с использованием более простой оценки фазы. Непосредственное прогнозирование коэффициента В данном варианте выполнения комплексные спектральные коэффициенты прогнозируют непосредственно. Выход q(m,k) блока прогнозирования предпочтительно зависит, по меньшей мере, от предыдущего спектрального коэффициента (коэффициентов) того же элемента, а также предыдущих и/или текущих спектральных коэффициентов других элементов. Обычно такой подход можно представить с помощью следующей зависимой от времени адаптивной функции прогнозирования fm,k: где k1, k2…, kp обозначают показатели спектральных коэффициентов, не содержащих ошибки. Функция прогнозирования, например, может принимать форму линейного прогнозирования. Описанные выше варианты выполнения приведены просто в качестве примеров, и следует понимать, что настоящее изобретение не ограничивается ими. Другие модификации, изменения и улучшения, в которых сохраняются лежащие в основе раскрытые и заявленные здесь принципы, находятся в пределах объема изобретения. Источники информации [1] S.J. Godsill, P.J.W. Rayner, “Digital Audio Restoration”, Springer, 1998. [2] J.J.K. O Ruanaidh, W.J. Fitzgerald, “Numerical Bayesian Methods Applied to Signal Processing”, Springer 1998. [3] R. Veldhuis “Restauration of lost samples in digital signals”, Prentice Hall, 1990. [4] J. Herre, E. Eberlein, “Error Concealment in the spectral domain”, 93rd AES Convention, 1992 Oct, 1-4, preprint 3364. [5] J. Herre, E. Eberlein, “Evaluation of concealment techniques for compressed digital audio”, 94th AES Convention, 1993 Oct, 1-4, preprint 3364. [6] US-6 421 802-B1 [7] EP-0 574 288-B1 [8] US-6 351 728-B1 [9] A.M. Kondoz, “Digital Speech: Coding For Low Bit Rate Communication”, Wiley (1994), pp. 123-128. [10] J. Laroche, M. Dolson, “Improved Phase Vocoder Time-Scale Modification of Audio”, IEEE transactions on speech and audio processing, 323-332, Vol.7, No 3, May 1999.
Формула изобретения
1. Способ маскирования ошибки в области частот для информации, представленной на покадровой основе, посредством коэффициентов кодирования множества частотных элементов, отличающийся тем, что принимают информацию, представляющую коэффициент кодирования с ошибкой, обнаруженный для некоторого частотного элемента в кадре, и осуществляют маскирование упомянутого коэффициента кодирования с ошибкой для упомянутого частотного элемента в упомянутом кадре, с применением этапов расчета нового коэффициента кодирования на основе, по меньшей мере, одного другого коэффициента кодирования по меньшей мере одного другого частотного элемента в том же кадре, в котором имеется коэффициент кодирования с ошибкой, и по меньшей мере одного коэффициента кодирования, по меньшей мере, одного другого кадра, используя таким образом корреляцию коэффициентов кодирования как по времени, так и по частоте; и замены упомянутого коэффициента кодирования с ошибкой новым коэффициентом кодирования. 2. Способ по п.1, в котором упомянутый коэффициент кодирования с ошибкой представляет собой, по меньшей мере, один из коэффициента кодирования с частичной ошибкой и полностью потерянного коэффициента кодирования. 3. Способ по п.1 или 2, в котором коэффициенты кодирования представляют собой квантованные коэффициенты кодирования. 4. Способ по п.1, в котором упомянутый новый коэффициент кодирования упомянутого частотного элемента также рассчитывают на основе, по меньшей мере, одного коэффициента кодирования того же частотного элемента, по меньшей мере, в одном другом кадре. 5. Способ по п.4, в котором упомянутый новый коэффициент кодирования упомянутого частотного элемента также рассчитывают на основе, по меньшей мере, одного коэффициента кодирования, по меньшей мере, одного другого частотного элемента в, по меньшей мере, одном другом кадре. 6. Способ по п.1, в котором упомянутый этап расчета нового коэффициента кодирования содержит этап прогнозирования спектрального фазового компонента на основе согласования групповой задержки между кадрами, используя заранее заданный критерий. 7. Способ по п.6, в котором упомянутый этап прогнозирования спектрального фазового компонента содержит этапы расчета групповой задержки из, по меньшей мере, одного другого кадра; расчета спектральной фазы путем согласования групповой задержки, ассоциированной с новым спектральным компонентом, с рассчитанным значением групповой задержки. 8. Способ по п.7, в котором упомянутый этап расчета спектральной фазы содержит этап расчета спектральной фазы в кадре m и частотном элементе k на основе следующего рекурсивного решения: где используется для начала рекурсии. 9. Способ по п.1, в котором упомянутый этап расчета нового коэффициента кодирования содержит этап прогнозирования амплитуды спектрального компонента на основе согласования спектральной энергии между кадрами. 10. Способ по п.9, в котором упомянутый этап прогнозирования спектрального компонента амплитуды содержит этапы расчета весового коэффициента путем согласования энергии спектральных коэффициентов того же кадра, в котором имеется коэффициент кодирования с ошибкой, с энергией соответствующих спектральных коэффициентов, по меньшей мере, одного другого кадра; и расчета спектральной амплитуды на основе спектральной амплитуды того же частотного элемента упомянутого, по меньшей мере, одного другого кадра и упомянутого весового коэффициента. 11. Способ по п.1, в котором упомянутый, по меньшей мере, один другой кадр включает в себя, по меньшей мере, один предыдущий кадр. 12. Способ по п.1, в котором упомянутый, по меньшей мере, один другой кадр включает в себя, по меньшей мере, один последующий кадр. 13. Способ по п.1, в котором упомянутые коэффициенты кодирования представляют собой комплексные коэффициенты спектрального преобразования. 14. Способ по п.13, в котором новый комплексный спектральный коэффициент кодирования некоторого частотного элемента рассчитывают путем прогнозирования спектральной амплитуды и фазы отдельно, с последующим объединением прогнозируемых спектральной амплитуды и фазы. 15. Способ по п.14, в котором спектральную амплитуду прогнозируют на основе спектральной амплитуды того же частотного элемента, по меньшей мере, одного другого кадра и весового коэффициента, причем весовой коэффициент рассчитывают путем согласования энергии спектральных коэффициентов упомянутого кадра с энергией соответствующих спектральных коэффициентов упомянутого, по меньшей мере, одного другого кадра. 16. Способ по п.14 или 15, в котором спектральную фазу прогнозируют путем расчета групповой задержки, по меньшей мере, от двух компонентов спектральной фазы, по меньшей мере, одного, другого кадра, и расчета спектральной фазы путем согласования групповой задержки, ассоциированной с новым спектральным компонентом, с рассчитанным значением групповой задержки. 17. Способ по п.13, в котором новый комплексный спектральный коэффициент кодирования прогнозируют непосредственно. 18. Способ по п.1, в котором упомянутая информация включает в себя аудиоинформацию. 19. Способ по п.1, в котором упомянутая информация включает в себя, по меньшей мере, одни из звуковых данных, видеоданных и данных изображения. 20. Устройство для маскирования ошибки в области частот для информации, представленной на покадровой основе, посредством коэффициентов кодирования множества частотных элементов, отличающееся наличием средства для приема информации, представляющей коэффициент кодирования с ошибкой, обнаруженный для некоторого частотного элемента в кадре; и средства (44) для маскирования упомянутого коэффициента кодирования с ошибкой для упомянутого частотного элемента в упомянутом кадре, причем упомянутое средство (44) содержит средство (56) для расчета нового коэффициента кодирования на основе, по меньшей мере, одного другого коэффициента кодирования по меньшей мере одного другого частотного элемента в том же кадре, в котором имеется коэффициент кодирования с ошибкой, и по меньшей мере одного коэффициента кодирования, по меньшей мере, одного другого кадра, используя таким образом корреляцию коэффициентов кодирования как по времени, так и по частоте; и средство (56, 58) для замены упомянутого коэффициента кодирования с ошибкой новым коэффициентом кодирования. 21. Устройство по п.20, в котором упомянутый коэффициент кодирования с ошибкой представляет собой, по меньшей мере, один из коэффициента кодирования с частичной ошибкой и полностью потерянного коэффициента кодирования. 22. Устройство по п.20, в котором упомянутое средство (56) для расчета выполнено с возможностью расчета нового коэффициента кодирования упомянутого частотного элемента, также на основе, по меньшей мере, одного коэффициента кодирования того же частотного элемента, по меньшей мере, в одном другом кадре. 23. Устройство по п.22, в котором упомянутое средство (56) для расчета выполнено с возможностью расчета нового коэффициента кодирования упомянутого частотного элемента, также на основе, по меньшей мере, одного коэффициента кодирования, по меньшей мере, одного другого частотного элемента, по меньшей мере, в одном другом кадре. 24. Устройство по п.20, в котором упомянутое средство (56) для расчета нового коэффициента кодирования содержит средство (74) для прогнозирования спектрального фазового компонента на основе согласования групповой задержки между кадрами с использованием заранее заданного критерия. 25. Устройство по п.24, в котором упомянутое средство (74) для прогнозирования спектрального фазового компонента содержит средство для расчета групповой задержки, по меньшей мере, от одного другого кадра; и средство для расчета спектральной фазы с помощью согласования групповой задержки, ассоциированной с новым спектральным компонентом, с рассчитанным значением групповой задержки. 26. Устройство по п.20, в котором упомянутое средство (56) для расчета нового коэффициента кодирования содержит средство для прогнозирования компонента спектральной амплитуды на основе согласования спектральной энергии между кадрами. 27. Устройство по п.26, в котором упомянутое средство для прогнозирования компонента спектральной амплитуды содержит средство (72) для расчета весового коэффициента путем согласования энергии спектральных коэффициентов того же кадра, в котором имеется коэффициент кодирования с ошибкой, с энергией соответствующих спектральных коэффициентов, по меньшей мере, одного другого кадра; средство (72) для расчета спектральной амплитуды на основе спектральной амплитуды того же частотного элемента упомянутого, по меньшей мере, одного другого кадра и упомянутого весового коэффициента. 28. Устройство по п.20, в котором упомянутый, по меньшей мере, один другой кадр включает в себя, по меньшей мере, один предыдущий кадр. 29. Устройство по п.20, в котором упомянутый, по меньшей мере, один другой кадр включает в себя, по меньшей мере, один последующий кадр. 30. Устройство по п.20, в котором упомянутые коэффициенты кодирования представляют собой комплексные коэффициенты спектрального преобразования. 31. Устройство по п.30, в котором упомянутое средство (56) для расчета выполнено с возможностью расчета нового комплексного спектрального коэффициента кодирования для данного частотного элемента путем прогнозирования спектральной амплитуды и фазы отдельно, с последующим объединением прогнозируемых спектральной амплитуды и фазы. 32. Устройство по п.31, в котором упомянутое средство (56) для расчета выполнено с возможностью прогнозирования спектральной амплитуды на основе спектральной амплитуды того же частотного элемента, по меньшей мере, одного другого кадра и весового коэффициента, причем упомянутое средство (56) для расчета выполнено с возможностью расчета упомянутого весового коэффициента путем согласования энергии спектральных коэффициентов упомянутого кадра с энергией соответствующих спектральных коэффициентов упомянутого, по меньшей мере, одного другого кадра. 33. Устройство по п.31 или 32, в котором упомянутое средство (56) для расчета выполнено с возможностью прогнозирования спектральной фазы путем расчета групповой задержки, по меньшей мере, от двух компонентов спектральной фазы, по меньшей мере, одного другого кадра, и расчета спектральной фазы путем согласования групповой задержки, ассоциированной с новым компонентом, с рассчитанной групповой задержкой. 34. Устройство по п.30, в котором новый комплексный спектральный коэффициент кодирования прогнозируют непосредственно. 35. Устройство по п.20, в котором упомянутая информация включает в себя аудиоинформацию. 36. Устройство по п.20, в котором упомянутая информация включает в себя, по меньшей мере, одно из звуковых данных, видеоданных и данных изображения. 37. Декодер (40), содержащий устройство по п.20. 38. Приемник, содержащий устройство по п.20. Приоритет по пунктам: 19.12.2003 – пп.1-11, 13-18, 20-28, 30-35, 37, 38; 20.02.2004 – пп.12, 19, 29, 36.
РИСУНКИ
|
||||||||||||||||||||||||||
