Патент на изобретение №2181930
|
||||||||||||||||||||||||||
(54) СПОСОБ СКРЫТОЙ ПЕРЕДАЧИ ИНФОРМАЦИИ И СПОСОБ ИЗВЛЕЧЕНИЯ СКРЫТОЙ ИНФОРМАЦИИ
(57) Реферат: Изобретение относится к передаче видеоизображений со скрытой информацией. Его использование позволяет получить технический результат в виде обеспечения способа включения дополнительной информации в видеоизображение, при котором не происходит ухудшения качества изображения, а также затруднено удаление этой дополнительной информации. Этот технический результат достигается благодаря способу встраивания скрытых данных в передающее движение видеоизображение, состоящее из множества кадров, путем встраивания дополнительной информации в указанное передающее движение видеоизображение с использованием метода кодирования с межкадровым предсказанием. Этот способ заключается в том, что в кадре выделяют по крайней мере одну область встраивания дополнительной информации, для указанной области встраивания с учетом встраиваемой информации определяют тип межкадрового предсказания исходя из правила встраивания такой информации, которое устанавливает соответствие между содержанием встраиваемых данных и типом межкадрового предсказания для этой области встраивания, и передающее движение видеоизображение кодируют с использованием этого определенного типа межкадрового предсказания. 4 с. и 18 з.п.ф-лы, 9 ил., 2 табл. Настоящее изобретение относится к способу включения скрытых данных, предназначенному для встраивания скрытого сообщения в аудиовизуальную информацию, а также к способу извлечения скрытых данных. Предпосылки создания изобретения В результате быстрого развития и внедрения мультимедиа (т.е. систем с комплексным представлением информации) в жизнь современного общества наблюдается широкое распространение больших объемов цифровой видео- и аудиоинформации в сети Интернет и программного обеспечения на компакт-дисках. При этом цифровая видео- и аудиоинформация может быть легко скопирована третьим лицом с получением высококачественных копий и без нарушения целостности данных и поэтому возникает проблема защиты от изготовления нелегальных (“пиратских”) копий и защиты авторских прав. С целью предотвратить незаконное копирование аудиовизуальной информации, например копирование записанной на какой-либо носитель видео- и аудиоинформации, все большее внимание уделяется разработке методов включения дополнительной скрытой информации, например подписи разработчика (или автора) программы, в исходные аудиовизуальные данные. В этом случае при незаконном копировании видеоданных или иной информации подобного типа можно легко определить, является ли изготовленная копия “пиратской” путем подтверждения скрытой в ней подписи и установления ее источника. Такой метод защиты информации от незаконного копирования называют сокрытием данных или включением дополнительной скрытой информации. На фиг.1 показано полутоновое изображение, полученное при выводе цифровой информации на экран дисплея или аналогичного устройства. В аудиовизуальную информацию (фиг. 1 (а)), представляющую собой цифровое изображение, помещены скрытые сообщения, такие, как “воспитательница”, “река”, “ребенок” и “птицы”, как это показано на фиг.1 (б). При записи аудиовизуальных данных на носитель или при их передаче изображение (полученное, например, с фотографии) разбивается на очень маленькие сегменты, яркость и цветовой тон каждого из которых представляется в цифровой форме. При этом в исходные цифровые данные, характеризующие это изображение, целенаправленно вносят небольшие изменения. Такие небольшие изменения цифровых данных вызывают столь незначительные искажения в воспроизводимом изображении, что они практически не воспринимаются глазом человека. При умелом использовании этого обстоятельства в исходные видеоданные можно включать абсолютно иную, не относящуюся к этим видеоданным скрытую информацию (в виде сообщения). Такое сообщение может содержать любую информацию, например представлять собой сетки из прямых линий, линейки разметки или подписи создателей видеоинформации. Скрытые сообщения, помещенные в аудиовизуальные данные, можно извлечь обработкой этих данных с помощью специальной программы. Таким образом, на основании извлеченных сообщений можно определить, вносились ли какие-нибудь изменения в эти аудиовизуальные данные. Следует отметить, что одним из широко распространенных методов сжатия видеоизображений (видеоинформации), передающих движение, является стандарт MPEG (от англ. “Moving Pictures Expert Group” (группа экспертов по разработке стандартов на методы сжатия видеоизображений, передающих движение, на основе алгоритма DCT)). В том случае, когда в поток видеоинформации, сжатый с использованием стандарта MPEG, требуется включить дополнительные данные, обычно применяется метод включения дополнительных скрытых данных в поле пользовательских данных. Однако в этом методе поле пользовательских данных можно легко выделить из потока аудиовизуальной информации, и, следовательно, возникает проблема, связанная с тем, что включенную в исходные данные дополнительную скрытую информацию можно легко обнаружить и удалить. Исходя из вышеописанной проблемы, в основу настоящего изобретения была положена задача разработать новый способ включения дополнительной информации в видеоизображение, сжатое с использованием межкадрового предсказания. Другой задачей настоящего изобретения является разработка такого способа, при осуществлении которого не происходило бы ухудшения качества изображения в результате встраивания в него дополнительной информации. Еще одна задача настоящего изобретения состоит в том, чтобы затруднить удаление такой встроенной информации из видеоизображения. Для решения указанной задачи в изобретении предлагается способ включения скрытых данных в передающее движение видеоизображение, состоящее из множества кадров. Этот способ заключается в том, что в кадре выделяют по крайней мере одну область включения дополнительной информации и для указанной области включения с учетом встраиваемой информации определяют тип межкадрового предсказания, исходя из правила включения такой информации, которое устанавливает соответствие между содержанием встраиваемых данных и типом межкадрового предсказания для этой области включения. В качестве кадра, содержащего указанную область включения, предпочтительно использовать кадр, кодируемый с двунаправленным предсказанием. Кроме того, тип межкадрового предсказания предпочтительно выбирать из группы, включающей предсказание вперед, предсказание назад, двунаправленное предсказание и внутрикадровое кодирование. Далее, согласно правилу включения, одному битовому значению предпочтительно ставить в соответствие двунаправленное предсказание, а другому битовому значению ставить в соответствие предсказание вперед или предсказание назад. Правило включения предпочтительно также устанавливает соответствие между внутрикадровым кодированием и запретом на включение данных. Помимо этого, в том случае, когда ошибка предсказания для того типа межкадрового предсказания, который был выбран для области включения исходя из правила включения, превышает заданную пороговую величину, предпочтительно налагать запрет на встраивание данных в эту область включения. Поскольку тип предсказания принудительно выбирается исходя из правила включения, существует вероятность ухудшения качества изображения. Поэтому для характеристики эталонного качества изображения устанавливается некоторая пороговая величина, что позволяет при использовании правила включения исключить встраивание данных в то положение, для которой ошибка предсказания превосходит эту величину. Кроме того, в том случае, когда в кадре, кодированном с двунаправленным предсказанием, количество ссылок предсказания вперед или количество ссылок предсказания назад меньше некоторого заданного количества, на встраивание данных в указанную область включения в этом кадре, кодированном с двунаправленным предсказанием, также может быть наложен запрет. Например, при смене эпизодов в видеофильме количество ссылок предсказания вперед или количество ссылок предсказания назад в кадре, на котором происходит такая смена эпизодов, значительно уменьшается. В этом случае использование правила включения и принудительное определение типа предсказания может привести к ухудшению качества изображения. Поэтому, если при подсчете количества ссылок предсказания в кадре оно оказывается меньше заданной пороговой величины, то данные в этот кадр предпочтительно не включать. Для решения этой проблемы в изобретении предлагается далее способ включения скрытых данных в передающее движение видеоизображение, состоящее из множества кадров. Этот способ заключается в том, осуществляют подсчет количества ссылок предсказания вперед или количества ссылок предсказания назад в кадре, содержащем область, предназначенную для включения или встраивания дополнительной информации, и затем, если количество ссылок превосходит некоторое заданное количество, с учетом включаемой информации определяют характеристики указанных областей включения, исходя из правила включения, которое устанавливает соответствие между содержанием встраиваемых данных и характеристикой этой области включения, а если количество ссылок меньше заданного количества, налагают запрет на встраивание данных в эту область включения в кадре. В изобретении также предлагается способ включения скрытых данных, при осуществлении которого дополнительная информация встраивается в изображение с избыточностью. Сначала в изображении выделяют множество областей, в которые предполагается включить одинаковую информацию. Затем с учетом включаемой информации в соответствующие области встраивают одинаковые данные, исходя из правила включения. Например, можно рассмотреть случай, когда в три области встраивается бит, значение которого равно 1. Используя правило включения, которое устанавливает соответствие между значением бита и характеристикой (например, типом предсказания) области включения, выделяются три таких области включения, имеющие одинаковую характеристику, которая соответствует битовому значению 1. В изобретении также предлагается способ извлечения скрытых данных, предназначенный для извлечения содержащейся в передающем движение видеоизображении дополнительной скрытой информации. При этом в кадре выделяют по крайней мере одну область включения, содержащую вставленную информацию. После этого осуществляют извлечение встроенной в эту выделенную область дополнительной информации, исходя из правила извлечения, которое устанавливает соответствие между типом межкадрового предсказания для этой области включения и содержанием извлекаемых данных. В качестве кадра, содержащего область включения дополнительной информации, предпочтительно использовать кадр, кодируемый с двунаправленным предсказанием. Кроме того, тип межкадрового предсказания предпочтительно выбирать из группы, включающей предсказание вперед, предсказание назад, двунаправленное предсказание и внутрикадровое кодирование. Помимо этого, правило извлечения может ставить в соответствие двунаправленному предсказанию одно битовое значение, а предсказанию вперед или предсказанию назад ставить в соответствие другое битовое значение. Кроме того, правило извлечения также может устанавливать соответствие между запретом на встраивание данных и внутрикадровым кодированием. Далее в изобретении предлагается способ извлечения данных, предназначенный для извлечения скрытой информации, включенной в видеоизображение и присутствующей в нем с избыточностью. Этот способ заключается в том, что в изображении выделяют множество областей включения, в которые встроен один и тот же информационный бит (например, бит, значение которого равно 1), а затем с учетом характеристик этих областей включения осуществляют извлечение встроенных данных (вышеупомянутого информационного бита, значение которого равно 1), исходя из правила извлечения, которое устанавливает соответствие между характеристикой области включения и извлекаемым информационным битом. В этом случае при извлечении из соответствующих областей включения различных информационных бит можно осуществлять сравнение количества областей включения для каждого из этих различных извлекаемых информационных бит и выделять в качестве встроенной информации тот информационный бит, для которого это количество имеет наибольшее значение (так называемый выбор по большинству). Пусть, например, информационные биты, извлеченные из трех областей включения А, В и С, в которые должен был бы быть встроен один и тот же бит (бит 1), имеют значения 1, 1 и 0 соответственно. В этом случае количество областей включения, из которых был извлечен бит 1, равно 2, а количество областей включения, из которых был извлечен бит 0, равно 1. Поскольку разумно предположить, что более точным битовым значением является то, для которого количество соответствующих областей наибольшее, принимается, что был включен бит 1. Если был встроен бит 1, то из каждой из трех областей он же должен быть и извлечен. Однако в некоторых случаях по той или иной причине встроенная информация претерпевает изменения. Кроме того, извлечение данных осуществляется на основе статистических методов. Поэтому описанный выше способ извлечения информации, встроенной в изображение с избыточностью, является достаточно эффективным. В изобретении также предлагается система кодирования передающего движение видеоизображения, предназначенная для включения дополнительной информации в изображение, состоящее из множества кадров и кодируемое с межкадровым предсказанием. Эта система включает блок вычисления ошибок, который, используя предсказание вперед, служит для расчета первой ошибки предсказания на основании области включения, выделенной в первом кадре, а также на основании базовой области во втором кадре, содержащем ссылку от этой области включения, и который также служит, используя предсказание назад, для расчета второй ошибки предсказания на основании этой области включения и базовой области в третьем кадре, содержащем ссылки от этой области включения, и который, кроме того, служит, используя двунаправленное предсказание, для расчета третьей ошибки предсказания на основании области включения и базовых областей во втором и третьем кадрах, содержащих ссылки от этой области включения. Предлагаемая система также включает блок выбора решения. Этот блок с учетом содержания включаемой информации служит для выбора типа межкадрового предсказания для области включения, исходя из правила включения, согласно которому при встраивании в область включения одного информационного бита в качестве типа межкадрового предсказания для этой области выбирается либо предсказание вперед, либо предсказание назад, а при встраивании в эту область включения другого информационного бита в качестве типа межкадрового предсказания выбирается двунаправленное предсказание. Этот блок выбора решения также служит для выделения одной из указанных ошибок предсказания – первой, второй либо третьей – в соответствии с выбранным типом межкадрового предсказания. Вышеупомянутый блок выбора решения может включать первую схему запрета, которая служит для наложения запрета на встраивание данных в некоторую область включения, если ошибка предсказания для определенного на основании правила включения типа межкадрового предсказания для этой области превышает заданную пороговую величину. Кроме того, блок выбора решения может включать вторую схему запрета, которая служит для наложения на запрет на встраивание данных в область включения в кадре, кодируемом с двунаправленным предсказанием, если количество ссылок предсказания вперед или количество ссылок предсказания назад для этого кадра меньше некоторого заданного количества. В изобретении далее предлагается система декодирования изображения, предназначенная для извлечения дополнительной скрытой информации, встроенной в кодированное передающее движение видеоизображение. Эта система включает спецификатор, который служит для выделения по крайней мере одной области, содержащей включенную в нее информацию. Кроме того, предлагаемая система включает экстрактор, предназначенный для извлечения указанной встроенной информации на основании типа межкадрового предсказания для указанной области включения с помощью правила извлечения, которое устанавливает соответствие между типом межкадрового предсказания для этой области включения и содержанием встроенных данных. В изобретении также предлагается среда для хранения программ, предназначенная для осуществления выполняемого с помощью компьютера способа включения скрытых данных, в котором в состоящее из множества кадров изображение, передающее движение, встраивается дополнительная скрытая информация. Эта среда для хранения программ служит для выделения в кадре по крайней мере одной области для включения указанной дополнительной информации и для выбора с учетом этой встраиваемой информации, типа межкадрового предсказания для области включения, исходя из правила включения, которое устанавливает соответствие между содержанием встраиваемой информации и типом межкадрового предсказания для этой области включения. Кроме того, в изобретении предлагается среда для хранения программ, предназначенная для осуществления выполняемого с помощью компьютера способа извлечения скрытых данных, в котором из кодированного изображения, передающего движение, извлекается содержащаяся в нем скрытая информация. Эта среда для хранения программ служит для выделения в кадре по крайней мере одной области, в которую включена указанная скрытая информация, и для извлечения этой скрытой информации с учетом типа межкадрового предсказания для этой области включения, исходя из правила извлечения, которое устанавливает соответствие между типом межкадрового предсказания для этой области включения и содержанием извлекаемых данных. Ниже изобретение более подробно поясняется со ссылкой на прилагаемые чертежи, на которых показано: на фиг.1 – полутоновое изображение, полученное при выводе цифровой информации на экран дисплея или аналогичного устройства; на фиг. 2 – схематичный пример последовательности одного из типов межкадрового предсказания; на фиг.3 – схематичный пример расположения макроблоков в В-кадре; на фиг. 4 – диаграмма, иллюстрирующая взаимосвязь между типом предсказания и ошибкой предсказания для макроблока; на фиг. 5 – схема, поясняющая принцип ссылки на базовые кадры при смене эпизода; на фиг.6 – схема системы кодирования изображения, передающего движение; на фиг. 7 – схема системы декодирования изображения, передающего движение. 1. Встраивание данных Сначала рассмотрен случай включения или встраивания дополнительной информации (сообщений) в поток видеоданных (аудиовизуальную информацию), передаваемых в соответствии со стандартом MPEG. В стандарте MPEG применяется предсказание вперед на основе предыдущего базового кадра, предсказание назад на основе последующего базового кадра и двунаправленное предсказание на основе как предыдущего, так и последующего кадров. На фиг.2 представлен пример последовательности кадров. Как показано на этом чертеже, такая последовательность состоит из кадров трех типов: l-кадра, Р-кадров и В-кадров, что позволяет реализовать двунаправленное предсказание. В этом примере l-кадр представляет собой кадр с внутренним кодированием, а все макроблоки в этом кадре сжаты посредством внутрикадрового кодирования (без межкадрового предсказания). Р-кадр представляет собой кадр, кодированный с предсказанием (вперед), а все макроблоки в этом кадре сжаты посредством внутрикадрового кодирования или кодирования с предсказанием вперед. Далее, В-кадр представляет собой кадр, интерполяционно кодированный с двунаправленным предсказанием. Макроблоки в В-кадре в принципе могут кодироваться с предсказанием вперед, с предсказанием назад, с двунаправленным предсказанием или путем внутрикадрового кодирования. l-кадр и Р-кадры кодируются в том же порядке, в котором они расположены в исходном видеоизображении (которым в данном случае названо изображение, передающее движение). В отличие от них В-кадры помещены между этими I-кадром и Р-кадрами и кодируются после обработки I- и Р-кадров. Областью, в которую встраивается информация (сообщения), являются макроблоки В-кадра, причем 1 бит информации можно включить или встроить в 1 соответствующий макроблок. Следовательно, если сообщения представлены последовательностью некоторого числа бит, дополнительную информацию необходимо встраивать в равное соответствующему числу бит количество макроблоков. На фиг. 3 показан пример расположения макроблоков в В-кадре. Макроблок является единичным элементом предсказания. Макроблок представляет собой единичный элемент компенсации сдвига (или смещения) изображения, служащей для сжатия видеоданных за счет уменьшения их временной избыточности, и образован квадратной матрицей размером 16 х16 элементов изображения (пикселей). По типу предсказания макроблоки в В-кадре можно разделить на следующие четыре группы. I. Макроблок с внутренним кодированием Макроблок с внутренним кодированием представляет собой макроблок, который кодируется только информацией, содержащейся в самом макроблоке, без межкадрового предсказания. II. Макроблок с предсказанием вперед Макроблок с предсказанием вперед представляет собой макроблок, предсказываемый в прямом направлении и кодируемый путем ссылки либо на предыдущий кадр с внутренним кодированием (l-кадр), либо на предыдущий кадр, кодируемый с предсказанием вперед (Р-кадр). В частности, в предыдущем базовом кадре отыскивается наиболее сходная область, представляющая собой квадратную матрицу размером 16 х 16 пикселей, причем макроблок содержит ошибку предсказания (  P), вычисляемую как разность между этим макроблоком и найденной квадратной матрицей, а также содержит информацию об относительном пространственном положении (вектор движения). В данном случае ошибка предсказания (P) представляет собой разность по яркости или по цвету, вычисляемую для квадратных матриц размером 16 х 16 пикселей. Следует отметить, что метод выбора сходной матрицы задается самим кодером.
III. Макроблок с предсказанием назадМакроблок с предсказанием назад представляет собой макроблок, предсказываемый в обратном направлении и кодируемый путем ссылки либо на последующий кадр с внутренним кодированием (l-кадр), либо на последующий кадр, кодируемый с предсказанием вперед (Р-кадр). В последующем базовом кадре отыскивается наиболее сходная область, причем макроблок содержит ошибку предсказания ( N), вычисляемую как разность между этим макроблоком и найденной областью, а также содержит информацию об относительном пространственном положении (вектор движения).
IV. Макроблок с двунаправленным предсказаниемМакроблок с двунаправленным предсказанием представляет собой макроблок, предсказываемый в двух направлениях и кодируемый путем ссылки на предыдущий базовый кадр и последующий базовый кадр. При этом отыскивается как наиболее сходная область в предыдущем базовом кадре, так и отыскивается как наиболее сходная область в предыдущем базовом кадре, так и наиболее сходная область в последующем базовом кадре, причем макроблок содержит ошибку предсказания (( N+P)/2), вычисляемую как разность между этим макроблоком и средним (на пиксель) для этих двух областей, а также содержит информацию об относительном пространственном положении (два вектора движения) между этими областями.
Для встраивания сообщений в В-кадре сначала необходимо выделить по крайней мере один макроблок, который предназначен для встраивания данных. С этой целью можно выбрать, например, совокупность соответствующих макроблоков (областей встраивания), расположенных между первой и третьей строками В-кадра, или совокупность всех макроблоков некоторого кадра. Помимо описанного выше пути предварительного выделения макроблока в качестве формата, можно применять и другие подходы, например, с использованием алгоритма, при выполнении которого формируется последовательность положений.
После выделения макроблока в качестве элемента, предназначенного для встраивания данных, затем исходя из соответствующего правила встраивания в 1 макроблок встраивается 1 бит данных. Правило встраивания устанавливает соответствие между двоичной информаций и типом предсказания макроблока. Правило встраивания представлено в табл.1 (см.в конце описания).
В качестве примера можно рассмотреть случай, когда встраивается сообщение, представленное последовательностью бит 1010. Четыре бита этого сообщения последовательно встраиваются в четыре области встраивания (макроблоки), начиная с крайнего левого макроблока и заканчивая макроблоком, который является четвертым слева в первой строке, как это показано на фиг.3. Первый бит сообщения равен 1 и поэтому согласно приведенному выше правилу включения типом предсказания для крайнего левого макроблока (первая область включения) будет двунаправленное предсказание (В). Ошибка предсказания в этом случае представляет собой ошибку, обусловленную различием между средним наиболее сходной области в предыдущем базовом кадре и наиболее сходной области в последующем базовом кадре.
Следующий бит сообщения равен 0. Следовательно, согласно правилу включения, типом предсказания для второго макроблока (вторая область включения) является предсказание вперед (Р) или предсказание назад (N). В этом случае во избежание ухудшения качества изображения сравниваются ошибка предсказания вперед и ошибка предсказания назад, и в качестве типа предсказания для макроблока выбирается тот, для которого ошибка наименьшая. В примере по фиг.3 для второго макроблока выбирается предсказание вперед (Р), поскольку ошибка предсказания для него меньше, чем для предсказания назад.
Аналогичные процедуры последовательно выполняются для третьей и четвертой областей включения. В результате в качестве типа предсказания для третьего макроблока выбирается двунаправленное предсказание (В), а для четвертого макроблока – предсказание назад (N), поскольку ошибка предсказания меньше для предсказания назад.
В конечном итоге типы межкадрового предсказания для рассматриваемых четырех областей включения (с первой по четвертую) оказываются представленными последовательностью BPBN, а четыре бита 1010 (четыре бита сообщения) встраиваются в эти области. Иногда встраивание бит сообщения в некоторую область включения может приводить к значительному ухудшению качества изображения. В этом случае данные в эту область не включаются, а типом предсказания для такой области становится макроблок с внутренним кодированием, что соответствует “запрету на встраивание данных”2. Извлечение данных Ниже описан способ извлечения сообщения, данные которого были встроены в информационный поток вышеописанным путем. Для извлечения сообщения необходимо предварительно иметь информацию о том, в какой макроблок было встроено это сообщение. Такая уточняющая информация может быть получена от некоторого внешнего блока. В другом варианте уточняющую информацию можно также заранее включить в само сообщение. Кроме того, сообщение можно извлечь, если положение области встраивания стандартизовано или если известен алгоритм формирования последовательности положений. Далее, исходя из типа предсказания для той области встраивания, которая была определена на основании уточняющей информации, с помощью правила извлечения извлекается встроенная в эту область информация. Правило извлечения устанавливает соответствие между типом предсказания макроблока и двоичной информацией, при этом для извлечения сообщения это правило должно быть задано в виде информации. Пример такого правила извлечения представлен в табл.2 (см. в конце описания). Следует отметить, что в этом правиле извлечения сохранена та же взаимосвязь между типом предсказания и двоичной информацией, которая использовалась в приведенном выше правиле встраивания. В том случае, когда в качестве типа предсказания указан макроблок с внутренним кодированием, предполагается, что в эту область биты сообщения не встраивались. Ниже рассмотрен случай, когда сообщение было встроено в информационный поток в соответствии с примером по фиг.3. При этом предполагается, что уже известно, что биты сообщения были встроены в четыре области включения, начиная с крайнего левого макроблока и заканчивая четвертым слева в первой строке макроблоком по фиг.3. Поскольку типом предсказания для крайнего левого макроблока является двунаправленное предсказание (В), согласно приведенному выше правилу извлечения из этого макроблока извлекается бит, значение которого равно 1. Типом предсказания для второго макроблока является предсказание вперед (Р) и поэтому согласно правилу извлечения из него извлекается бит, значение которого равно 0. Последовательно повторяя указанную процедуру для остальных двух макроблоков, из них извлекаются биты, значения которых равны 1 и 0 соответственно. В результате из этих областей извлекается сообщение, данные которого представлены последовательностью бит 1010. Если в качестве типа предсказания для крайнего правого макроблока был бы указан макроблок с внутренним кодированием, то согласно приведенному выше правилу извлечения предполагалось бы, что в этот макроблок биты не встраивались. Таким образом, извлеченные данные состояли бы из последовательности бит 101. 3. Учет качества изображения (применение пороговой величины) Кодер может выбирать любой тип предсказания макроблока из числа разрешенных для каждого кадра. Как правило, выбирается тот тип предсказания, который имеет наименьшую ошибку предсказания. Однако отличие данного варианта осуществления настоящего изобретения заключается в том, что тип предсказания макроблока выбирается в соответствии с приведенным выше правилом включения. Поскольку и правило включения и правило извлечения устанавливают одинаковую взаимосвязь между типом предсказания и двоичной информацией, встроенные данные могут быть с достаточной точностью извлечены с помощью правила извлечения. Однако при определении типа предсказания на основании правила включения существует вероятность, что выбранный тип предсказания будет иметь столь большую ошибку предсказания, которая может привести к зрительно воспринимаемому ухудшению качества изображения. Ошибку предсказания часто вычисляют как сумму абсолютных величин или сумму квадратов ошибок предсказания для каждого пикселя, однако стандарт MPEG не устанавливает единого способа вычисления и поэтому кодер не органичен в выборе метода вычисления ошибок предсказания. Однако вне зависимости от метода вычисления наличие очень высокой ошибки в выбранном типе предсказания приводит к ухудшению качества изображения. Поэтому для ошибки предсказания заранее устанавливается некоторая пороговая величина. Если ошибка предсказания для выбранного типа предсказания превышает пороговую величину, то информационный бит целесообразно не встраивать в этот макроблок. В этом случае для этого макроблока в качестве типа предсказания выбирается макроблок с внутренним кодированием в соответствии с приведенным выше правилом включения, как это более подробно поясняется ниже со ссылкой на фиг.4. На фиг.4 приведена диаграмма, поясняющая взаимосвязь между типом предсказания и ошибкой предсказания для макроблока. На этом чертеже по оси ординат отложена величина ошибки предсказания, при этом большая величина ошибки соответствует более значительному ухудшению качества изображения. Кроме того, на этой оси задана пороговая величина, которая характеризует степень допустимой ошибки предсказания, т.е. является некоторой нормированной величиной оценки, при которой не происходит зрительно воспринимаемого ухудшения качества изображения. На фиг.4 каждая из трех коротких горизонтальных черточек (I), (II) и (III), соединенных сплошной вертикальной чертой, обозначает одну из трех ошибок предсказания для предсказания вперед, предсказания назад и двунаправленного предсказания соответственно. Исходя из соотношения между пороговой величиной и этими тремя ошибками предсказания, макроблок может быть отнесен к одному из четырех типов (а), (б), (в) и (г). В макроблоке типа (а) все три ошибки предсказания меньше пороговой величины, в макроблоке типа (б) одна из ошибок предсказания превышает пороговую величину, в макроблоке типа (в) две ошибки предсказания превышают пороговую величину, а в макроблоке типа (г) все три ошибки предсказания превышают пороговую величину. Для макроблока типа (г) вне зависимости от выбранного типа предсказания все ошибки предсказания превышают пороговую величину, что означает существенное ухудшение качества изображения, и поэтому макроблок этого типа не рекомендуется использовать как область включения. Согласно правилу включения, такой макроблок становится макроблоком с внутренним кодированием. Однако, поскольку в стандарте MPEG большинство макроблоков в В-кадре кодируются с межкадровым предсказанием (с предсказанием вперед, с предсказанием назад или с двунаправленным предсказанием), фактически вероятность появления макроблока этого типа незначительна. Для макроблока типа (а) независимо от выбранного типа предсказания вероятность превышения какой-либо из ошибок предсказания пороговой величины равна нулю. Это означает, что при включении в этот макроблок любых данных ухудшение качества изображения не будет заметным и, следовательно, этот макроблок можно использовать как область включения. Для макроблока типа (б) также можно принять, что его использование как области включения не приведет к заметному ухудшению качества изображения. Обычно вероятность того, что ошибка двунаправленного предсказания примет наихудшее значение из трех возможных ошибок предсказания, практически равна нулю (т.е. обычно она не бывает представлена горизонтальной черточкой (I)). Согласно приведенному выше правилу включения в макроблок этого типа можно включать как бит 1, так и бит 0, не опасаясь при этом превышения пороговой величины. Следовательно, при использовании приведенного выше правила включения в макроблоки типа (а) и (б) можно встраивать информационные биты, не вызывая заметного ухудшения качества изображения. Макроблоки типа (в), как правило, нежелательно использовать в качестве областей включения. Хотя для типа (в) ошибка двунаправленного предсказания представлена горизонтальной черточкой (III), которая лежит ниже пороговой величины, тем не менее и ошибка предсказания вперед и ошибка предсказания назад превосходят пороговую величину и, следовательно, ухудшение качества изображения будет зависеть от значения информационного бита, включаемого в этот макроблок. Однако в некоторых случаях и макроблок этого типа может быть использован в качестве области включения, а именно, если ошибка для того типа предсказания, который соответствует фактически вставляемому информационному биту, не превышает некоторой пороговой величины (например, если ошибка предсказания при встраивании имеющего некоторое значение бита с использованием правила включения оказывается меньше пороговой величины и соответствует ошибке, обозначенной горизонтальной черточкой (III)). Исходя из вышесказанного, для макроблока, в который предполагается встроить данные, производится подсчет ошибок предсказания трех типов. Далее, если ошибка предсказания для того типа предсказания, который был выбран на основании правила включения, превышает заданную пороговую величину, то целесообразно запретить включение данных в этот макроблок. В этом случае согласно приведенному выше правилу включения типом предсказания для макроблока, включение данных в который запрещено, является внутрикадровое кодирование. Следует отметить, что макроблоки с внутренним кодированием, относящиеся к типам (в) или (г), несут недостоверную информацию и не могут быть использованы в качестве областей включения. Однако, как указано выше, реальная частота появления таких макроблоков достаточно низка и поэтому такую недостоверную информацию в тех случаях, когда допускается избыточность встраиваемых данных, можно скорректировать, используя кодирование с исправлением ошибок. Согласно рассматриваемому варианту осуществления изобретения, выбор типа макроблока и встраиваемого информационного бита и установление взаимосвязи между ними осуществляются при кодировании видеоизображения, передающего движение. Поэтому в такое видеоизображение сообщение можно включать без существенного снижения эффективности сжатия изображения и без существенного ухудшения его качества. Кроме того, встроенное указанным способом сообщение чрезвычайно трудно удалить из видеоизображения. Далее, поскольку объем встраиваемой информации практически не зависит от информации, содержащейся в изображении, процедура включения такого дополнительного сообщения может быть осуществлена с высокой степенью эффективности. 4. Учет качества изображения (компенсация смены эпизодов) Известно, что при смене эпизодов большинство макроблоков в В-кадрах, расположенных между I-кадром и Р-кадром или между Р-кадрами, один из которых предшествует смене эпизода, а другой следует за ней, относятся к типу (в), показанному на фиг.4. На фиг.5 приведена схематическая иллюстрация базовых участков изображения при смене эпизода. На фиг.5 (а) показан случай, когда смены эпизода не происходит, а на фиг.5 (б) – случай, когда смена эпизода происходит между кадром 2 и кадром 3. Кадры, расположенные по краям, представляют собой I- или Р-кадры, а два центральных кадра являются В-кадрами. Стрелками на чертеже показаны ссылки от одного кадра к другому. При отсутствии смены эпизода В-кадр содержит большое число макроблоков с двунаправленным предсказанием. Однако, когда происходит смена эпизода, как это показано, например, на фиг.5 (б), число макроблоков с предсказанием назад или с двунаправленным предсказанием в кадре 2 значительно уменьшается, и большинство макроблоков становятся макроблоками с предсказанием вперед, что приводит к уменьшению ошибок предсказания ниже пороговой величины, показанной на фиг. 4. Кроме того, в кадре 3 существенно уменьшается число макроблоков с предсказанием вперед и с двунаправленным предсказанием, а большинство макроблоков становятся макроблоками с предсказанием назад, что приводит к уменьшению ошибок предсказания ниже пороговой величины, показанной на фиг. 4. Следовательно, включать данные в такие макроблоки нежелательно. В этом случае отслеживается количество макроблоков с предсказанием вперед и количество макроблоков с предсказанием назад, и, если эти количества оказываются меньше некоторой пороговой величины, делается вывод о том, что имела место смена эпизодов. Встраивания данных в такие кадры целесообразно избегать (т. е., исходя из правила включения, соответствующий тип предсказания целесообразно определить как макроблок с внутренним кодированием). 5. Учет качества изображения (компенсация окклюзии) Под окклюзией (заграждением) понимается внезапное появление в изображении какого-нибудь объекта, который был закрыт другим объектом, или, наоборот, закрытие одного объекта другим в результате перемещения этого другого объекта. Когда происходит окклюзия, то все относящиеся к ней макроблоки в кадре являются макроблоками типа (в), как показано на фиг.4. В этом случае, как было указано выше, если ошибка для того типа предсказания, который был определен согласно правилу включения, оказывается меньше пороговой величины, то никаких проблем не возникает, однако в противном случае происходит заметное ухудшения качества изображения. Если высокое качество изображения имеет большое значение, то его ухудшения можно избежать, используя код с исправлением ошибок. При этом одному биту информации может соответствовать не один единственный макроблок, а несколько, при этом, поскольку информации присуща избыточность, информация, эквивалентная одному биту, оказывается представленной несколькими макроблоками. В этом случае одна область включения состоит из множества макроблоков. Ниже рассмотрен пример, в котором информация, эквивалентная одному биту, представлена тремя макроблоками. В этом случае, даже если тип предсказания для одного из этих трех макроблоков не соответствует представляемому информационному биту, этот бит может быть с достаточной точностью представлен двумя другими макроблоками. Если в множестве макроблоков, представляющих один бит информации, количество макроблоков с внутренним кодированием окажется больше заданного, то информационный бит не будет встроен в макроблоки этого множества. И наоборот, если два или более макроблока относятся к типу (в) по фиг. 4, то некоторые из макроблоков должны быть определены как макроблоки с внутренним кодированием, что явно указывало бы на то, что дополнительные данные в них не встраивались. Такая процедура может также использоваться при включении и извлечении информации с использованием статистических методов. Каждый раз, когда начинают проявляться некоторые статистические закономерности, образуется некоторый набор областей включения (например, 100 областей), и поэтому один информационный бит может быть представлен несколькими областями. Таким образом, в контексте настоящего изобретения под термином “избыточность” подразумевается та ситуация, когда одному биту информации не ставится во взаимно однозначное соответствие одна единственная обрабатываемая область, а ему соответствует несколько областей. При возникновении окклюзии предполагается, что несколько непосредственно примыкающих друг к другу макроблоков, расположенных в относящемся к окклюзии фрагменте, относятся к типу (в) по фиг.4. С учетом этого множество макроблоков, образующих код с исправлением ошибок, целесообразно составить из макроблоков, разнесенных в кадре на некоторое расстояние друг от друга. Хотя рассмотренный вариант осуществления изобретения описан применительно к стандарту MPEG, настоящее изобретение не ограничено только этим стандартом. Очевидно, что настоящее изобретение применимо и к другим методам сжатия изображений, использующим кодирование с межкадровым предсказанием. В этом отношении области включения согласно изобретению необязательно должны представлять собой макроблоки. Приведенные выше правило включения и правило извлечения являются лишь иллюстративными примерами и поэтому настоящее изобретение не ограничено только такими правилами и предусматривает также использование иных правил. Например, три битовых значения можно включать, соответственно встраивать в один единственный макроблок, устанавливая соответствие между макроблоком с предсказанием вперед, макроблоком с предсказанием назад и макроблоком с двунаправленным предсказанием с одной стороны и битовыми значениями соответственно 0, 1 и 2 с другой. Кроме того, хотя рассмотренный вариант изобретения описан применительно к В-кадру, т.е. кадру, кодируемому с двунаправленным предсказанием, данные можно встраивать и в описанный выше Р-кадр. Поскольку макроблоками, образующими Р-кадр, являются макроблоки с предсказанием вперед и макроблок с внутренним кодированием, можно установить соответствие между этими макроблоками и битовыми значениями. Тем не менее, учитывая меры, направленные против ухудшения качества изображения, а также против излишнего увеличения объема данных, дополнительные данные предпочтительно включать в В-кадр, а не в Р-кадр. Это объяснятся тем, что если, исходя из правила включения, макроблок с внутренним кодированием принудительно делать макроблоком с предсказанием вперед, то либо ухудшится качество изображения либо в противном случае, возрастет объем данных. 6. Система кодирования видеоизображения На фиг. 6 показана схема системы кодирования изображения, передающего движение, которая предназначена для осуществления настоящего изобретения. В памяти 61 хранится видеоинформация (т.е. данные изображения, передающего движение), состоящая из множества кадров изображения. В памяти 62 кадров хранится предыдущий базовый кадр, а в памяти 63 кадров хранится последующий базовый кадр, причем эти кадры расположены в порядке, соответствующем порядку их вывода на экран. Спецификатор 64 областей определяет положение, в которое в виде дополнительной информации встраиваются данные. Таким образом, в кадре определяется по крайней мере одна такая область включения дополнительных данных. Блок 65 вычисления ошибок рассчитывает ошибку предсказания вперед, ошибку предсказания назад и ошибку двунаправленного предсказания на основании данных, хранящихся в памяти 62 и 63. Ошибка предсказания вперед вычисляется на основании информации как об области включения, так и о базовой области в предыдущем базовом кадре, содержащем ссылки от области включения, с использованием предсказания вперед. Ошибка предсказания назад вычисляется на основании информации как об области включения, так и о базовой области в последующем базовом кадре, содержащем ссылки от области включения, с использованием предсказания назад. И, наконец, ошибка двунаправленного предсказания вычисляется на основании информации как об области включения, так и о базовых областях в предыдущем и в последующем базовых кадрах, содержащих ссылки от области включения, с использованием двунаправленного предсказания. Блок 66 выбора решения встраивает соответствующие дополнительные данные в область включения, контролируя на основании правила включения характеристики области, выбранной в качестве области включения. В частности, согласно правилу включения, при встраивании в область включения одного бита дополнительных данных типом предсказания для этой области включения является предсказание вперед или предсказание назад. При встраивании же остальных данных это правило предписывает использование двунаправленного предсказания. Блок 66 выбора решения выбирает тип межкадрового предсказания для области включения с учетом содержания встраиваемой информации, а также определяет базовую область, содержащую ссылки от области включения, в соответствии с выбранным типом межкадрового предсказания и, кроме того, выделяет одну из трех ошибок предсказания – первую, вторую или третью. Затем кодер 67 кодирует выходной сигнал блока 66 выбора решения. Блок 66 выбора решения устроен таким образом, что если для некоторой области включения ошибка предсказания при выбранном на основании правила включения типе межкадрового предсказания оказывается больше заданной пороговой величины, то на встраивание дополнительных данных в эту область включения налагается запрет. Благодаря этому предотвращается ухудшение качества изображения, на которое могла бы повлиять дополнительно включаемая информация. Кроме того, блок 66 выбора решения устроен таким образом, что если в кадре, кодируемом с двунаправленным предсказанием, число ссылок предсказания вперед или число ссылок предсказания назад оказывается меньше некоторого заданного числа, то на встраивание дополнительных данных в эту область включения налагается запрет. Подсчитав число ссылок, можно определить, имела ли место смена эпизода. Если произошла смена эпизода, то на встраивание данных в соответствующую область включения налагается запрет. Следовательно, благодаря этому также предотвращается ухудшение качества изображения. 7. Система декодирования видеоизображения На фиг.7 приведена схема системы декодирования изображения, передающего движение, которая предназначена для осуществления настоящего изобретения. В памяти 71 хранится кодированная видеоинформация со встроенной дополнительной информацией. Спецификатор 72 областей определяет в кадре по крайней мере одну область включения с дополнительной информацией, встроенной в кадр. Экстрактор 73 (или блок выделения) выделяет встроенную в область включения дополнительную информацию на основании типа межкадрового предсказания для этой области, определяемого согласно правилу извлечения. Затем декодер 74 декодирует кодированные данные, полученные на выходе экстрактора 73, в результате чего восстанавливается первоначальное видеоизображение. 8. Встраивание опознавательных меток В стандарте MPEG В-кадры не содержат ссылок от других кадров и поэтому даже если изменить тип предсказания для макроблока в В-кадре, это не окажет никакого влияния на другие кадры. Это обстоятельство позволяет включать в информацию определенные опознавательные метки. Под меткой в данном случае понимается некоторая особая информация, однозначно характеризующая владельца, причем у каждого владельца она своя. Типичным примером использования метки является ситуация, когда при передаче третьему лицу прав на использование видеоинформации, например, записанной на определенный носитель, владелец авторских прав на эту видеоинформацию предварительно встраивает в указанную информацию некоторую опознавательную метку, по которой можно установить третье лицо, являющееся получателем информации. Соответственно в случае совершения какого-либо противоправного действия, например изготовления пиратской копии, можно установить производителя такой копии. Благодаря этому при незаконном распространении видеоинформации можно потребовать денежное возмещение за изготовление каждой нелегальной копии. В том случае, когда зашифрованная видеопродукция снабжена регистрационными данными законного владельца, в качестве метки можно встроить такие регистрационные данные. При встраивании опознавательной метки используются в основном “макроблок с двунаправленным предсказанием” и “макроблок с предсказанием вперед или макроблок с предсказанием назад, в зависимости от того, который из них содержит меньшую ошибку предсказания”, генерируемые при кодировании в стандарте MPEG. Затем в зависимости от третьего лица-получателя видеоинформации выбирается пригодный для встраивания информации макроблок. Следует отметить, что и эта процедура не оказывает никакого влияния на другие кадры или на уровень данных (например, уровень разделов), который выше уровня макроблоков в соответствующем кадре. Настоящее изобретение позволяет встраивать дополнительные сообщения в видеоизображение, не оказывая существенного влияния на эффективность сжатия изображения, передающего движение, и не ухудшая существенно его качество. Кроме того, поскольку участок, в который включается сообщение, тесно связан с кодом изображения, удаление сообщения из видеоизображения без ухудшения его качества оказывается затруднительным. Далее, поскольку объем включаемой дополнительной информации практически не зависит от информации, содержащейся в видеоданных, встраивание дополнительного сообщения может быть осуществлено с высокой степенью эффективности. Формула изобретения
РИСУНКИ
MM4A Досрочное прекращение действия патента из-за неуплаты в установленный срок пошлины за
Дата прекращения действия патента: 14.02.2010
Дата публикации: 20.01.2011
|
||||||||||||||||||||||||||
