Патент на изобретение №2311684
|
||||||||||||||||||||||||||
(54) СПОСОБ ОБРАБОТКИ СИГНАЛОВ ДЛЯ ВЫДЕЛЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ПОСЛЕДОВАТЕЛЬНОСТИ ТЕЛЕВИЗИОННЫХ ИЗОБРАЖЕНИЙ
(57) Реферат:
Изобретение относится, в общем, к области техники цифровой обработки изображений, а конкретно к обработке сигналов для выделения движущихся объектов в последовательности телевизионных изображений. Технический результат изобретения заключается в повышении точности выделения объектов за счет устойчивости к пространственным искажениям. Технический результат достигается за счет определения угла поворота изображения текущего кадра относительно эталонного изображения, повышения точности вычисления параметров сдвига до долей пикселя, смены эталонного изображения в зависимости от вычисленных величин сдвига и поворота, сдвига фонового изображения на целое число пикселей, поворота изображения текущего кадра вокруг центра изображения и последующего сдвига повернутого изображения на дробное число пикселей, вычисления значения пороговой величины с учетом турбулентности атмосферы, вибрации датчика изображений и неточности определения параметров сдвига и поворота, межкадровой фильтрации результатов пороговой обработки. 3 з.п. ф-лы.
Изобретение относится к цифровой обработке изображений и может быть использовано в охранных системах, системах технического зрения, системах космического мониторинга Земли и др. Известен способ обработки сигналов для выделения объектов, наблюдаемых в последовательности телевизионных изображений [пат. РФ № 2193825, МПК Н04N 7/18, 2002 г.], состоящий в том, что из сигналов изображения после их аналого-цифрового преобразования выделяется 2N ориентиров местности (N=3, 4, 5,…), используемых для оценки параметров сдвига и поворота текущего изображения относительно предыдущего, и после этого осуществляется выделение объектов путем пороговой обработки разностного изображения, полученного вычитанием из сигнала текущего изображения сигнала изображения эталонного фона, причем величина порога зависит от локального параметра рассеяния разностного изображения. Недостатками указанного способа является невысокая точность оценки параметров сдвига и поворота текущего изображения и отсутствие компенсации влияния погрешности оценки параметров сдвига и поворота на точность выделения объектов. пр кадров, пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения для всех последующих кадров, начиная с (Nпр+1)-го (значение пороговой величины определяется дисперсией аддитивного шума на изображении текущего кадра), рекурсивном уточнении оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки. Недостатком способа является неработоспособность при сдвигах текущего кадра относительно первого, сравнимых по величине с размером изображения, и в условиях, когда движение датчика изображений в пространстве порождает более сложные искажения сигнала изображения текущего кадра, чем простой сдвиг относительно эталонного фонового изображения (например, совокупность сдвига и поворота). Технической задачей изобретения является повышение точности выделения объектов за счет устойчивости к пространственным искажениям, имеющим вид сдвига и поворота изображения текущего кадра относительно ранее наблюдавшихся кадров. Технический результат, достигаемый при осуществлении заявляемого изобретения, заключается в аналого-цифровом преобразовании сигнала изображения каждого кадра, запоминании первого кадра обрабатываемой последовательности в качестве эталонного изображения, запоминании первого кадра обрабатываемой последовательности в качестве фонового изображения, определении параметров сдвига изображения текущего кадра относительно эталонного изображения, сдвиге фонового изображения в соответствии с полученными оценками параметров сдвига, предварительной фильтрации фонового изображения в течение первых Nпр кадров, пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения для всех последующих кадров, начиная с (Nпр+1)-го, рекурсивном уточнении оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки, при этом угол поворота изображения текущего кадра относительно эталонного изображения определяют до определения параметров сдвига изображения текущего кадра относительно эталонного изображения, вычисление параметров сдвига изображения текущего кадра относительно эталонного изображения осуществляется с субпиксельной точностью, при превышении вычисленными значениями сдвига и угла поворота изображения текущего кадра относительно эталонного изображения максимально допустимого значения осуществляется смена эталонного изображения, после проверки условия смены эталонного изображения вычисляют параметры сдвига изображения текущего кадра относительно фонового изображения и угла поворота изображения текущего кадра относительно изображения первого кадра по найденным значениям параметров сдвига и поворота текущего кадра относительно эталонного изображения, сдвиг фонового изображения осуществляют на целое число пикселей, после сдвига фонового изображения на целое число пикселей осуществляют поворот и субпиксельный сдвиг изображения текущего кадра, при пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения значение пороговой величины вычисляют с учетом турбулентности атмосферы, вибрации датчика изображений и неточности определения параметров сдвига и поворота, после пороговой обработки абсолютной величины сигнала разности изображения текущего кадра и фонового изображения дополнительно осуществляют межкадровую фильтрацию результатов пороговой обработки. Угол поворота изображения текущего кадра относительно эталонного изображения ln(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения; – центрированный сигнал изображения текущего кадра ln(i, j); – среднее значение сигнала яркости изображения текущего кадра ln(i, j); SSe( – результат логарифмирования абсолютной величины спектра сигнала ew(i, j), представленный в полярной системе координат; (, ew(i, j) – результат перемножения центрированного сигнала эталонного изображения – центрированный сигнал эталонного изображения e(i, j); – среднее значение сигнала яркости эталонного изображения e(i, j);
Параметры сдвига фонового изображения ( Межкадровую фильтрацию результатов пороговой обработки можно осуществлять по правилу где qn(i, j) – результат межкадровой фильтрации в виде бинарного изображения К – количество анализируемых кадров, предшествовавших текущему; W – размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,…); D – минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту; n=2, 3, 4,… – номер кадра. Таким образом, отличия заявляемого способа от прототипа состоят в следующем: 1) наличии ранее отсутствовавшего этапа определения угла поворота изображения текущего кадра относительно эталонного изображения 2) повышении точности вычисления параметров сдвига 3) наличии этапа смены эталонного изображения в зависимости от вычисленных величин сдвига 4) наличии ранее отсутствовавшего этапа вычисления параметров сдвига 5) сдвиге фонового изображения на целое число пикселей ( 6) наличии ранее отсутствовавшего этапа поворота изображения текущего кадра ln(i, j) на угол – 7) использовании нового правила определения пороговой величины Т, учитывающего, кроме дисперсии аддитивного шума, турбулентность атмосферы, вибрацию датчика изображений и неточность определения параметров сдвига и поворота; 8) наличии этапа межкадровой фильтрации результатов пороговой обработки (бинарного изображения). Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений осуществляется следующим образом: 1) аналого-цифровое преобразование сигнала изображения каждого кадра наблюдаемой последовательности; 2) запоминание изображения первого кадра обрабатываемой последовательности в качестве эталонного изображения; 3) запоминание изображения первого кадра обрабатываемой последовательности в качестве фонового изображения; 4) определение угла поворота изображения текущего кадра относительно эталонного изображения 5) определение параметров сдвига изображения текущего кадра относительно эталонного изображения 6) смена эталонного изображения при выполнении хотя бы одного из условий (| 7) вычисление параметров сдвига 8) сдвиг фонового изображения на ( 9) поворот изображения текущего кадра ln(i, j) на угол – 10) предварительная фильтрация преобразованного фонового изображения в течение первых Nпр кадров; 11) пороговая обработка абсолютной величины сигнала разности преобразованного изображения текущего кадра и преобразованного фонового изображения для всех последующих кадров, начиная с (Nпр+1)-го; 12) межкадровая фильтрация результатов пороговой обработки; 13) рекурсивное уточнение оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки. Результат аналого-цифрового преобразования изображения каждого кадра имеет вид матрицы чисел ln (i, j), , где I и J – размеры оцифрованного изображения в элементах разрешения (пикселях), n=1, 2, 3,… – номер кадра. Каждый элемент матрицы ln(i, j) является результатом квантования яркости соответствующей точки наблюдаемой сцены. В соответствии с разработанным способом эталонное изображение используется для компенсации наблюдаемых пространственных искажений изображения, а фоновое изображение – для выделения сигналов движущихся объектов. Обработка каждого кадра наблюдаемой последовательности изображений, начиная со второго, начинается с вычисления угла поворота ln(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения; – центрированный сигнал изображения текущего кадра ln(i, j); – среднее значение сигнала яркости изображения текущего кадра ln(i, j); SSe( – результат логарифмирования абсолютной величины спектра сигнала ew(i, j), представленный в полярной системе координат; (, ew(i, j) – результат перемножения центрированного сигнала эталонного изображения – центрированный сигнал эталонного изображения e(i, j); – среднее значение сигнала яркости эталонного изображения e(i, j);
Вычисление спектров сигналов осуществляют с помощью алгоритма быстрого преобразования Фурье. Умножение сигнала изображения на оконную функцию w(i, j), спадающую до нуля от середины к краям изображения, выполняется с целью компенсации явления Гиббса. При обработке первого кадра значение Определение угла поворота в соответствии с приведенным выше правилом позволяет значительно повысить точность оценки параметров сдвига и поворота по сравнению со способом, предложенным в [1]. Проведенные экспериментальные исследования показали, что при отношении сигнал/шум (отношении контраста объекта к среднеквадратическому отклонению аддитивного шума) около 8, максимальном угле поворота 10° и суммарной площади движущихся объектов, не превышающей 10% от общей площади изображения, ошибка оценивания угла поворота не превышает 10-3 градусов. Определение параметров сдвига ( – среднее значение сигнала яркости изображения Se(
Субпиксельная точность определения параметров сдвига Для сохранения приемлемой точности определения параметров Проведенные экспериментальные исследования показали, что при отношении сигнал/шум около 8, максимальном сдвиге, не превышающем 15% от линейных размеров изображения и суммарной площади движущихся объектов, не превышающей 10% от общей площади изображения, ошибка оценивания сдвига не превышает 0,5 элемента разрешения (пикселя). На основе вычисленных значений параметров
где
Каждый раз при смене эталонного изображения параметры
До первой смены эталонного изображения
Геометрическое преобразование изображения текущего (n-го) кадра ln(i, j) и фонового изображения n-1(i, j), полученного в результате обработки (n-1) предыдущих кадров, осуществляют с целью компенсации наблюдаемых пространственных искажений изображения текущего кадра. В результате точки обоих изображений с одинаковыми координатами (индексами) соответствуют одной и той же точке наблюдаемой сцены. Для выполнения геометрических преобразований изображений ln(i, j) и n-1(i, j) предварительно вычисляют параметры сдвига
где
– сдвиг фонового изображения n-1(i, j) относительно изображения первого кадра по вертикальной оси; – сдвиг фонового изображения n-1(i, j) относительно изображения первого кадра по горизонтальной оси; – значение – значение – результат округления значения до целого числа пикселей; – результат округления значения до целого числа пикселей; – значение – значение round(…) – функция округления до ближайшего целого значения. После вычисления параметров
Компенсация пространственных искажений достигается выполнением следующих операций над сигналами изображений: а) сдвиг фонового изображения n-1(i, j) на ( б) поворот изображения текущего кадра ln(i, j) на угол вокруг центра изображения; в) сдвиг изображения на ( В результате поворота и субпиксельного сдвига точка изображения с некоторыми координатами (i, j) переходит в точку результирующего изображения, координаты которой задаются нецелым числом, т.е. не совпадают с узлами дискретной сетки , на которой заданы изображения. Поэтому яркости точек изображения , получаемого в результате поворота изображения текущего кадра ln(i, j) вокруг центра на угол – Известно, что пространственная интерполяция приводит к ослаблению высокочастотной составляющей сигнала изображения (размытию контуров, снижению разборчивости мелких деталей изображения). Экспериментально установлено, что ослабление высокочастотной составляющей фонового изображения, возникающее вследствие пространственной интерполяции, приводит к заметному снижению точности выделения сигналов движущихся объектов. Поэтому в соответствии с разработанной процедурой компенсации пространственных искажений фоновое изображение не подвергается операциям, требующим пространственной интерполяции изображения – повороту и субпиксельному сдвигу. Сдвиг фонового изображения на целое число пикселей ( n(i, j) точек фонового изображения в течение Nпр кадров в соответствии с выражениями и Одновременно оценивают n(i, j) и n(i, j)-[n(i, j)]2 при kn(i, j)=Nпр. При обработке всех последующих кадров вычисленная оценка dn(i, j) в точках, для которых kn(i, j)>Nпр, подвергается рекурсивному уточнению и сдвигу в соответствии с вычисленными параметрами ( На этапе пороговой обработки осуществляется выделение движущихся объектов путем сравнения яркостей точек изображения текущего кадра с яркостями соответствующих им точек фонового изображения. Если абсолютная величина разности двух изображений в рассматриваемой точке (i, j) превысила пороговую величину Т, то принимается гипотеза о принадлежности рассматриваемой точки изображению движущегося объекта. При определении пороговой величины Т учитывается дисперсия аддитивного шума, турбулентность атмосферы, вибрация датчика изображений и неточность определения параметров сдвига и поворота. Результат пороговой обработки имеет вид бинарного изображения bn(i, j), вычисляемого по правилу – полуширина (1-p_)·100% доверительного интервала для нормированной гауссовой случайной величины; p_ – допустимая вероятность ошибочного отнесения точки фона к объекту; – оценка суммарной дисперсии помех, вызванных аддитивным шумом, турбулентностью атмосферы, вибрацией датчика изображений и неточным определением параметров сдвига и поворота; Экспериментальные исследования показали, что при отношениях сигнал/шум от 2 до 6 использование разработанного способа позволяет повысить частоту правильного выделения на 5-10% или снизить частоту ложного выделения примерно в 1,5-2 раза по сравнению с прототипом. Межкадровая фильтрация результатов пороговой обработки позволяет значительно снизить количество точек, ошибочно отнесенных к объекту или к фону. Результат межкадровой фильтрации, так же как и результат пороговой обработки, имеет вид бинарного изображения qn(i, j), вычисляемого по правилу , где ; К – количество анализируемых кадров, предшествовавших текущему; ; ; W – размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,…); D – минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту. Применение межкадровой фильтрации результатов пороговой обработки при отношениях сигнал/шум от 2 до 5 позволяет повысить частоту правильного выделения в среднем на 30-50% при сохранении прежнего значения частоты ложного выделения. Процедура рекурсивного уточнения оценок яркости точек фонового изображения n(i, j) и дисперсии аддитивного шума dn(i, j), полученных в результате предварительной фильтрации фонового изображения, позволяет учитывать изменения указанных параметров от кадра к кадру. Уточнение оценок n(i, j) и dn(i, j) осуществляется в соответствии с выражениями Счетчик количества кадров kn(i, j), в течение которых наблюдалась та или иная точка фонового изображения, продолжает обновляться и после этапа предварительного накопления оценок с учетом результатов обработки изображения текущего кадра по правилам Ln(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения; – центрированный сигнал изображения текущего кадра In(i, j); – среднее значение сигнала яркости изображения текущего кадра Ln(i, j); SSe( – результат логарифмирования абсолютной величины спектра сигнала ew(i, j), представленный в полярной системе координат; (, ew(i, j) – результат перемножения центрированного сигнала эталонного изображения – центрированный сигнал эталонного изображения e(i,j); – среднее значение сигнала яркости эталонного изображения e(i, j);
3. Способ по п.1, отличающийся тем, что параметры сдвига фонового изображения ( 4. Способ по п.1, отличающийся тем, что межкадровую фильтрацию результатов пороговой обработки осуществляют по правилу где gn(i, j) – результат межкадровой фильтрации в виде бинарного изображения; ; К – количество анализируемых кадров, предшествовавших текущему; ; ; W – размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,…); D – минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту; n=2, 3, 4,… – номер кадра.
|
||||||||||||||||||||||||||

ТЭ можно определять по правилу
,
e(i, j) и оконной функции w(i, j), , спадающей до нуля от середины к краям изображения;
R,
R) можно вычислять как
n(i, j) для каждой точки наблюдаемого изображения подсчитывается количество кадров kn(i, j), в течение которых эта точка присутствовала в поле зрения датчика изображений. При обработке первого кадра каждой точке фонового изображения ставится в соответствие значение kn(i, j), равное 1. При обработке последующих кадров значение kn(i, j) увеличивается на единицу для всех наблюдаемых точек фонового изображения с учетом сдвига фонового изображения на (