Патент на изобретение №2310888

(54) СПОСОБ ФОРМИРОВАНИЯ УПРАВЛЕНИЯ ПРИВОДАМИ ИСПОЛНИТЕЛЬНОГО УСТРОЙСТВА В ОПТИКО-ЭЛЕКТРОННЫХ СИСТЕМАХ СОПРОВОЖДЕНИЯ И УСТРОЙСТВО, РЕАЛИЗУЮЩЕЕ ОПТИКО-ЭЛЕКТРОННУЮ СИСТЕМУ СОПРОВОЖДЕНИЯ

(57) Реферат:

Использование: в области систем слежения за подвижными объектами. Технический результат заключается в уменьшении ошибок сопровождения объекта. Способ включает формирование кадров видеоизображения, вычисление координат центра сопровождаемого объекта на изображении, определение координат объекта в неподвижно ориентированной относительно поверхности Земли и подвижной системах координат, формирование сигналов на электроприводы для отработки требуемых угловых положений рамок исполнительного устройства, при этом в неподвижно ориентированной системе координат с учетом возникающего при обработке изображений запаздывания введено межкадровое определение прогнозируемых координат объекта, прогнозирование координат объекта в случае пропадания информации о сопровождаемом объекте на изображении, формирование требуемых углов положения рамок исполнительного устройства с учетом компенсации вращения фоноцелевой обстановки на изображении. 2 н. и 1 з.п. ф-лы, 1 ил.

Изобретение относится к области систем наведения и автоматического сопровождения объектов в пространстве, преимущественно с подвижного основания.

Известна оптико-электронная система [1] для сопровождения объектов со следящим стробом, имеющая полуавтоматический и автоматический режимы работы. Она содержит последовательно соединенные оптико-электронный прибор (ОЭП), блок определения координат в стробе, блок задания программного перемещения, первый коммутатор, блок формирования координат в растре, второй коммутатор, устройство наведения и стабилизации, которое механически соединено с ОЭП, а также последовательно соединенные датчик возмущений, формирователь логики инерционного сопровождения и устройство прогнозирования координат. Недостатком данной оптико-электронной системы сопровождения является невысокая точность сопровождения при малой частоте поступления информации с оптико-электронного прибора и значительном времени запаздывания в случае необходимости применения сложных алгоритмов обработки изображений. Кроме этого, в системе не используется информация о параметрах качки носителя, что может привести к значительному снижению точности сопровождения объектов при наличии такой качки.

Наиболее близким к предлагаемому способу является способ реализации описанной в [2] оптико-электронной следящей системы, состоящей из связанных между собой оптико-электронного блока (ОЭБ), блока определения координат, первого преобразователя координат, коммутатора, корректирующего устройства, второго преобразователя координат, исполнительного устройства, третьего преобразователя координат, при этом исполнительное устройство механически соединено с оптико-электронным блоком. Данная оптико-электронная следящая система позволяет учитывать качку носителя при автоматическом слежении за объектом, что повышает точность сопровождения при установке оптико-электронной следящей системы на подверженных качке носителях. Недостатком данной системы является отсутствие функциональных блоков для прогнозирования координат объекта, что не позволяет осуществлять сопровождение при перерыве оптической связи с ним. Кроме этого, данная оптико-электронная следящая система имеет ограничение по точности слежения при необходимости применения сложных алгоритмов обработки изображения, что ведет к появлению значительного запаздывания в выдаче требуемых угловых перемещений на исполнительное устройство и относительно малой частоте квантования в замкнутом контуре сопровождения, определяемой оптико-электронным блоком.

Техническим результатом, достигаемым в результате применения предлагаемого изобретения, является уменьшение динамических ошибок сопровождения объекта как при наличии, так и при кратковременном отсутствии информации о положении объекта на изображении, увеличение допустимого времени нахождения системы в режиме прогнозирования положения объекта в пространстве при отсутствии информации о положении объекта на изображении, снижение вероятности срыва сопровождения объекта, компенсация вращения фоноцелевой обстановки на изображении, формируемом оптико-электронным блоком.

Для осуществления поставленной задачи в способ дополнительно введены межкадровое определение прогнозируемых координат объекта в неподвижно ориентированной системе координат с учетом возникающего при обработке изображений запаздывания, прогнозирование координат объекта в случае пропадания информации о сопровождаемом объекте на изображении, компенсация вращения фоноцелевой обстановки на изображении.

Способ формирования управления приводами исполнительного устройства в оптико-электронных системах сопровождения, обеспечивающий решение поставленной технической задачи, включает в себя следующие действия:

1) формирование оптико-электронным блоком кадров изображений с периодом дискретизации Т в моменты времени t=lT, l=0, 1, 2 …;

2) обработка текущего изображения, полученного в пункте 1, с целью определения координат N_XP, N_YP центра Р изображения сопровождаемого объекта в измерительной системе координат Х₁О₁Y₁. На обработку изображения затрачивается время , которое в дальнейшем именуется как запаздывание в контуре системы. При необнаружении объекта вырабатывается сигнал о пропадании объекта;

3) определение координат единичного вектора совпадающего с направлением на сопровождаемый объект, в системе координат видеодатчика OUVW;

4) вычисление координат вектора в неподвижно ориентированной системе координат О;

5) вычисление прогнозируемых параметров траектории вектора в системе координат О для моментов времени где T₁ – период поступления информации от угловых датчиков измерения текущих углов поворота рамок исполнительного устройства (предполагается ТT₁), i=0…K-1. В случае кратковременного пропадания объекта на изображении траектория вектора вычисляется прогнозированием на основе прошлых известных значений координат объекта;

6) формирование требуемых углов положения рамок исполнительного устройства в исполнительной системе координат OXYZ из условия совпадения направления оптической оси оптико-электронного блока с направлением на сопровождаемый объект с компенсацией вращения фоноцелевой обстановки на изображении в случае использования трехосного карданного подвеса;

7) формирование сигналов на электроприводы для отработки требуемых угловых положений рамок исполнительного устройства, вычисленных в пункте 6.

На первом этапе оптико-электронный блок, представляющий собой телекамеру, тепловизор, телескоп и т.п., формирует видеокадр, представленный в цифровой форме в виде прямоугольной матрицы чисел.

В соответствии с выбранным способом обработки изображения производится вычисление координат сопровождаемого объекта. Обычно в качестве координат сопровождаемого объекта в измерительной системе координат Х₁О₁Y₁ принимается центр тяжести изображения объекта. Наиболее часто применяемыми являются методы сегментации, выделения движения, корреляционные и другие методы, позволяющие выделить объект относительно фона исходя из характерных особенностей образа объекта. Методы определения координат центра объекта в силу своей сложности и больших размеров обрабатываемых матриц изображений требуют значительных вычислительных и временных ресурсов. Вследствие этого на вычисление координат объекта затрачивается время , величина которого может достигать временного периода между поступлениями двух смежных кадров изображений. Время обработки изображения выступает в качестве запаздывания в оптико-электронной системе сопровождения. В случае если в процессе обработки изображения не удалось выделить объект, то принимается решение о пропадании объекта.

На третьем этапе на основе принятой модели формирования изображения оптико-электронным блоком в системе координат OUVW, центр которой совпадает с центром ОЭБ, ось OV с оптической осью ОЭБ, а оси OU, OW параллельны соответственно осям О₁Х₁, O₁Y₁, вычисляются координаты единичного вектора, совпадающего с направлением на сопровождаемый объект. В качестве модели изображения ОЭБ с угловым полем зрения 2_M×2_M принято прямоугольное изображение L размером 2X_1M×2Y_1M, формируемое на плоскости, перпендикулярной оптической оси ОЭБ OV, расположенной на расстоянии R от ОЭБ, и ограниченное полем зрения ОЭБ. При этом предполагается, что любая произвольная точка изображения L воспринимает лишь световой поток, проходящий через заданную точку и центр О ОЭБ. Пусть центру объекта на изображении L соответствует точка Р с координатами X₁, Y₁. Проекции вектора пространственно ориентированного на объект, на оси системы координат OUVW с учетом параллельности плоскостей L к OUW равны X₁, R, Y₁. Таким образом, координаты вектора совпадающего с направлением на объект, в системе координат платформы равны

Изменение модуля вектора не меняет его направления. С учетом сказанного проекции (1) можно заменить проекциями единичного вектора

где N_XP, N_YP, N_XM, N_YM – представление соответствующих величин в пикселях реально обрабатываемого изображения.

Следующим этапом является вычисление координат направляющего вектора в неподвижно ориентированной относительно поверхности Земли системе координат О, расположенной в пространстве так, что плоскость О параллельна плоскости горизонта, а ось О образует правую систему координат с плоскостью О. Определение координат вектора в системе координат О производится с учетом углов качки носителя системы и углов поворота рамок исполнительного устройства. Перевод координат вектора из системы координат OUVW в О осуществляется через систему координат OXYZ, привязанную к строительным осям носителя так, что ось OY совпадает с продольной осью носителя, ось ОХ – с поперечной осью, ось OZ перпендикулярна ОХ и OY и образует правую систему координат [3]. При отсутствии качки носителя и равенстве нулю углов поворота рамок карданного подвеса системы координат О, OXYZ и OUVW совпадают.

Координаты направляющего вектора в неподвижно ориентированной системе координат О могут быть вычислены по формулам перевода координат из одной системы координат в другую [3]

где [] – проекции направляющего вектора в системе координат O, [xyz] – проекции вектора в системе координат OXYZ, [U_P1V_P1W_P1] – проекции вектора в системе координат видеодатчика. А – матрица преобразования координат из исполнительной системы координат OXYZ в систему координат О. Положение системы координат носителя OXYZ в О определяется тремя углами Эйлера (углами качки носителя: – угол рысканья, – угол тангажа, – угол крена). Матрица А имеет вид

B – матрица направляющих косинусов системы координат OXYZ в OUVW. Положение OUVW в OXYZ определяется тремя углами поворота рамок карданного подвеса ( – угол азимута, – угол места, – угол крена). Вид матрицы В определяется принципом построения карданного подвеса и в случае применения трехосного кардана может быть определен выражением [3]

Введем в рассмотрение дополнительную систему координат OU_TV_TW_T, определяющую требуемое (заданное) положение в пространстве системы координат OUVW. Положение системы координат OU_TV_TW_T относительно неподвижно ориентированной системы координат О удобно задать углами азимута _T и места _T оси OV_T, направление которой определяет требуемое положение оптической оси в неподвижной системе координат, при условии, что ось OU_T принадлежит плоскости О (плоскости горизонта), а ось OW_T образует правую систему координат с плоскостью OU_TV_T. Обусловленное положение оси OU_T соответствует требованию отсутствия вращения фона на изображении. Положение требуемой системы координат относительно неподвижно ориентированной системы можно описать квадратной матрицей С направляющих косинусов осей координат системы OU_TV_TW_T относительно осей системы О. Переход из системы координат О в OU_TV_TW_T осуществляется последовательным поворотом на угол _T вокруг оси О, получим систему координат О,, а затем на угол _T вокруг оси О. Матрица С имеет вид

В режиме автоматического сопровождения объекта требуемые значения углов _T и _T вычисляются по значениям координат объекта на изображении при известных текущих значениях углов поворота рамок карданного подвеса и углов качки носителя по формулам

а в режиме обзора пространства могут задаваться оператором или программно. Углы _T и _T являются координатами единичного вектора определяющего направление на объект в сферической системе координат О, а величины , , , – проекциями вектора на оси системы координат О, определенные по выражению (3).

Межкадровое прогнозирование траектории, описываемой углами _T, _T, производится для моментов времени t_i, вычисляемых по выражению

где t_l – время получения видеокадра l от ОЭБ, – коэффициент увеличения частоты дискретизации описывающих координаты объекта сигналов, Т₁ – период дискретизации сигналов, подаваемых на вход ИУ, i=0…K-1. Предполагается что частота обновления информации с датчиков углов качки и углов поворота рамок исполнительного устройства превышает частоту поступления видеокадров в целое число раз. В качестве метода прогнозирования выбирается любой из известных методов, который на основе принятой гипотезы о траектории движения объекта дает возможность рассчитать параметры траектории движения сопровождаемого объекта. Наиболее часто применяемым методом прогнозирования является метод наименьших квадратов, позволяющий вычислить оценки параметров сглаженной траектории объекта. Таким образом, межкадровое прогнозирование позволяет компенсировать запаздывание сигналов, описывающих координаты объекта, и повысить их частоты дискретизации.

Формирование требуемых углов поворота рамок исполнительного устройства обеспечивающих совпадение оптической оси ОЭБ с направлением на объект и компенсацию вращения фоноцелевой обстановки на изображении, осуществляется на основе прогнозируемых координат _T и _T и с учетом информации о текущих углах качки носителя.

В случае кратковременного пропадания объекта угловые траектории объекта _T и _T в текущий момент времени вычисляются путем прогнозирования по прошлым известным координатам на основе принятой гипотезы о траектории движения.

Используя выражения (4)-(6), требуемые углы поворота рамок можно определить как решение матричного уравнения

Данное решение может быть выражено в виде

где d_i,j – элементы матрицы D(_T, _T, , , ).

Вычисленные требуемые углы поворота используются для управления исполнительным устройством с частотой дискретизации Целью управления является ориентация ОЭБ в пространстве таким образом, чтобы направление оптической оси оптико-электронного прибора постоянно совпадало с направлением на объект при соблюдении условия отсутствия вращения фоноцелевой обстановки в последовательности кадров изображений за счет обеспечения параллельности координатной оси изображения О₁Х₁ плоскости горизонта.

Таким образом, отличия заявляемого способа от прототипа состоят в:

1) использовании межкадрового прогнозирования траектории объекта, позволяющего компенсировать запаздывание в сигналах, управляющих исполнительным устройством, повысить их частоту дискретизации;

2) управлении исполнительным устройством в случае кратковременного пропадания объекта на основе прогнозируемой траектории движения объекта;

3) компенсации вращения фоноцелевой обстановки в последовательности кадров изображений путем стабилизации горизонтального положения координатной оси изображения.

В случае использования исполнительного устройства с двухосным карданным подвесом способ формирования управления приводами исполнительного устройства остается тем же, только при вычислении матрицы В (5) следует положить угол равным нулю, а при вычислении требуемых углов поворота , в системе (10) угол следует принять равным нулю. При выработке управления условие отсутствия вращения фона на изображении не накладывается.

При описании способа подразумевается, что сигналы, не формируемые в результате описываемых операций, поступают извне.

Техническая реализации предлагаемого способа возможна на основе устройства, общая функциональная схема которого представлена на чертеже. Для этого в устройство введены блок межкадрового прогнозирования траектории, второй блок преобразования координат, осуществляющий вычисление требуемых углов поворота рамок ИУ с учетом требования отсутствия вращения фоноцелевой обстановки в последовательности кадров изображений, блок прогнозирования траектории при пропадании информации об объекте.

Устройство, реализующее оптико-электронную систему сопровождения, состоит из соединенных определенным образом оптико-электронного блока (ОЭБ), блока определения координат (БОК), первого блока преобразования координат (БПК1), блока межкадрового прогнозирования траектории (БМПТ), первого коммутатора (Ком1), второго блока преобразования координат (БПК2), второго коммутатора (Ком2), исполнительного устройства (ИУ), блока прогнозирования траектории (БПТ), при этом выход ОЭБ соединен с входом БОК, первый выход которого связан с первым входом БПТ и первым входом Ком1, второй выход БОК является первым входом БПК1, выход которого соединен со вторым входом БПТ и входом БМПТ, выход которого соединен с третьим входом Ком1, выход Ком1 связан с первым входом БПК2, выход которого соединен со вторым входом Ком2, выход Ком1 является входом ИУ, механически связанного с ОЭБ, выход ИУ является вторыми входами БПК1 и БПК2, выход БПТ является вторым входом Ком1, при этом первый вход Ком2 предназначен для управления от внешних источников.

Все блоки, необходимые для реализации системы сопровождения объектов, являются известными либо могут быть реализованы из известных компонентов путем их использования известными методами.

В качестве оптико-электронного блока могут быть использованы телевизионные камеры, тепловизоры, телескопы и т.п., формирующие кадры изображений с частотой дискретизации Т. Методы обработки изображения для определения координат сопровождаемого объекта, реализованные в блоке определения координат, могут быть реализованы на основе программируемых логических интегральных схем (ПЛИС) [4]. Первый блок преобразования координат, служащий для пересчета координат объекта из измерительной системы координат ОЭБ в неподвижно ориентированную относительно поверхности Земли систему координат и вычисления требуемого положения системы координат платформы в неподвижно ориентированной системе координат, а также второй блок преобразования координат, вычисляющий требуемые углы поворота рамок РТУ с учетом компенсации вращения изображения, могут быть реализованы на основе ПЛИС, производящих вычисления в соответствии со способами, описанными в [3]. Блок межкадрового прогнозирования траекторий и блок прогнозирования траекторий представляют собой вычислительные устройства, рассчитывающие параметры угловой траектории объекта в соответствии с принятыми гипотезами о его движении при межкадровом прогнозировании и кратковременном пропадании объекта. Первый и второй коммутатор могут быть реализованы на реле, герконах, полевых транзисторах, оптронах и т.п. Исполнительное устройство представляет собой трехосный карданный подвес с электроприводами.

Работа оптико-электронной системы сопровождения осуществляется следующим способом. Оптико-электронный блок формирует оцифрованное изображение, представленное прямоугольной матрицей чисел. Полученное изображение обрабатывается в БОК с целью определения оценок координат центра сопровождаемого объекта. Координаты из измерительной системы координат переводятся в систему координат ОЭБ по выражению (2) и далее в виде сигналов поступают в первый преобразователь координат. При не обнаружении объекта в текущем изображении в БОК вырабатывается сигнал пропадания объекта, поступающий на первый коммутатор и блок прогнозирования траектории. БПК1 с учетом текущих углов качки и углов поворота рамок ИУ осуществляет преобразование координат объекта из системы координат ОЭБ в неподвижно ориентированную декартову систему координат по выражениям (3)-(5), далее координаты переводятся в сферическую систему координат по формуле (7). Полученные угловые координаты объекта описывают траекторию движения объекта в пространстве и поступают в блок прогнозирования траектории для запоминания текущих координат и в блок БМПТ для экстраполяции координат объекта в моменты времени между поступлениями двух смежных видеокадров. Таким образом увеличивается частота дискретизации описывающих координаты объекта сигналов. В качестве метода прогнозирования выбирается наиболее часто применяемый на практике метод наименьших квадратов; параметры полинома, описывающего траекторию движения, подбираются исходя из конкретных условий эксплуатации оптико-электронной системы сопровождения. Прогнозирование с учетом запаздывания в системе осуществляется на описываемые выражением (8) интервалы времени. Вычисленные координаты объекта поступают на первый коммутатор, который при отсутствии сигнала о пропадании объекта передает указанные координаты на второй блок преобразования координат. При пропадании объекта по соответствующему сигналу, вырабатываемому в БОК, блок прогнозирования траектории на основе прошлых действительных координат сопровождаемого объекта вычисляет согласно принятой гипотезе о траектории движения оценки полинома, описывающего траекторию. На основе проведенных вычислений прогнозируются угловые координаты объекта в текущие моменты времени и подаются на второй вход первого коммутатора. При наличии сигнала о пропадании объекта на вход БПК2 через первый коммутатор подаются прогнозируемые координаты траектории объекта с БПТ. В БПК2 с учетом текущих углов качки и углов поворота рамок ИУ осуществляется вычисление требуемых углов поворота рамок ИУ по выражению (10), которые подаются через второй коммутатор на входы исполнительного устройства для разворота оптической оси оптико-электронного блока в направлении сопровождаемого объекта и компенсации вращения изображения. Разворот ОЭБ может осуществляться оператором вручную при подаче соответствующих сигналов на первый вход Ком2.

Использование предлагаемого способа в системах слежения за подвижными объектами, в том числе с подвижного основания, позволяет значительно уменьшить ошибку сопровождения объекта как при наличии, так и при кратковременном пропадании информации о положении объекта на изображении, увеличить допустимое время нахождения системы в режиме прогнозирования положения объекта при кратковременном отсутствии информации о положении объекта на изображении, снизить вероятность срыва сопровождения объекта, за счет стабилизации изображения уменьшить запаздывание в системе, так как на этапе обработки изображения возможно исключение сложных операций компенсации вращения фона, кроме этого, стабилизация изображения улучшает эргономику работы оператора с системой.

1. ОЭБ Оптико-электронный блок

2. БОК Блок определения координат

3. БПК1 Первый блок преобразования координат

4. БМПТ Блок межкадрового прогнозирования траектории

5. Ком1 Первый коммутатор

6. БПК2 Второй блок преобразования координат

7. Ком2 Второй коммутатор

8. ИУ Исполнительное устройство

9. БПТ Блок прогнозирования траектории

Источники информации

1. Патент РФ 2191407, МПК 7 G01S 17/66, G05D 3/12, Н04N 7/18, 2000 г, аналог.

2. Патент РФ 2168753, МПК 7 G05D 3/12, 2000 г., прототип.

3. Бесекерский В.А., Фабрикант Е.А. Динамический синтез систем гироскопической стабилизации. Л.: Судостроение, 1968. 348 с.

4. Соловьев В.В. Проектирование цифровых систем на основе программируемых логических интегральных схем. М.: Горячая линия -Телеком, 2001. 640 с.

Формула изобретения

1. Способ формирования управления приводами исполнительного устройства в оптико-электронных системах сопровождения, включающий формирование кадров видеоизображения, вычисление координат центра сопровождаемого объекта на изображении, определение координат объекта в неподвижно ориентированной относительно поверхности Земли системе координат, а также в подвижной системе координат, формирование сигналов на электроприводы для отработки требуемых угловых положений рамок исполнительного устройства, отличающийся тем, что в неподвижно ориентированной системе координат, с учетом возникающего при обработке изображений запаздывания, введено межкадровое определение прогнозируемых координат объекта, прогнозирование координат объекта в случае пропадания информации о сопровождаемом объекте на изображении, формирование требуемых углов положения рамок исполнительного устройства с учетом компенсации вращения фоноцелевой обстановки на изображении.

2. Способ по п.1, отличающийся тем, что компенсация вращения фоноцелевой обстановки на изображении относительно плоскости горизонта производят при использовании исполнительного устройства с тремя степенями свободы.

3. Устройство по п.1, реализующее оптико-электронную систему сопровождения, состоящее из последовательно соединенных исполнительного устройства, оптико-электронного блока, блока определения координат и первого блока преобразования координат, отличающееся тем, что в его состав введены последовательно соединенные блок межкадрового прогнозирования траектории, первый коммутатор, второй блок преобразования координат, второй коммутатор, а также блок прогнозирования траектории, при этом выход первого блока преобразования координат соединен со вторым входом блока прогнозирования траектории и входом блока межкадрового прогнозирования траектории, выход которого является третьим входом первого коммутатора, чей выход соединен с первым входом второго блока преобразователя координат, выход которого является вторым входом второго коммутатора, выход которого связан с входом исполнительного устройства, выход которого соединен со вторым входом первого блока преобразования координат и вторым входом второго блока преобразования координат, второй выход блока определения координат соединен с первым входом первого коммутатора и с первым входом блока прогнозирования траектории, чей выход является вторым входом первого коммутатора, при этом первый вход второго коммутатора предназначен для управления от внешних систем.

РИСУНКИ

MM4A – Досрочное прекращение действия патента СССР или патента Российской Федерации на изобретение из-за неуплаты в установленный срок пошлины за поддержание патента в силе

Дата прекращения действия патента: 11.05.2008

Извещение опубликовано: 10.01.2010 БИ: 01/2010