Патент на изобретение №2387007

(54) ОБРАБОТКА ИНФОРМАЦИИ

(57) Реферат:

Изобретение относится к способу обработки информации (INFO), которая включает контент (CONT1-CONT3). Техническим результатом является расширение функциональных возможностей. Способ обработки информации, включающей контент (CONT1-CONT3), заключается в выполнении следующих этапов: информацию (INFO) подвергают цифровому формированию изображения; контент (CONT1-CONT3) в информации (INFO) цифрового изображения подвергают одной или более операциям, при этом решение по меньшей мере о некоторых из указанных операций, которым подвергают контент, принимают на основе управляющей информации, помещенной в связи с информацией (INFO). Электронное оборудование (10) для обработки информации содержит первое средство (САМ), предназначенное в соединении с оборудованием (10) для формирования цифрового изображения информации (INFO), включающей контент (CONT1-CONT3), и процессорные средства для выполнения одной или нескольких операций с контентом (CONT1-CONT3) в информации (INFO) цифрового изображения, причем процессорные средства адаптированы для распознавания в указанной информации (INFO) управляющей информации, на основании которой они принимают решение по меньшей мере о некоторых из операций с контентом (CONT1-CONT3). 3 н. и 27 з.п. ф-лы, 5 ил.

Изобретение относится к способу обработки информации, которая включает контент, при этом в указанном способе:

к информации применяют формирование цифрового изображения и

контент информации цифрового изображения подвергают одной или более операциям.

Кроме того, изобретение также относится к соответствующему электронному оборудованию и программным продуктам для осуществления способа в соответствии с изобретением.

Для конечного пользователя портативного электронного оборудования создание и управление известным образом документами приложений, например документами Office, являются сложными и отнимают много времени. Особенно трудно работать с документами Office (например, на базе Word, Excel или PowerPoint) с использованием маленьких и ограниченных клавиатур и экранов подобного оборудования.

Также тяжело преобразовывать информацию, изначально созданную не в электронном виде, в электронную форму с другого альтернативного физического носителя и далее осуществлять с ней необходимые действия в электронном оборудовании. На практике это необходимо делать каждый раз при переходе на новое оборудование. Для пользователей портативного оборудования это весьма непростая задача, поэтому они имеют очень серьезные проблемы с удобством использования.

Известно, что в портативном оборудовании средства подачи и отображения информации очень ограничены. Это ограничивает их использование для создания и управления контентом, например текстом, таблицами или рисунками. Кроме того, прикладные программные системы требуют, чтобы конечный пользователь адаптировался к пользовательским интерфейсам приложения и, в частности, чтобы он осуществлял интерактивное взаимодействие с приложением. Для осуществления операций с приложением требуется, чтобы пользователь тренировался в использовании приложения. Пользователю также требуется адаптировать последовательности функций, характерные для приложения, к своим рабочим потребностям, когда пользователь работает в прикладной программе. Обучение грамотному использованию программы требует достижения определенного уровня на кривой обучения. Кроме того, при использовании прикладных программ пользователь будет постоянно все дальше уходить от своих естественных обычных способов работы.

Базовое решение, иллюстрирующее современное положение дел в создании контента для портативного оборудования, состоит в применении различного офисного оборудования для создания документа и для печати окончательного документа. Получившийся в результате документ можно перенести на портативное оборудование. Однако это неудобно, поскольку пользователю необходимо использовать два экземпляра оборудования, расположенные в разных местах. Процедура становится еще более трудной при переносе документа с одного экземпляра оборудования на другой. Кроме того, необходимы также дополнительные действия с документом, которые могут потребовать управления даже несколькими приложениями, еще дальше уводя пользователя от его естественных способов работы. Это может привести конечных пользователей в замешательство и в случае повторяющихся типовых действий может даже привести их к чувству разочарования.

Другим, несколько более передовым решением является применение камеры, встроенной в различные виды портативного оборудования, для преобразования неэлектронной информации в электронную форму. Одно из таких решений описано в патенте США 6202060 В1. В этом случае пользователь также должен использовать оборудование и прикладную программу для выполнения операций воздействия на информацию.

Целью данного изобретения является создание способа воздействия на информацию посредством по меньшей мере одной операции, который с точки зрения конечного пользователя не требует усилий и является естественным, а также подходит, в частности, для портативного оборудования. Характерные особенности способа в соответствии с изобретением представлены в пункте 1 формулы изобретения, характерные особенности оборудования представлены в пункте 13 формулы изобретения. Кроме того, изобретение также включает соответствующий программный продукт, характерные особенности которого представлены в пункте 25 формулы изобретения.

В способе в соответствии с изобретением для обработки информации, содержащей контент:

– к информации применяют формирование цифрового изображения и

– к контенту, содержащемуся в информации цифрового изображения, применяют одну или более операцию.

Согласно способу по меньшей мере некоторые из указанных операций, совершаемых с контентом, определяются на основе управляющей информации, помещаемой в связи с информацией.

В соответствии с одним из вариантов осуществления изобретения могут использоваться несколько операций, которые осуществляются в установленном порядке. Одновременное их выполнение также возможно, если природа операций это допускает.

Концепцию «управляющей информации» в контексте изобретения можно понимать очень широко. В соответствии с первым вариантом осуществления изобретения в нее может входить информация, указывающая операцию. В соответствии с другим вариантом осуществления изобретения в нее может входить информация, указывающая порядок выполнения операций. Это необходимо, если число операций больше одной. Кроме того, в соответствии с третьим вариантом осуществления изобретения управляющая информация может включать информацию для определения контента, над которым будет осуществляться операция.

Концепцию «операции» в контексте изобретения также можно понимать очень широко. В соответствии с первым вариантом осуществления изобретения операции могут, по меньшей мере на некоторых этапах способа в соответствии с изобретением, включать направление информации и включение ее по меньшей мере в один целевой объект, распознаваемый по управляющей информации. Кроме того, редактирование и распространение контента могут рассматриваться как возможные операции, при этом не исключаются и другие операции.

Концепцию «целевого объекта» также можно понимать широко. В соответствии с одним из вариантов осуществления изобретения это может быть по меньшей мере одна прикладная программа, например одно из офисных приложений. Если прикладная программа представляет собой, например, приложение для передачи данных, например программу электронной почты, управляющая информация может также содержать целевые объекты, которые для нее предлагаются. Это может быть, например, один или более идентификатор адреса, по которому следует послать контент в установленном формате.

В соответствии с одним из вариантов осуществления изобретения по меньшей мере для распознавания управляющей информации могут применяться знания о распознавании образов и база знаний. В них определены операции, связанные с управляющей информацией. Оборудование, таким образом, снабжается соответствующей функциональностью для осуществления способа.

Благодаря изобретению конечному пользователю больше нет необходимости работать с меню прикладных программ, которые трудно изучить. Кроме того, благодаря изобретению некоторые операции, рассматриваемые в качестве рутинных, можно реализовать совершенно незаметно для конечного пользователя, настолько естественно, насколько это возможно (например, с использованием пера и бумаги). Используя камеру и распознавание различных изображений, образов и текста, оборудование будет распознавать из управляющей информации операции, необходимые для контента, и осуществлять определяемые ими функции в правильном порядке. Естественные способы работы, обеспечиваемые пользователю благодаря изобретению, очень важны с точки зрения удобства использования оборудования.

Благодаря изобретению обеспечиваются многочисленные преимущества при создании и обработке контента. Первое преимущество обеспечивается при использовании по меньшей мере частично законченного материала, который однажды уже был создан в виде формального электронного документа, и при его обработке и распространении нужным способом в среде оборудования. Конечный пользователь может создавать контент, используя, например, некую естественную среду представления или базовую прикладную программу. Из нее контент может быть легко преобразован в электронную форму и подвергнут необходимым операциям в соответствии с одним из вариантов осуществления изобретения, включающим несколько операций, которые осуществляются в установленном порядке.

Изобретение делает возможным создание прикладных документов, например документов Office, непосредственно из оригинального материала, например неэлектронного носителя, путем формирования изображения с помощью камеры и распознавания образов, или в более общем смысле, путем формирования цифрового изображения. Благодаря изобретению конечный пользователь может создавать контент и использовать его в операциях естественным для себя способом. Благодаря способу в соответствии с изобретением оборудование неожиданным образом адаптируется к естественным для пользователя способам работы и в состоянии осуществлять операции, связанные с контентом, и даже соблюдать порядок их проведения, задаваемый имеющейся управляющей информацией, которую конечный пользователь приложил к информации. По отношению к известному уровню техники ситуация меняется на совершенно обратную. Благодаря изобретению прикладные программы будут работать неожиданно удобно для пользователя.

Другие особенности, характеризующие изобретение, будут уточнены в пунктах формулы, а дополнительные возможные преимущества перечислены в описании.

Изобретение, которое не ограничивается вариантами осуществления, описанными в этом документе, будет более подробно описано со ссылками на приложенные чертежи, на которых

на фиг.1 приведена упрощенная блок-схема алгоритма для примера осуществления способа в соответствии с изобретением,

на фиг.2 приведена блок-схема первого принципиального примера применения способа в соответствии с изобретением,

на фиг.3 приведено упрощенное схематическое представление первого принципиального примера электронного оборудования для осуществления способа в соответствии с изобретением,

на фиг.4 приведен пример программного продукта для обработки информации в соответствии с изобретением в электронном оборудовании и

на фиг.5а и 5b приведены некоторые примеры применения информации, обрабатываемой способом в соответствии с изобретением.

Изобретение относится к способу и электронному оборудованию 10, реализующему способ обработки информации INFO. Кроме того, изобретение может быть использовано для преобразования уже существующей информации INFO в электронную форму.

На фиг.1 приведена упрощенная блок-схема принципиального примера осуществления способа в соответствии с изобретением. Говоря точнее, изобретение относится к созданию и/или дальнейшей обработке и/или распространению электронного контента, например документов Office, способом, определяемым конечным пользователем.

Согласно изобретению электронный контент может обрабатываться и создаваться, например, из уже существующих источников, например, при помощи камеры САМ и путем распознавания изображений, образов и текста 12-15, что обеспечивается оборудованием 10. В описании способа, представленном на фиг.1 и 2, используется ссылка на пример выполнения электронного оборудования 10 в соответствии с изобретением, показанный на фиг.3, где оно изображено в упрощенном схематическом виде. Оборудование 10 может быть портативным оборудованием, например мобильной станцией или портативным компьютером, которые содержат средства для осуществления способа. Кроме того, используется также ссылка на программный продукт 30, показанный на фиг.4, при помощи которого можно по меньшей мере частично реализовать способ в соответствии с изобретением с помощью программного обеспечения в сочетании с оборудованием 10, выполненным в соответствии с изобретением.

Конечный пользователь может обладать информацией INFO, которая визуализирована, например, в электронной или неэлектронной форме, и которую он хочет преобразовать, по меньшей мере частично, в электронную форму в виде требуемых файлов, чтобы использовать по меньшей мере часть информации INFO по меньшей мере в одной операции. С другой стороны, даже преобразование информации INFO в требуемый электронный формат, как полностью, так и только требуемых ее частей, может рассматриваться в соответствии с изобретением как операция.

Информация INFO может быть создана вручную, по меньшей мере частично, или путем использования электронного оборудования, по меньшей мере частично, этот аспект никоим образом не ограничивает изобретение. Информация INFO может быть введена в электронное оборудование, например в портативный компьютер, с использованием очень простой и несложной в применении прикладной программы (например, приложений Notepad или WordPad в среде MS Windows). После создания информации INFO она может быть, например, распечатана на бумаге, при этом может быть сделана распечатка отдельной части. С другой стороны, источником информации может быть даже дисплей М компьютера, на котором информацию можно визуализировать для конечного пользователя, и с которого конечный пользователь может получить информацию во всей ее полноте.

Если источником информации INFO служит, например, дисплей М компьютера, изобретение делает возможным способ формирования интерфейса передачи данных между двумя единицами оборудования. Созданная информация с возможной управляющей информацией в соответствии с изобретением визуализируется на дисплее М оборудования, на котором она была создана. Если информацию требуется перенести, например, в мобильную станцию 10, ее образ создается средствами камеры САМ оборудования 10. После процесса формирования изображения производятся операции в соответствии с изобретением. Приведем пример преимущества, которое дает такой интерфейс. Допустим, пользователь хочет отправить по электронной почте документ, созданный на портативном компьютере, не имеющем подключения к Интернету. В соответствии с этим вариантом осуществления изобретения необходимо осуществить только формирование цифрового изображения без настройки каких-либо проводных или беспроводных соединений.

Информация INFO содержит контент CONT1-CONT5. В контексте изобретения контент CONT1-CONT5 можно понимать очень широко. Это может быть, например, текст CONT1, CONT2, CONT5, числовые данные, таблицы CONT4, чертежи, изображения CONT3, графические дескрипторы, диаграммы, презентационная графика, линии 80, объекты, образы и т.д. Разумеется, возможны комбинации контента различных типов. Контент CONT1-CONT5 может также содержать различное стилевое редактирование, которое пользователь может пожелать сохранить также в электронной форме контента CONT1-CONT5.

Дополнительными примерами возможных источников/средств создания информации могут быть физически реальные печатные материалы вообще, перекидные блокноты и даже средства визуализации электронного оборудования (например, экран видеопроектора или дисплей мобильной станции, телевизионный приемник или дисплей М персонального компьютера и т.п.). Изобретение относится также к использованию способа и оборудования 10 применительно к способу обработки информации.

Как показано в упрощенном примере, приведенном на фиг.1, на шаге (i) способа пользователь адаптирует в связи с информацией INFO, которую он создал, или которая уже была создана, управляющую информацию 70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4 в соответствии с изобретением. Эта адаптация, как и создание информации, может производиться, например, путем использования простой прикладной программы. В соответствии с одним из вариантов осуществления изобретения управляющая информация может присоединяться или помещаться выбранным способом около контента CONT1-CONT5 в информации INFO. Способ присоединения и/или формирования управляющей информации может быть выбран для каждого приложения по отдельности, так что это никак не ограничивается примерами, представленными ниже. Управляющая информация может представлять собой естественные символы (W, о, г, d, “,), слова из символов (Word, “Please…”), естественные знаки, например графические фигуры (->, прямоугольник, эллипс, круг и т.д.) и другие. В общем, управляющую информацию можно понимать как естественные инструкции, которые имеют недвусмысленное значение (операция) и которые конечный пользователь желает указать для рассматриваемой информации INFO. Управляющая информация может быть задана и позиционирована в зависимости от приложения, так что ее местоположение в информации INFO и фиксированное определение в этом виде не обязательно будет ограничено конкретной формой и соответствующим значением.

На шаге (ii) конечный пользователь наводит на информацию INFO, которую он рассматривает в качестве целевой, камеру САМ, имеющуюся в соединении с оборудованием 10, и получает изображение М информации INFO путем оптического захвата информации INFO с помощью камеры САМ. Вообще, эта операция известна как формирование цифрового изображения.

На шаге (iii) захваченная информация INFO преобразуется в оборудовании 10 в электронные данные DATA1-DATA3. Когда мы говорим об информации INFO и об образующих ее данных DATA1-DATA3, эти понятия в принципе означают одно и то же. Преобразование может происходить известным для камер САМ способом, например, с помощью схем обработки изображения или соответствующего программного обеспечения. Даже формирование цифрового изображения может как таковое производить необходимые данные.

На шаге (iv) управляющая информация 70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4, которая была задана конечным пользователем в информации INFO на шаге (i), распознается в информации INFO, а также происходит распознавание контента CONT1-CONT3, связанного к ней заданным образом. Для этого оборудование 10 содержит соответствующую функциональность 12-15 для анализа изображения информации INFO, которая ниже будет описана подробнее со ссылками на фиг.3 и 4. Распознавание и последующие дополнительные операции (например, преобразование и распространение контента CONT1-CONT3) может происходить, например, путем использования программного кода 31, который может выполняться процессорным модулем CPU 16 оборудования 10 и который также относится к данному изобретению.

На шаге (v) определяются одна или более операций, которым будет подвергнут по меньшей мере один контент CONT1-CONT3. Оборудование 10 принимает решение на основе управляющей информации, распознаваемой в информации изображения INFO. Для распознавания управляющей информации и принятия решения оборудование 10 поставляется с соответствующей функциональностью 12 интеллектуального анализа изображения и знаниями, предоставляемыми для нее, например базой знаний (распознавания образов) 14, 15. Кроме того, для этой цели оборудование также содержит функциональность диспетчера команд 16, который обрабатывает контент CONT1-CONT3 в оборудовании 10 заданным способом, определяемым управляющей информацией.

На шаге (vi) можно, например, на базе результатов шагов, проведенных ранее, осуществить по меньшей мере одну операцию с контентом CONT1-CONT3. Как будет описано ниже, операцию в контексте изобретения можно понимать очень широко. Это может быть преобразование контента CONT1-CONT3, например, в назначенном приложении 50-56, и/или это может быть также пересылка контента CONT1-CONT3, преобразованного в электронную форму, по сети передачи данных в соответствии с заданной управляющей информацией 71.1, 71.2 заданным образом. После этого процесс в соответствии с изобретением, в его основном виде, заканчивается.

В соответствии с одним из вариантов осуществления изобретения управляющая информация может содержать информацию 70.1-70.5, 71.1, 71.2, указывающую операцию или целевой объект. Если имеются несколько операций или целевых объектов, управляющая информация может также содержать информацию 73.1-73.4, 74.1-74.4, отражающую порядок, в котором осуществляются шаги. Таким образом, шаги могут производиться в основном в порядке, соответствующем порядку выполнения, указанному в управляющей информации. Некоторыми другими критериями для определения этого порядка будут, например, упорядоченный список команд, которые выполняются в указанном порядке в ходе процесса. В этом списке команда «Word», например, может идти перед командой «Email», поскольку обратный порядок в большинстве случаев невозможен. Это делает возможным построение сложных последовательностей операций.

В соответствии с одним из вариантов осуществления изобретения управляющая информация может также включать информацию 72.1-72.5 для определения контента CONT1-CONT3, подвергаемого операции или обработке. В соответствии с одним из вариантов осуществления изобретения эта информация может иметь вид графических объектов установленного вида, например замкнутой линии/внешней границы, которая установленным образом окружает контент CONT1, CONT3, CONT4, CONT5, образующий цель, или же контент может быть записан между специальными символами (например, “”). При формировании замкнутой линии можно, например, указать тип контента CONT1-CONT5, который может быть задан внутри замкнутой линии заданной формы. На фиг.5а и 5b ссылки CONT1, CONT3-CONT5 используются для указания на фактический контент, вставляемый в целевые приложения 50, 51, 55, 56. Замкнутые линии 72.1, 72.3, 72.5 образуют здесь объекты с углами, например прямоугольники. Определение контента, кроме всего прочего, дополнительно повышает уверенность в распознавании контента и определении целевого объекта для него.

В соответствии с одним из вариантов осуществления изобретения управляющая информация может включать информацию 70.1, 70.2, 71.1, указывающую операцию. В соответствии с одним из вариантов осуществления изобретения этот шаг можно понимать как направление контента CONT1-CONT3 по меньшей мере в один целевой объект 50, 55, 71.1, определяемый из управляющей информации 70.1, 70.2. В соответствии с одним из вариантов осуществления изобретения целевым объектом может быть по меньшей мере одна прикладная программа 50, 55. Характер прикладной программы может определять шаги, применяемые к контенту, в качестве часто используемых операций можно упомянуть передачу и вставку контента в прикладную программу, а также его сохранение в файле требуемого формата. Кроме того, разумеется, также возможно преобразование образов контента в объекты, зависящие от прикладной программы. Это создает возможности для последующих операций, которые могут осуществляться с контентом документа. Например, контент, имеющий текстовые образы, может быть преобразован в текстовые объекты, так что их можно будет требуемым образом редактировать в прикладном программном обеспечении. Таким образом, управляющая информация 70.1-70.5 может содержать, например, идентификаторы текста, образованные буквами и определяющие приложение. В примерах приложений на фиг.5а и 5b это Word, Excel и Adobe Distiller. Контент CONT1-CONT3 при его вставке в прикладную программу 50, 55 преобразуется в заданный формат файла, который может быть, например, форматом по умолчанию для прикладной программы.

В соответствии с другим вариантом осуществления изобретения целевой объект может быть, например, приложением для передачи данных, одним из примеров которого является программа 55 электронной почты, более конкретно, контент применительно к ней будет прикрепленным файлом. Разумеется, другими примерами таких возможных прикладных программ могут быть приложения FTP или даже прикладные программы, используемые для компиляции WEB-страниц. Как можно видеть из примеров приложений, вместо явного идентификатора имени приложения (Word, Excel, Adobe Distiller) также можно использовать требуемую функцию (Email). Функция в этом случае выполняется программой, назначенной для этой цели по умолчанию, которой в данной случае является программа 55 Outlook для работы с электронной почтой.

В случае приложения 55 для передачи данных целевым объектом может также быть один или более идентификатор адреса 71.1, 71.2. Одним из примеров таких идентификаторов может быть адрес электронной почты, на который пользователь может пожелать переслать контент CONT1-CONT5. Как показано на фиг.5а и 5b, вместо настоящего адреса электронной почты также можно задать имена получателей 71.1, 71.2. На их основе программа 55 для работы с электронной почтой извлечет из своего списка адресов адреса электронной почты, указанные для соответствующих лиц 71.1, 71.2, и вставит их в поле получателя в приложении 55.

Кроме того, информация 73.1-73.4, 74.1-74.4, отражающая порядок выполнения операций, может быть задана установленным образом. В примерах она определяется символами стрелок 73.1-73.4, 74.1-74.4, снабженных заголовками. Также для этого используются знания о распознавании образов для символов стрелок 73.1-73.4, 74.1-74.4, содержащиеся в базе данных 13, 15, которые также могут быть применены вообще по меньшей мере для распознавания управляющей информации 70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4.

На фиг.2 приведена более подробная блок-схема первого принципиального примера применения способа в соответствии с изобретением согласно фиг.5а. В этом варианте реализации способа описана ситуация, в которой один за другим осуществляется несколько шагов (по меньшей мере два). По меньшей мере часть шагов, таким образом, осуществляются в последовательности, соответствующей определенному порядку, который можно распознать, например, по стрелкам 73.1-73.4, присутствующим в управляющей информации в информации INFO, и по замкнутым линиям 72.1, 72.5, ограничивающим контент CONT1, CONT2.

Ссылки в скобках (i-vi) относятся к основным частичным шагам, образующим способ.

После шагов 201-203 в качестве управляющей информации, имеющейся в информации INFO, распознается первая связь 73.1. Может существовать даже несколько альтернатив распознаванию первой связи 73.1. В соответствии с первым вариантом осуществления изобретения в информации INFO может быть проведен поиск управляющих стрелок, расположенных на главных местах в информации INFO. В соответствии с другим вариантом осуществления изобретения может производиться поиск замкнутых линий 72.1, имеющих установленную форму, из которой выходит образ, распознанный как управляющая стрелка 73.1.

Далее на шаге 205 определяется целевой объект 70.1 для первой связи 73.1, обнаруженной в информации INFO. Целевой объект может распознаваться у того конца стрелки 73.1, указывающей на первую обнаруженную связь, который является острием стрелки. В случае варианта осуществления изобретения, приведенного на фиг.5а, целевой объект 70.1 представляет собой прикладную программу (Word 50). Также контент CONT1, CONT3, вставляемый требуемым образом в целевой объект 50, распознается по замкнутому контуру 72.1, который его окружает. С внутренней стороны контура 72.1 можно в дальнейшем распознать в качестве контента рисунок CONT3, который также окружен контуром 72.5. Он может быть связан с содержимым файла, преобразуемого известным способом в прикладной программе 50.

Как можно видеть на фиг.5b, различные установленные конкретизирующие параметры также могут быть помещены для целевого указания. Это может относиться, например, к редактированию, которому должен подвергнуться контент CONT4, CONT5, или к способу его представления в целевом приложении 51. В примере на фиг.5b распознается параметр (BAR_DIAGRAM – столбчатая диаграмма), который используется для формирования столбчатой диаграммы показанного вида в приложении для обработки электронных таблиц 51, являющемся целевым объектом. Созданная столбчатая диаграмма может иметь свойства объекта, обычно характерные для столбчатых диаграмм, например редактируемые заголовки, оси и цвета. Следует понимать, что на фиг.5b приведен очень грубый и предназначенный только для иллюстрации пример параметров и сообщения о них в управляющей информации 70.3. В реальности это, разумеется, может быть сложнее. Другим примером параметров могут быть, например, параметры (не показаны), определяющие шаблоны презентаций/документов в приложениях, типичных для работы с презентационной графикой или текстом. В этом случае также имеется множество альтернатив.

После распознавания целевого объекта связи 70.1 и относящегося к нему контента CONT1, CONT3, данные, соответствующие контенту CONT1, CONT3, вставляются в целевой объект 50. Вставка выполняется на шаге 206 и может производиться известным способом. В качестве дополнительного шага она может также включать автоматическое преобразование и сохранение данных в формате целевого приложения 50. В данном случае нет необходимости описывать этот процесс более детально.

На следующем шаге 207 в информации INFO изображения ищут большее количество возможных связей, то есть, в случае показанного варианта осуществления изобретения, направленных стрелок. Если другие связи не найдены, процесс переходит к шагу КОНЕЦ и способ в соответствии с изобретением завершается. Продолжение способа может быть, например, таким: если некоторая прикладная программа являлась целевым объектом для контента CONT1, CONT3, который находится в прикладной программе 50 в виде открытого файла, конечный пользователь может работать с ним требуемым образом.

Однако если на шаге 207 обнаружено, что информация INFO изображения по-прежнему содержит необработанные связи 73.2-73.4, процесс переходит на шаг 208. Стрелка 73.2 указывает на необработанную связь, которая может быть найдена на шаге 208 путем использования распознавания образов 13, 15 описанным выше способом, например, по близкому расположению к целевому объекту 70.1, определенному по первой связи 73.1.

С шага 208 процесс может вернуться к шагу 205. Этот цикл выполняется, пока выполняется условие на шаге 207, после этого способ перейдет к завершению.

Вновь рассмотрим пример приложения на фиг.5а. Следующая стрелка 73.2, выходящая из идентификатора Word, распознается на шаге 208. На шаге 205 после этого распознается приложение для работы с электронной почтой (Email) как целевой объект для ранее преобразованного файла Word. Файл Word, созданный на шаге 206 предыдущего цикла, теперь рассматривается как контент, который соответствующим образом включается в приложение 55 для работы с электронной почтой. В случае приложения 55 для работы с электронной почтой, заданным способом обработки может быть установка файла Word в качестве присоединяемого файла, который предназначен для пересылки с помощью приложения 55 для работы с электронной почтой. На блок-схеме это соответствует шагу 206.

На шаге 207 снова проверяется наличие других возможных, но еще не обработанных связей 73.3, 73.4 (если найдены стрелки). Следующая связь в последовательности шагов, распознаваемая на шаге 208, содержит три стрелки 73.3 равной значимости. На шаге 205 они распознаются как указывающие на имена, окруженные овальным контуром 72.2. Равнозначность стрелок 73.3 можно распознать путем идентификации команды 70.2, от которой они исходят. Поскольку предшествующим целевым объектом была программа 55 для работы с электронной почтой, эти следующие возможно одна или более связей 73.3 означают адреса электронной почты, по которым должен быть разослан указанный присоединенный файл Word, рассматриваемый как контент. Адреса электронной почты, соответствующие именам, которые распознаются на шаге 206, извлекаются из списка адресов приложения 55 или приложения обработки контактной информации и вставляются в поле получателя приложения 55 для работы с электронной почтой.

После этого на шаге 207 обнаруживается еще одна необработанная связь 73.4, которая на шаге 208 распознается как относящаяся к контенту CONT2, который вставляется в поле заголовка электронной почты. Поскольку текст, который должен использоваться в качестве заголовка, находится в кавычках, и направляющая стрелка 73.4 указывает от него к шагу отправки электронной почты 70.2, на шаге 205 он распознается как заголовок. Текст между кавычками на шаге 206 вставляется в поле заголовка приложения 55 для работы с электронной почтой. Если от текста между кавычками будет идти стрелка, например, к управляющей информации 70.1, указывающей на приложение Word 50, этот текст будет интерпретироваться в качестве имени, которое следует дать этому документу Word.

Поскольку согласно варианту осуществления изобретения, показанному на фиг.5а, на следующем шаге 207 не будет найдено необработанных связей, способ может переходить к завершению (КОНЕЦ). В варианте осуществления изобретения на фиг.5а можно предусмотреть ожидание для подтверждения отправки электронной почты конечным пользователем. С другой стороны, также можно использовать автоматическую отправку, инициируемую приложением 55 для работы с электронной почтой. Однако может быть разумно, чтобы финальное подтверждение передачи электронной почты производилось конечным пользователем. Это связано в первую очередь с тем, что, например, на шаге распознавания текста и формирования документа Word может произойти ошибка, которую необходимо исправить до отправки прикрепленного файла, сформированного из контента CONT1, CONT3. Преобразование образов в объекты дает в этом отношении преимущество. И, во-вторых, это связано с тем, что ошибка может произойти при распознавании получателей 71.1. Электронная почта, таким образом, не обязательно будет отправлена тем получателям, для которых она изначально предназначалась. Разумеется, это крайне нежелательно.

Далее кратко рассмотрим пример приложения, представленный на фиг.5b. Он может рассматриваться в связи с блок-схемой процедуры, приведенной на фиг.2, таким же образом, как это было сделано для примера приложения на фиг.5а. В этом контексте нет необходимости возвращаться непосредственно к блок-схеме, показанной на фиг.2. Конечный пользователь при помощи пера и бумаги создает контент CONT4, CONT5, содержащий информацию INFO в форме таблицы. Кроме того, конечный пользователь также рисует управляющую информацию 74.1-74.4, 70.3-70.5, 72.3, 72.4, 71.2, характеризующую изобретение, в связи с информацией INFO, для осуществления желаемых операций над созданным контентом CONT4, CONT5.

Контент CONT4, CONT5 после шагов формирования изображения и формирования данных 201-203 направляется в приложение для работы с электронными таблицами Excel 51. Это распознается по стрелке 74.1 управляющей информации, нарисованной конечным пользователем в информации INFO и ведущей к идентификатору 70.3 указанной прикладной программы. Используя спецификатор параметра в управляющей информации 70.3, можно также определить режим представления табличных данных в прикладной программе 51, как показано в пунктирной рамке. Столбчатая диаграмма BD файла XLS в пунктирной рамке, показанная на фиг.5b, которая формирует контент CONT4, CONT5 в приложении для работы с электронными таблицами, разумеется, отсутствует в информации INFO, созданной конечным пользователем на листе бумаги/дисплее, а просто приведена для иллюстрации в контексте фиг.5b.

На следующем шаге происходит направление файла XLS, созданного в приложении 51 и показанного в рамке BD, с помощью направляющей стрелки 74.2 к идентификатору 70.4, обозначающему программу преобразования 56 в файл типа pdf, в качестве которой могут, например, использоваться несколько известных программ. Затем, создав с ее помощью файл PDF, конечный пользователь хочет отправить его в программу 55 для работы с электронной почтой для отправки указанным получателям 71.2, также упомянутым на бумажном листе. Эти шаги могут осуществляться аналогично примеру приложения на фиг.5а.

На фиг.3 приведено упрощенное схематическое представление первого принципиального примера электронного оборудования в соответствии с изобретением. В то же время используются ссылки на шаги согласно фиг.2, имеющие отношение к соответствующему оборудованию. Оборудование 10, которое может быть, например, мобильной станцией, содержит средства камеры САМ для цифрового формирования изображения информации INFO, включающей контент CONT1-CONT3, на шаге 202. Отображенная информация INFO обрабатывается, например, процессором CPU оборудования 10 в цифровой форме, формируя данные DATA1-DATA3 для функциональности, необходимой согласно изобретению на шаге 203. Кроме этого, оборудование 10 может также предоставляться с интерфейсом камеры САМ IMAPI или другим известным интерфейсом, который используется для обработки необходимым образом данных об изображении DATA, формируемых датчиком камеры САМ и направляемых на дальнейшую обработку средствам 12-16 в соответствии с изобретением.

Оборудование 10 также включает одно или более приложений 50-56, которые могут быть разделены, например, в соответствии с их типом, например наборы приложений 60-62.

Для распознавания управляющей информации оборудование 10 содержит знания об образах 14, 16 и соответствующую функциональность 12, 13 для распознавания управляющей информации в данных изображения, сформированного средствами камеры САМ. Предоставляя эти знания 14, 15 для использования модулем процессора CPU, выполняющим функцию анализа изображения 12, можно обнаружить управляющую информацию, содержащуюся в информации изображения INFO, а также определить операции, которые ей соответствуют. Знания 14, 15 могут также использоваться для преобразования образа в специфический объект для прикладной программы. Осуществление операций и управление операциями может происходить под управлением диспетчера команд 16. Он передает (отображает) установленные порции информации об изображении INFO, сформированной средствами камеры САМ, на интерфейсы приложений, и в то же самое время управляет прикладными программами 50-56 или цепочками, которые они образуют, с целью обработки информации INFO способом, определенным в управляющей информации. Изобретение также включает элемент камеры САМ, который можно адаптировать для использования не только с электронным оборудованием 10, но и в связи со способом в соответствии с изобретением.

На фиг.4 приведен пример программного продукта 30 в соответствии с изобретением. Программный продукт 30 может содержать средства памяти MEM и программный код 31, выполняемый процессорным модулем CPU оборудования 10 и записанный в средства памяти MEM для обработки информации в соответствии со способом согласно изобретению, по меньшей мере частично на уровне программ, при этом информация INFO содержит контент CONT1-CONT3. Средства памяти MEM для программного кода 31 могут быть, например, картой памяти, адаптированной для подключения к портативному оборудованию, компакт-диском, адаптированным к среде ПК, или также статической или динамической памятью для приложений оборудования 10, с которым она может быть непосредственно интегрирована.

Программный код 31 может включать отдельные средства кода 31.1-31.5, выполняемые средствами процессора CPU, 16, работа которых может быть адаптирована для выполнения описанного способа. Средства кода 31.1-31.5 могут формировать набор команд процессора, исполняемых одна за другой, которые используются для осуществления функций, необходимых согласно изобретению для оборудования 10, выполненного в соответствии с изобретением.

Программный код 31 адаптирован для ввода полученной с помощью оптических средств информации INFO и для проведения с контентом CONT1-CONT3, содержащимся в информации INFO, одной или нескольких операций. Для этой цели программный код 31 содержит первые средства кода 31.1, конфигурированные для распознавания в информации INFO управляющей информации 70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4. Кроме того, программный код может также содержать вторые средства кода 31.2, конфигурированные для решения о выполнении по меньшей мере некоторых из одной или нескольких операций, которым должен подвергнуться контент CONT1-CONT3, на основании распознаваемой управляющей информации.

Программный код 31 может также содержать третьи средства кода 31.3, конфигурированные для распознавания в управляющей информации 70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4 порядка, в котором должны производиться операции. Кроме того, программный код может также содержать четвертые средства кода 31.4, конфигурированные для распознавания контента CONT1-CONT3, который следует подвергнуть операциям, а также пятые средства кода 31.5, конфигурированные для направления контента CONT1-CONT3 по меньшей мере в один целевой объект 50, 55, 71.1, распознанный из управляющей информации 70.1, 70.2, 72.2.

В сочетании с программным кодом 31 используются знания о распознавании образов 14, 15 для распознавания по меньшей мере управляющей информации 70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4 в информации INFO. Знания о распознавании образов 14, 15 также позволяют преобразовывать распознанные образы контента в переработанные объекты, характерные для каждой прикладной программы. Программный код 31 содержит соответствующие средства кода для этой цели.

Для специалиста в этой области понятно, что программные коды 31 могут быть реализованы общеизвестным образом в виде независимых приложений, или могут образовывать модули. Кроме того, по меньшей мере часть из них может быть интегрирована или связана с другими приложениями, например описанными выше прикладными программами 50-56 или наборами приложений 60-62, или непосредственно на уровне операционной системы.

Хотя выше изобретение описывалось для варианта его осуществления, в котором мобильная станция 10, оборудованная средствами камеры САМ, используется для обработки информации, базовая концепция может также применяться в сочетании, например, с портативными компьютерами. В этом случае средства камеры САМ оборудования (мобильная станция или цифровая камера) оперативно подключаются к портативному компьютеру. Подключение может относиться к любому известному типу, например соединению USB или одному из вариантов беспроводного подключения, такому как Bluetooth. Информация об изображении INFO захватывается средствами камеры САМ и передается в портативный компьютер, в котором обрабатывается в соответствии с представленным изобретением. Таким образом, камера САМ не обязательно должна входить в состав того оборудования, в котором осуществляется способ в соответствии с изобретением.

Следует понимать, что приведенное выше описание и относящиеся к нему чертежи предназначены исключительно для иллюстрации данного изобретения. Таким образом, изобретение не ограничивается только вариантом его осуществления, представленным выше или в формуле изобретения, и для специалиста в этой области очевидны различные вариации и модификации изобретения, которые могут быть сделаны в рамках его концепции, определенной в прилагаемой формуле изобретения.

Формула изобретения

1. Способ обработки информации (INFO), которая включает контент (CONT1-CONT3), при этом согласно способу:
информацию (INFO) подвергают цифровому формированию изображения, и
контент (CONT1-CONT3) в информации (INFO) цифрового изображения подвергают одной или более операциям,
отличающийся тем, что решение по меньшей мере о некоторых из указанных операций, которым подвергают контент (CONT1-CONT3), принимают на основе управляющей информации (70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4), помещенной в связи с информацией (INFO).

2. Способ по п.1, отличающийся тем, что управляющая информация (70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4) связана с контентом (CONT1-CONT3), содержащимся в информации (INFO).

3. Способ по п.1 или 2, отличающийся тем, что операции производят в заданном порядке.

4. Способ по п.1, отличающийся тем, что управляющая информация содержит информацию (70.1, 70.2, 71.1), указывающую операции, и информацию (73.1-73.4), указывающую порядок выполнения операций.

5. Способ по п.1, отличающийся тем, что управляющая информация содержит информацию (72.1, 72.2) для определения контента (CONT1-CONT3), который должен подвергаться операции.

6. Способ по п.1, отличающийся тем, что указанные операции включают направление контента (CONT1-CONT3) по меньшей мере в один целевой объект (50, 55, 71.1), распознанный из управляющей информации (70.1, 70.2, 72.2).

7. Способ по п.1, отличающийся тем, что указанным целевым объектом является по меньшей мере одна прикладная программа (50, 55).

8. Способ по п.1, отличающийся тем, что указанный контент (CONT1-CONT3) преобразуют в пригодный для прикладной программы (50, 55) формат, включающий, например, объекты.

9. Способ по п.1, отличающийся тем, что указанный целевой объект представляет собой приложение для передачи данных, например программу для работы с электронной почтой (55).

10. Способ по п.1, отличающийся тем, что указанный целевой объект представляет собой один или более идентификатор адреса (71.1), по которому должен быть послан контент (CONT1-CONT3).

11. Способ по п.1, отличающийся тем, что используют знания, касающиеся распознавания образов (14, 15), по меньшей мере для распознавания управляющей информации (70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4).

12. Способ по п.1, отличающийся тем, что информацию (INFO) изображения визуализируют в электронном оборудовании.

13. Электронное оборудование (10) для обработки информации, включающее
первое средство (САМ), предназначенное в соединении с оборудованием (10) для формирования цифрового изображения информации (INFO), включающей контент (CONT1-CONT3), и
процессорные средства (CPU, 12, 13) для выполнения одной или нескольких операций с контентом (CONT1-CONT3) в информации (INFO) цифрового изображения,
отличающееся тем, что процессорные средства (CPU, 12, 13) адаптированы для распознавания в указанной информации (INFO) управляющей информации (70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4), на основании которой они принимают решение по меньшей мере о некоторых из операций с контентом (CONT1-CONT3).

14. Оборудование (10) по п.13, отличающееся тем, что управляющая информация (70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4) связана с контентом (CONT1-CONT3) в информации (INFO).

15. Оборудование (10) по п.13 или 14, отличающееся тем, что операции предназначены для выполнения в заданном порядке.

16. Оборудование (10) по п.13, отличающееся тем, что управляющая информация адаптируется так, что она включает информацию (70.1, 70.2, 71.1), указывающую операцию, и информацию (73.1-73.4), указывающую порядок выполнения операций.

17. Оборудование (10) по п.13, отличающееся тем, что управляющая информация адаптируется так, что она включает информацию (72.1, 72.2), определяющую контент (CONT1-CONT3, 71.1), который должен быть подвергнут операции.

18. Оборудование (10) по п.13, отличающееся тем, что указанные операции адаптируются так, что включают направление контента (CONT1-CONT3) по меньшей мере в один целевой объект (50, 55, 71.1), распознанный из управляющей информации (70.1, 70.2, 72.2).

19. Оборудование (10) по п.13, отличающееся тем, что указанный целевой объект представляет собой по меньшей мере одну прикладную программу (50, 55).

20. Оборудование (10) по п.13, отличающееся тем, что указанный контент (CONT1-CONT3) адаптируется для преобразования в формат, подходящий для прикладной программы (50, 55).

21. Оборудование (10) по п.13, отличающееся тем, что указанный целевой объект представляет собой приложение для передачи данных, например программу для работы с электронной почтой (55).

22. Оборудование (10) по п.13, отличающееся тем, что указанный целевой объект представляет собой один или более идентификатор адреса к (71.1), по которому должен быть послан контент (CONT1-CONT3).

23. Оборудование (10) по п.13, отличающееся тем, что знания, касающиеся распознавания образов (14, 15), предоставляемые в соединении с оборудованием (19), адаптированы для применения по меньшей мере при распознавании управляющей информации (70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4).

24. Оборудование (10) по п.13, отличающееся тем, что информация (INFO) предназначена для получения ее изображения с элемента визуализации электронного оборудования.

25. Средство памяти (MEM), включающее программный код (31), который может быть выполнен процессорными средствами (CPU) и который записан в указанном средстве памяти, для приема входной информации (INFO) цифрового изображения и выполнения одной или более операций с контентом (CONT1-CONT3), имеющимся в этой информации (INFO), отличающееся тем, что программный код (31) включает
первые средства кода (31.1), конфигурированные для распознавания в информации (INFO) управляющей информации (70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4), и, кроме того,
вторые средства кода (31.2), конфигурированные для принятия решения по меньшей мере о некоторых из одной или нескольких операций, которым должен быть подвергнут контент (CONT1-CONT3), на основе распознавания управляющей информации (70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4).

26. Средство памяти по п.25, отличающееся тем, что программный код (31) также включает третьи средства кода (31.3), конфигурированные для распознавания из управляющей информации (70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4) порядка осуществления операций.

27. Средство памяти по п.25 или 26, отличающееся тем, что программный код (31) также включает четвертые средства кода (31.4), конфигурированные для распознавания контента (CONT1-CONT3), который должен быть подвергнут операциям.

28. Средство памяти по п.25, отличающееся тем, что программный код (31) также включает пятые средства кода (31.5), конфигурированные для направления контента (CONT1-CONT3) по меньшей мере в один целевой объект (50, 55, 71.1), распознанный из управляющей информации (70.1, 70.2, 72.2).

29. Средство памяти по п.25, отличающееся тем, что некоторые из средств кода (31.1-31.5) программного кода (31) интегрированы с прикладной программой (50-56).

30. Средство памяти по п.25, отличающееся тем, что в соединении с программным кодом (31) имеются знания, касающиеся распознавания образов (14, 15), для распознавания по меньшей мере управляющей информации (70.1, 70.2, 71.1, 72.1, 72.2, 73.1-73.4) в указанной информации (INFO).

РИСУНКИ