Патент на изобретение №2236036

(54) СРЕДСТВО ДЛЯ ВВОДА СИМВОЛОВ ИЛИ КОМАНД В КОМПЬЮТЕР

(57) Реферат:

Изобретение относится к средствам ввода информации в компьютер. Техническим результатом является обеспечение средства для ввода создаваемой в ручную информации в компьютер с помощью естественных движений пальцев, применяемых в написании. Для этого средство для ввода символа содержит средство для рисования символа, средство для определения характеристик движения при рисовании символа и создания кода для символа в виде последовательности сигналов, средство визуальной обратной связи, в котором компонента символа показывается с каждым следующим сигналом в последовательности для символа, который создается позиционно, независимо от средства рисования, удерживаемого рукой. 40 з.п. ф-лы, 37 ил.

Изобретение касается средства для ввода символов или команд в компьютер или другое получающее информацию устройство без клавиатуры или подобного устройства, использующего автоматические навыки почерка.

Современная компьютерная клавиатура первоначально была разработана для работы на пишущей машинке. Клавиши приводились в действие как рычаги для простановки оттиска на бумагу при печати каждого символа. Каждая клавиша имела два символа один над другим, символ нижнего регистра воспроизводился нормальным опусканием клавиши на бумагу с помощью чернильной ленты между ними, а символ верхнего регистра получался путем смещения всей бумажной каретки или набора штампов, так что удар производился штампом верхнего символа, а не нижним. Знаки пунктуации и специальные символы получались смещением цифр или с помощью дополнительных клавишей.

Способ печати в основном тот же, что и в печатном прессе, но назначение пишущей машинки весьма отличается от назначения пресса. Печатание, конечно, позволяет осуществлять публикацию рукописи и воспроизводить много идентичных копий оригинальной рукописи без затраты усилий на переписывание вручную каждой копии.

Пишущие машинки вошли в жизнь с ростом современной коммерции и необходимостью иметь удобочитаемые деловые письма. В это время (и, естественно, сейчас) почерк был весьма персональным и обнаруживал сильную вариацию от одного человека к другому. Это сделало рукописные письма, договоры, контракты и другие юридические документы потенциально неоднозначными или неясными по смыслу. Это является той сложностью почерка, которая уменьшается за счет современных подходов к компьютерному анализу почерка.

Вариации в почерке представляют собой простую информацию, заключенную в массе множества деталей. В современной информации и технике связи подход к избыточности в образце приводит к включению в анализ и распознавание большой расчетной мощности. Имеется в распоряжении компьютерное оборудование для анализа почерка, но оно требует значительной расчетной мощности, а следовательно, относительно дорогое, и часто не может распознать достаточно быстро почерк в реальном времени, вызывая задержки в процессе ввода.

Анализ, используемый в таких способах, зависит от извлечения бросающихся в глаза особенностей из образца почерка, предоставляемых устройству, и от математического обеспечения этого устройства. Следует отметить, что выбранные характерные особенности часто являются сложными и какая-либо одна может быть определена для одного символа или буквы. Это предполагает, что набор таких особенностей является большим и сложным. Кроме того, существует ряд различных способов, которыми может быть нарисован символ, каждый из которых может содержать различные характерные особенности. Если к этому добавить сложность, связанную с тем, что даже с единым способом рисования отдельного символа действительный нарисованный образец будет сильно варьироваться от одного человека к другому. В результате такие подходы к компьютерному распознанию почерка до настоящего времени были ограничены в своих результатах и часто требуют процесса изучения, в котором математическое обеспечение приспосабливается к почерку пользователя или пользователь изучает манеру письма, которая позволяет системе работать. Необходимые накладные расходы, с точки зрения размера программы и расчетной мощности, часто дороги и непрактичны в применении для переносных компьютеров или персональных цифровых вспомогательных средств, в частности, на нижнем конце шкалы размера, мощности и стоимости (высокообъемный рынок карманных банков данных, дневников, организаторов и тому подобного).

Другой подход ко вводу данных в компьютер движениями пальцев реализован в системах, которые требуют того, чтобы пользователь рисовал каждый символ определенным образом, лишенным неоднозначности. Это имеет своим результатом разновидность стенографического кода, который должен быть изучен пользователем. Стенографические формы часто незнакомы или быстро не распознаваемы, какие символы они воспроизводят. Результатом является коммерчески удачная система, но в некоторой мере отдаленной от естественного письма, которую необходимо изучать и которая требует практических навыков.

Другой трудностью, связанной с текущими подходами к рукописному вводу в компьютер, является сложность и дороговизна аппаратурного обеспечения, необходимого для восприятия движений пальцев. В обоих описанных выше подходах форма момент за моментом и точка за точкой движения пальцев должна восприниматься, оцифровываться и передаваться в процессор, обеспечивающий анализ и распознавание. Во многих существующих в настоящее время устройствах эта функция выполняется пером или пишущим штифтом, перемещаемым пальцами поперек чувствительного к прикосновению экрана. Движения пальцев детектируются этим устройством и передаются в процессор, который заставляет изображение движения проецироваться на каком-либо экране. Такое сложное устройство ввода является дорогим и может составлять значительную часть стоимости, например, переносного компьютера.

Таким образом, это не просто – вводить создаваемую вручную информацию в компьютер непосредственным образом.

Печатное слово, с другой стороны, является ясным и однозначным. Каждый символ может быть стандартным по виду и масштабу и просто читаемым. Печатный пресс набирает свой текст как печатную форму свинцового типа, которая отпечатывается на одной или более бумажных страницах одновременно. Это позволяет осуществить быстрое изготовление множества копий страницы. Пишущая машинка, тем не менее, должна быть маневренной на уровне каждого символа, а не на уровне каждой страницы. Следовательно, одна клавиша (одна печатная операция) на символ. Вследствие этого в настоящее время клавиатура имеет 60-70 клавишей.

Были предложены клавиатуры, которые поставляют составные части каждого символа (одна часть на одну клавишу). Так как форма печатных цифр и букв может быть упрощена (они могут изображаться 7 и 14 сегментными дисплеями), такая клавиатура нуждалась бы только в относительно небольшом количестве клавишей по сравнению со стандартной клавиатурой. Тем не менее такие клавиатуры не имели успеха, возможно, за счет барьера, предполагающего обучение новому способу печати, который отвергает преимущества такой простой клавиатуры. Следует отметить, что во время обычной печати прикосновением, хотя пальцы обеих рук перекрывают клавиши, только один палец работает в данный момент времени. С конструирующими символ клавиатурами, как было упомянуто выше, ряд пальцев должен использоваться одновременно для печати символа, а значит, координационные навыки должны быть изучены пользователем. Это означает, что требуемые печатные навыки менее естественны, чем схема “Один символ на одну клавишу”, используемая обычными клавиатурами.

Предметом этого изобретения является обеспечение средства для ввода создаваемой вручную информации в компьютер.

В соответствии с одним аспектом изобретения обеспечивается средство для ввода создаваемого вручную символа в компьютер, включающий в себя средство для рисования символа, средство для выделения последовательности сигналов по мере того, как символ рисуется, соответствующей компонентам символа для получения образца кода этого символа, и средство для распознавания этого кода, посредством чего символ вводится в компьютер.

Выделенный сигнал преимущественно соответствует квантованию движения по мере того, как рисуется символ. Выделенный сигнал может соответствовать изменению в направлении по мере того, как символ рисуется, и/или может соответствовать движению за один или более определенных порогов в особом направлении по мере того, как рисуется символ, и/или выделенный сигнал может соответствовать изменению в положении чертежного средства из одной определенной области в другую определенную область на чертежной поверхности.

В соответствии со вторым аспектом изобретения обеспечивается средство для преобразования движения или усилия, генерируемого при воспроизведении символа, в кодовый сигнал, соответствующий одному или более элементам вышеупомянутого движения или усилия, которые являются признаками символа, посредством чего символ может распознаваться по вышеупомянутому кодовому сигналу.

В соответствии с третьим аспектом изобретения обеспечивается средство для преобразования движения или усилия, приложенного, по крайней мере, к части вышеназванного устройства, вышеназванного движения или усилия, передаваемого при воспроизведении символа, в кодовый сигнал, соответствующий одному или более элементам вышеназванного движения или усилия, которые являются признаками символа, посредством чего символ может распознаваться по вышеназванному кодовому сигналу.

В соответствии с четвертым аспектом изобретения обеспечивается средство для ввода генерированного вручную символа в компьютер, имеющий монитор, включающий в себя средство для рисования символа для формирования последовательности сигналов, соответствующей этому символу, средство для преобразования сигналов, произведенных для одного символа, в образец кода этого символа, средство для распознавания этого кода и средство для обеспечения визуальной обратной связи, соответствующей символу, вводимому по мере того, как рисуется символ.

Средство в соответствии с этим аспектом изобретения может быть использовано любой системой распознавания почерка (системой ввода либо включающей квантованное распознавание, либо любую другую систему анализа почерка).

В соответствии с пятым аспектом изобретения обеспечивается визуальная обратная связь с пишущим на экране монитора. Обратная связь может принимать форму последовательного наращивания или анимации формы символа, которая сама по себе производится по вышеупомянутому кодовому сигналу. Обратная связь может генерироваться процессором, который соединен с вышеупомянутым средством ввода или устройством ввода или любым другим подходящим средством ввода.

Таким образом, экран монитора может показывать результаты процесса распознания почерка как обратную связь информации для руководства пишущим. Он преимущественно работает шаг за шагом по мере того, как элементы движения кодируются устройством ввода, и включает аспект компьютерного распознавания в процесс визуальной обратной связи отличным от всего прежнего образом. Он не указывает движение пальцев момент за моментом или форму символа точку за точкой по мере рисования, как в случае с текущими подходами ко вводу рукописи в компьютер. Пользователь руководствуется интерпретацией движений пальцев системой с тем, чтобы иметь возможность просто и естественно произвести непосредственно точные движения пальцев, которые будут кодироваться как правильная последовательность элементов однозначного распознавания написанного.

Преимущественно средство визуальной обратной связи включает в себя средство для производства на мониторе графического моделирования символьного компонента в ответ на выделенный сигнал. Графическое моделирование преимущественно может модифицироваться в ответ на последующий сигнал последовательности для символа.

Графическое моделирование преимущественно включает далее индикатор относительно положения чертежного средства на чертежной поверхности. Индикатор может включать в себя изображение, отображенное на конце или вблизи конца самого последнего компонента графического моделирования. Альтернативно, индикатор может включать изображение, которое движется вблизи графического моделирования символа в ответ на движение чертежного средства.

Обратная связь может быть хорошо произведенной анимацией формы рукописного символа, которая во время ее формирования реагирует на входящий поток распознаваемых элементов или сигнальных кодов.

Компьютер или устройство ввода кажется пользователю взаимодействующим в процессе письма и производящим символы на экране по побуждению, обеспеченному движениями пальцев.

Конечно, символы, показанные на экране, не являются образцами действительного местоположения или формы движения пальцев, но являются синтетическими изображениями намерения пользователя и просто направляют пользователя в процессе ввода. С пользовательской точки зрения символы кажутся появляющимися, как будто написанные пользователем при содействии компьютера.

Такие символы могут создавать отображение завершенного слова, например, в стандартном, разборчивом, слитном рукописном письме, каждый символ которого был произведен по последовательности простых элементов, произведенных работой устройства ввода или выделенных из работы устройства ввода.

Когда пользователь поднимает перо или сигнализирует конец слова подходящим образом, тогда процессор незамедлительно может заменить рукописные символы тем же словом, отображенным в выбранном шрифтовом наборе, подходящем к применению или прикладной программе.

В отличие от систем анализа почерка прежнего типа, которые вводят информацию, описывающую символ, который нарисован, и выполняют извлечение характерных особенностей (обязательно независимых от масштаба и скорости), сопровождаемых сравнением с накопленной библиотекой возможных форм, отдельных движений и их взаимосвязей, как пространственных, так и временных, для обеспечения максимально хорошей подгонки к одному символу полного символьного набора и, отсюда, к распознанному коду для символа, система представленного изобретения является системой прямого кодирования, где движения, генерирующие символ, который нарисован, сопоставляются с единственным образцом таким образом, что соответствующие движения непосредственно производят элементы кода, который идентифицирует символ полностью к тому времени, когда символ завершается. В момент, когда символ завершается, распознающий код был полностью создан и не требуется дальнейшего анализа или обработки для распознания.

Преимущественно распознавание происходит символ за символом в реальном времени. Один или более элементов движения или усилие являются преимущественно единичными векторами.

Преимущественно анализ движений или усилий по элементам производится с помощью квантования вышеназванных движений или усилий в один или последовательность единичных векторов. Эти элементы являются преимущественно независимыми от скорости, являются преимущественно независимыми от масштаба и являются преимущественно фактически независимыми от деформаций или вариаций в символе, который воспроизведен.

Преимущественно элементы образуют набор, общий для всех воспроизводимых символов, набор которых не содержит элементов, специфичных только для одного или нескольких символов.

Сигнал преимущественно может распознаваться компьютером или каким-либо другим устройством обработки информации, к которому подключается устройство, посредством чего символ может отображаться на визуальном блоке индикации, управляемом компьютером, или может обрабатываться тем же способом, что и ввод символа с клавиатуры.

Если устройство ввода было активировано движениями, подобными тем, которые используются при письме, тогда это могло бы обеспечить метод ввода символов и текста в компьютер без необходимости приобретения совершенно новых навыков.

То, что здесь описывается, является устройством, обеспечивающим метод анализа, который является механическим или автоматическим и не требует косвенного процесса анализа и сравнения для создания уникального кода для символа по сравнению с прежним типом.

Эта автоматическая генерация уникального символьного кода может быть упрощена с помощью визуальной обратной связи по отображению распознанных элементов символа, которые синтезированы по сигналу с устройства ввода.

Автоматический, подобный ключу способ выделения кодированного сигнала по движениям пальцев приводит к относительно простым и недорогим устройствам ввода, одновременному с завершением рукописного символа распознаванию, низкой потребности компьютерной мощности, естественным символьным формам и прост в изучении и использовании по сравнению с прежним типом.

Таким образом, описанное здесь изобретение позволяет осуществлять ввод данных в компьютер или другую систему с помощью естественных движений пальцев, применяемых в написании, используя простые и дешевые устройства ввода с высокоскоростным распознаванием и визуальной обратной связью.

Существует преимущество для детектирования движения по мере того, как оно производится, в отличие от анализа пространственного образца завершенной рукописи. Движение ручки, когда пишется кружок буквы “а” отличается от движения, когда пишется кружок буквы “р”, хотя результирующие формы весьма похожи. Круг “а” обычно производится обратным направлению часовой стрелки движением, в то время как круг “р” обычно производится в направлении по часовой стрелке. Это различие исчезает, если результирующий рукописный символ рассматривается после того, как он был написан. Тем не менее, если почерк анализируется динамически по мере того, как происходит написание, тогда полученная информация значительно полезнее. Будет приниматься во внимание то, что опорные моменты для детектирования движения включают определение приложенных усилий в генерации вышеназванных движений.

В предпочтительном исполнении чертежное средство будет удерживаемой ручкой или подобным устройством, посредством чего ручка или часть ее может двигаться для воспроизведения символов.

Предусмотрено, что чертежное средство изобретения будет иметь часть, которая может перемещаться относительно реального или воображаемого образца, когда воспроизводится символ, и что чертежное средство будет включать средство для детектирования вышеназванного движения относительно образца. Образец может включаться в само чертежное средство или может быть отдельным от него. Существует множество способов, в которых может детектироваться движение вышеназванной части чертежного средства.

Например, можно иметь образец, вокруг которого может перемещаться вышеназванная часть чертежного средства, вследствие чего контакт этой части чертежного средства на сенсоре в особой части образца будет указывать направление движения, и снова одно движение или последовательность движений будут генерировать сигнал, соответствующий символу, воспроизводимому такими движениями.

Обсудим другое средство, подразумевающее ручку, имеющую тело, пишущий кончик и реальный образец, образец может быть отдельным от ручки, как, например, на поверхности, может быть закрепленным на теле ручки или может быть закрепленным на кончике. С другой стороны, для ручки, имеющей тело и пишущий кончик, движение одного из них или обоих может быть относительным к воображаемому образцу, связанному с телом, кончиком или отдельной поверхностью.

Средство для детектирования движения чертежного средства или этой его части может включать контактные переключатели, магнитные или емкостные датчики, оптические кодировщики, световые детекторы, устройства смены напряжения, устройства пьезоэлектрической кристаллической активации или какие-либо другие подходящие средства.

Система изобретения преимущественно включает средство для сигнализации завершения чертежного символа. Завершение может сигнализироваться отрывом чертежного средства от чертежной поверхности. Альтернативно, завершение символа может индицироваться уникальным движением чертежного средства относительно этого символа. Другим альтернативным способом может быть указание на завершение символа движением одного из чертежных средств и изображение, указывающее чертежное средство, к определенному положению, возможно, на чертежной поверхности или области, определенной на мониторе.

Режим анализа, предусмотренный изобретением, фактически связан с временными характеристиками мускульного действия в отличие от пространственных характеристик завершенной рукописи. Уместно заметить, что вся коммуникация происходит через среду мускульного действия, либо речь, язык тела, прикосновение, действие, рукопись, либо печать. Первое материальное выражение мыслей производится всегда за счет мускульного действия. Это изобретение нацелено на допущение того, чтобы связь с компьютером имела место на уровне нейромышечной способности писать.

Будет приниматься во внимание, тем не менее, что существует чрезмерный избыток, представленный в рукописи. Хотя почерк может быть изучен в единообразном виде, вариации и приукрашивания добавляются по мере того, как человек развивает свои рукописные способности, так что хотя буквы и слова могут распознаваться чрезвычайно сложно, например, для компьютерного сканирующего устройства выделить необходимые символы из-за индивидуальных вариаций и украшений.

Таким образом, предпочтительной задачей устройства является возможность воспроизводить символы как единичные векторы. Другими словами, каждый символ по мере того, как он рисуется с использованием устройства изобретения, преимущественно производит сигнал для этого символа как один или последовательность шагов. Это может достигаться путем лимитирующей или ограничивающей регистрации движения до одного или серии квантованных шагов или единичных векторов.

Важно осознавать, что сигналы, которые единственно описывают позицию, движение или местоположение ручки или движущейся части устройства просто обеспечивают копию этого движения и так далее в электронном, электрическом и так далее виде. Они сами по себе не могут упростить логическое распознание введенной буквенной или символьной формы.

То, что это изобретение позволяет сделать, так это автоматическое превращение движения и так далее в квантованную форму. Это означает, что движение разделяется на шаги, которые указывают временную последовательность единичных векторов, характеризующих движение, и так далее. Сами шаги не описывают точка за точкой и момент за моментом движение, которое происходит в результате рисования символьной формы. Они скорее являются результатом анализа движения и так далее, который указывает серию единичных векторов. Эта серия единичных векторов не может быть использована для реконструкции оригинальных движений пальцев, поскольку вся избыточная пространственная и временная информация отвергается в процессе детектирования последовательности единичных векторов. Все, что остается – последовательность единичных векторов и символ из единичных векторов.

Символ из единичных векторов будет зависеть от конструкции устройства. В случае физического квадратного образца единичные вектора могли бы характеризоваться, например, как вверх, вниз, налево или направо.

Временная задержка между одним единичным вектором и следующим неважна и является отбрасываемой информацией. Все, что имеет значение для распознания – последовательность, то есть налево, затем вниз, затем направо, затем вверх для рукописной формы буквы “а”.

Следовательно, способ вывода единичных векторов не имеет отношения к масштабу, или величине движения, или форме буквы. Та же последовательность тех же единичных векторов получается от большой “а”, что и от маленькой “а”. Кроме того, обеспечивается, что физические движения, которые активируют движение или положение детекторов, меньше, чем самый малый рисуемый символ, последовательность единичных векторов будет той же самой для широких вариаций или искажений в форме оригинального символа, буквы или в результирующем движении.

Следует отметить, что такое семейство единичных векторов (в простом случае: ВВЕРХ, ВНИЗ, НАЛЕВО, НАПРАВО) может представлять все символы, вводимые в компьютер и так далее движениями пальцев.

Другими словами, каждое и всякое число, буква и так далее может анализироваться по последовательности того же набора или семейства единичных векторов. Уникальность символа состоит в последовательности единичных векторов, которая представляет собой уникальный код для символа. Различные символы не требуют анализа по уникальным индивидуальным особенностям, как в предыдущем типе.

Анализ оригинального движения по единичным векторам проводится в соответствии со схемой, которая сопоставляет движение с расположением детекторов, размещенных в фиксированном отношении к реальному или воображаемому образцу. Это позволяет сопоставить движение с геометрией образца таким образом, что соответствующее движение будет иметь результатом одиночный сигнал или часть сигнала, который показывает характерное направление или движение на этой стадии рисования буквы или символа и так далее.

Например, раз движущаяся часть зашла за верхний предел детектирования, единичный вектор покажет просто “вверх” до тех пор, пока движущаяся часть снова не вернется в рамки детектирования по направлению, когда это могло бы сопровождаться вектором “вниз”. Точно так же с горизонтальным движением. Этот подход, естественно, приводит к описанию действия устройства с точки зрения образца.

Образец просто является геометрией, которая определяет связь единичных векторов, и может быть физической формой, то есть квадратной апертурой, в пределах которой кончик пера и так далее движется, или он может быть воображаемым и является просто пространственным образцом пределов переключения детекторов в двух измерениях, или он может быть включен в анализирующий движения процессор, который соединен с устройством ввода, передвигаемым пальцами.

Любая схема приводит к практическим устройствам, которые преобразуют движение пальца и руки, знакомые нам как почерк, в кодовые сигналы, которые могут распознаваться логически как соответствующие изображенному символу.

Для точности кодирования и устранения неточностей, вносимых персональными приукрашиваниями, пишущий может руководствоваться визуальной обратной связью по изображению на экране монитора и может выбирать естественные формы символов, которые могут быть быстро и просто изучены.

Таким образом, устройство позволяет осуществлять “печатание” или ввод текстовой информации в компьютер или другое автоматическое устройство текстовой обработки (например, пишущая машинка, портативный банк данных или дневник и так далее) при рукописных скоростях или быстрее без необходимости изучать значительно более средства наборной печати с использованием обычной клавиатуры.

Принцип работы основывается на квантовании движения и не должен путаться с анализом почерка, который приводит к автоматическому распознаванию формы нормального персонального почерка (или даже распознание ограниченного или определенного, или стилизованного набора символьных форм) путем анализа их комплексной действительной формы.

В основу изобретения положена задача регистрации образца либо реального, либо воображаемого – движением устройства как единичных векторов, но необязательно сводить движение устройства к форме единичного вектора, посредством чего может производиться распознаваемый сигнал, соответствующий этому символу.

В предпочтительных формах изобретения связь между образцом и частью или частями устройства будет гибкой, посредством освобождения устройства от проведения форсированного углового, прямоугольного или линейного движений. Другими словами, путем введения гибкой связи между относительно подвижными частями устройства или между подвижной частью устройства и образцом устройство может следить как за прямыми, так и за кривыми линиями, тогда как такие движения будут детектироваться как движения по прямой линии или усилия, производящие единичные векторы.

Таким образом, предпочтительное устройство изобретения имеет способность при формировании символа детектировать движения, по крайней мере, части его, как один или последовательность единичных векторов для выработки сигнала, соответствующего символу, даже тогда, когда символ не воспроизводится в формате, ограниченном геометрией образца.

Гибкая связь может принимать любую подходящую форму. Например, когда кончик перьевого устройства должен быть подвижным относительно тела устройства, гибкая связь может обеспечиваться одним или несколькими эластичными элементами, связывающими кончик с телом.

Разнообразные суждения могут приниматься во внимание при выборе типа реального или воображаемого образца.

В одном преимущественном исполнении образец может быть в виде ограждения, имеющего на разнесенных позициях вблизи его периферии средства для детектирования движения вышеназванной части устройства от одной точки до другой вблизи периферии ограждения. Ограждение может быть любой подходящей формы, но предпочтительно будет квадратом или кругом. Предпочтительно четыре позиции детектирования будут обеспечиваться на равноудаленных расстояниях.

Перемещаемая часть устройства может быть стержнем или подобным устройством и ее движение от одной точки детектирования до другой может быть определено любым подходящим сенсорным средством, таким, как уже предложенное выше.

В другом предпочтительном исполнении образец может быть в виде ограниченного следа, вокруг которого может двигаться перемещаемая часть устройства снова с разнесенными точками детектирования, как в первом предпочтительном исполнении.

Еще в одном предпочтительном исполнении образец скорее воображаемый, чем реальный, и может реализовываться в процессоре, запуская необходимое математическое обеспечение, и движущаяся часть устройства может детектироваться как находящаяся в соответствии с образцом. Таким образом, устройство этого предпочтительного исполнения изобретения будет включать средства для регистрации движения вышеназванной движущейся части, как если бы она отслеживалась образцом. Таким образом, устройство может быть приспособлено для выработки выходных сигналов, когда движение, по крайней мере, части его, переходит за воображаемую границу воображаемого образца.

Будет приниматься во внимание, что эти сигналы указывают основные изменения в направлении, которые сопоставимы с образцом, или рядом направлений, или осей. Можно получить сигналы, указывающие единичные вектора, как изменения в скорости или других производных по времени, а также как изменения направления или положения. Такое дифференцирование пригодно для применения этого изобретения к обычному компьютерному указывающему оборудованию.

Например, поток данных от показывающего компьютерного устройства, такого, как мышка, трассировочный шарик, ручка и планшет и так далее, указывает относительное положение пальцев момент за моментом. Если этот поток данных анализируется компьютером или предназначенным для этого процессором таким образом, что отклонения от положения пальца сопоставляются с воображаемым образцом, закодированным в алгоритме, запомненном компьютером, или процессором, или в его ассоциативной памяти как образец пределов отклонения в двух измерениях, движения за эти пределы или соответствие с границами образца могут запускать генерацию последовательности сигналов, показывающих единичные векторы, которая кодирует однозначно для символа, нарисованного пальцами, перемещающими мышь, трассировочный шарик, ручку и планшет или другое указывающее устройство.

Это изобретение теперь будет описываться дальше только на примере со ссылкой на сопутствующие чертежи, на которых:

фиг.1 схематически показывает систему для записи в компьютер;

фиг.2А и 2Б показывают возможную компоновку для перьевого устройства изобретения;

фиг.3А и 3Б показывают возможное движение тела ручки по фиг.2 и результирующую последовательность единичных векторов вблизи образца;

фиг.4 показывает альтернативные формы буквы, каждая из которых может быть воспроизведена одной и той же последовательностью ограниченных движений;

фиг.5 показывает другую возможную компоновку для перьевого устройства изобретения;

фиг.6 показывает последовательность единичных векторов, получающуюся из формообразования буквы;

фиг. 7 показывает разнообразие форм одной и той же буквы, все из которых могут производить последовательность единичных векторов, проиллюстрированную на фиг.6;

фиг.8А-Г схематически показывают работу перьевого устройства, использующего фрикционные усилия между его кончиком и поверхностью;

фиг.9А и 9Б показывают соответствие предполагаемого символа, последовательности единичных векторов и анимационной формы курсивного символа, используемой в визуальной обратной связи;

фиг.10, 11 и 12 – еще одну форму перьевого устройства в соответствии с изобретением;

фиг.13А и 14А являются видами в разрезе еще одной формы перьевого устройства в соответствии с изобретением;

фиг.13Б и 14Б являются сечениями по линиям АA и ББ, соответственно, по фиг.13А и 14А;

фиг.15 иллюстрирует принцип использования виртуального образца в связи с перьевым устройством в соответствии с изобретением;

фиг.16 показывает карманный банк данных с обычной клавиатурой;

фиг.17 показывает карманный банк данных с перьевым устройством изобретения;

фиг.18 показывает диаграмму, иллюстрирующую процедуру синтеза анимационного изображения, отображаемого на экране для обеспечения визуальной обратной связи к пишущему;

фиг.19 показывает поток информации в такой системе, использующей устройство ввода изобретения и метод визуальной обратной связи, описанный здесь;

фиг.20 показывает букву “а”, воспроизведенную с дополнительным движением для индикации завершения, и старт следующей буквы;

фиг.21 иллюстрирует детектирование двойных единичных векторов;

фиг.22 показывает детектирование двойных единичных векторов в изображении буквы “g”;

фиг.23 иллюстрирует получение действующего изображения положения пера по мере того, как рисуется буква;

фиг.24 иллюстрирует получение синтезированного изображения положения пера по мере того, как рисуется буква;

фиг.25 иллюстрирует, как может рисоваться буква, начиная из одной и той же точки;

фиг.26 показывает использование направляющих линий для содействия вводу символа;

фиг.27 иллюстрирует визуальную обратную связь, сопоставленную с действительным движением чертежного устройства;

фиг.28 иллюстрирует экран монитора со специальными областями для сигнализации завершения символа;

фиг.29 иллюстрирует визуальную обратную связь с модификацией по мере того, как детектируются новые единичные векторы.

На фиг.1 сопровождающих чертежей схематически показано исполнение изобретения.

Перьевое устройство 10 содержит образец, который ограничивает движения, производимые автоматически пальцами во время письма вручную, и выделяет из этих движений элементы, которые позволяют компьютеру произвести распознавание. Результатом будет “перо”, которое чувствует последовательность элементов движения в каждом символе, а также дает возможность пользователю чувствовать так, как если бы он писал близким к нормальному способом. Последовательность движений может регистрироваться в электронном виде посредством механических переключателей или оптических, электрических или магнитных датчиков или других средств и последовательностей, декодированных микропроцессором 12 и символов, переданных к компьютеру, как с клавиатуры, и изображенных на визуальном блоке отображения компьютера 14, по мере того, как они распознаются. Альтернативно, последовательность может передаваться непосредственно для простого логического распознавания в течение этого времени.

Принимая эту концепцию на шаг ближе к практической форме, одной из наиболее простых форм образца является квадрат и образец мог бы ограничиваться движением вблизи кончика пера с кончиком пера, удерживаемым неподвижно. Такое перо ощущалось бы как принуждающее писать квадратным почерком. Добавим к этому “математическое обеспечение” или гибкую связь, интегрированную с пером, для возможности написания кружка, например, “а” или “р”.

Такая компоновка, которая показана в сечении на фиг.2A и Б сопутствующих чертежей, позволяет ручке описать круг, по мере того, как образец движется вблизи кончика пера в четырех сегментированных движениях. По мере того, как тело ручки 18 перемещается по кругу пальцами, гибкая связь 20 будет вытягиваться для волочения образца 24 вблизи кончика пера 22. Прилагаемые усилия могут быть довольно малыми, обеспечивая слегка осязаемую обратную связь для руководства пользователем. Так как образец находится в пределах тела ручки и меньше, чем минимальный круг, нарисованный пользователем, образец будет подтаскиваться к сторонам кончика пера слабым усилием растянутой гибкой связи. Относительное движение кончика пера и образца, вследствие этого, ограничено четырьмя возможными сегментами квадратного образца.

Фиг.2Б показывает ручку в состоянии покоя и фиг.2А показывает ручку, движимую в направлении стрелки F.

Эти сегменты могут быть представлены как “единичные векторы”, которые могут быть одним из следующих: up (вверх), down (вниз), left (налево), right (направо) или u, d, I или r. Таким образом, последовательность движений для кружка “а” была бы продетектирована как

l, d, r, u

и последовательность для кружка “р” будет

r, d, l, u.

Фиг.3А и Б показывает соответственно как буква могла бы быть написана ручкой фиг.2, и результирующую последовательность единичных векторов. Эта последовательность единичных векторов будет той же самой с широкой вариацией формы кружков, такой, как показана на фиг.4 сопутствующих чертежей.

На фиг.4, если бы все кружки были нарисованы по часовой стрелке, начиная кончиком пера в вершине справа образца, тогда они все производились бы одной и той же последовательностью единичных векторов

d, l, u, r

и еще пользователь чувствовал бы, что он рисовал кружок произвольной формы.

В практической форме этой ручки тело двигалось бы пальцами, в то время как кончик был бы прижат к поверхности и оставался бы спокойным. Образец мог бы тогда быть интегрирован с телом ручки и внутри нее (типичный эквивалентный размер образца составляет 0,5 мм на сторону) и кончик был бы просто нижним концом стержня, который простирался бы вверх центральной полости ручки и соединялся бы с телом ручки посредством гибкой связи, а следовательно, ограничивал бы движение вблизи сторон квадратного образца. Пользователь чувствовал бы, что он писал почти нормальным способом, в то время как движения пальцев преобразовывались бы в последовательность единичных векторов.

Оказывается, что квадратный образец, например, может однозначно кодировать для всех букв нижнего регистра английского алфавита и для цифр от 0 до 9.

Для того, чтобы это устройство стало полезным в производстве последовательностей движений, распознаваемых компьютером как символы, необходимо исследовать преобразование единичного вектора каждого символа в набор символов a-Z и 0-9. Формы символов по желанию являются интуитивными и простыми. Предлагается писать на нижнем регистре и смещать на верхний регистр (например, с помощью одновременно модифицирующего ключа, установленного на теле ручки). Клавиша смещения обеспечила бы ввод заглавных букв и специальных символов! @ $~& и так далее как с помощью стандартной клавиатуры. Таким образом, написание символа “а”, когда клавиша смещения нажата, могло бы дать “А”.

Другие модифицирующие клавиши, например, “опция”, могли бы использоваться для генерации команд компьютеру.

Заметим, что многие резервные коды единичных векторов имеются в распоряжении для специальных символов, знаков пунктуации и командами.

Например, одиночное движение “влево”, дающее единичный вектор L, могло бы стирать ввод последнего символа с тем же результатом, что и нажатие клавиши “delete” (стирание) на клавиатуре компьютера.

Для определения начала и конца каждого символа сигнал мог бы генерироваться переключателем внутри тела ручки, приводимым в действие давлением кончика пера на поверхность или третьим ключом. Этот ключ нажимался бы во время “написания” символа и отпускался бы в конце символьной последовательности. Действие становится быстрым и автоматическим при небольшой практике. Сигнал конца инициировал бы анализ последовательности единичных векторов, алгоритм просмотра, длящийся несколько микросекунд, и символ затем появлялся бы на экране компьютера.

В другом исполнении этого изобретения конец символа может сигнализироваться легкой паузой (например, пока устройство визуальной обратной связи завершает анимацию предполагаемой формы курсивного символа на экране монитора) и конец слова сигнализируется пишущим поднятием пера от поверхности “письма”.

Компоновка образца показана на фиг.5 сопутствующих чертежей. Квадратный образец 50 имеет сенсорные переключатели 52 (1, 2, 3 и 4) для детектирования положения кончика пера 54 (точнее, центрального стержня) в пределах квадрата. Эти переключатели 52 располагаются в центре каждой стороны образца и каждый переключатель срабатывает всякий раз, когда центральный стержень прижимается к определенной стороне. Это является временной последовательностью переходов этих переключателей, которая сигнализирует движение ручки относительно центрального стержня и кончика ручки.

Это приводит к ограничению в избыточности информации, содержащейся в движении. Так же, как в пространственной области, вариация формы устраняется путем сведения движений к воображаемым единичным векторам (“единичный”, означающий прозрачность абсолютной длины вектора, выделяется только составляющая направления; это достигается конструкцией переключения аппаратурного обеспечения), так и во временной области вариация в синхронизации устраняется путем выделения только порядка переходов переключателей и оставления без внимания приведенных абсолютных временных интервалов; это достигается программированием математического обеспечения.

(Отметим, что размеры центрального стержня и образца могут быть во много раз больше эффективного размера образца. Эффективный размер равен возможному движению центрального стержня или кончика пера в пределах образца. Это обычно может быть 0,5 0,5 мм. Это сопоставимо с движением, производящим прописную “а”, имеющую диаметр около 3 мм).

Последовательность переходов, генерируемая при рисовании “а” с компоновкой фиг.5, будет

2-4+1-3+4-2+3-1+1-3+

(где + обозначает включение переключателя, – обозначает его выключение, цифра, предшествующая знаку, указывает номер переключателя). Это потому, что последовательность для “а”: l, d, r, u, d, начиная у вершины справа образца (смотри фиг.6).

Таким образом, та же последовательность переходов будет генерироваться, если пользователь рисует первую кривую “а” медленно и затем ускоряется или когда он начинает быстро и затем медленно движение вниз. Все это означает относительный порядок единичных векторов.

Следовательно, обеспечив, что миниатюрный квадратный образец внутри ручки меньше минимальной изображенной “а”, все “а”, показанные на фиг.7, будут, следовательно, кодироваться как

2-4+1-3+4-2+3-1+1-3+

независимо от вариаций формы или масштаба.

Вспомним, что пальцы перемещают тело ручки свободно и относительное движение кончика и образца достигаются гибкой связью. Это означает, что изображенный символ может содержать кривые, пока образец движется вблизи кончика пера в серии линейных шагов.

Обращаясь к вопросу о стилизованных формах символов для упрощения распознавания последовательности движений, следует вспомнить, что формы верхнего регистра могут генерироваться автоматически за счет просмотрового алгоритма в ответ на последовательность единичных векторов нижнего регистра плюс ключ смещения или подобный элемент. Важно осознавать, что положение тела ручки является невидимым. Движения пера чувствуются, но невидимы. Перо не “пишет”, оно просто формирует кодовые сигналы для компьютера. Стилизованные символы, которые могут использоваться, являются виртуальными символами. Воображение конструирует свое собственное фондовое изображение символа, полагая, что оно рисуется.

Вместо жесткого позиционирования пальцев над обычной клавиатурой во время наборной печати, перо позволяет осуществлять непринужденную работу. Так как перо не должно перемещаться поперек “страницы” и так как движения могут направляться автоматически за счет тактильной и/или визуальной обратной связи, абсолютно нет необходимости смотреть вниз на перо.

Другим исполнением изобретения является перьевое устройство, схематически показанное на фиг.8А-Г, где его кончик 200 удерживается в контакте с поверхностью “письма” и перемещается по отношению к реальному или виртуальному образцу 202 с помощью фрикционного усилия между кончиком и поверхностью. Она будет сигнализировать направление движения тела ручки по ней при перемещении пальцами и рукой. Фиг.8А-Г показывают, соответственно, перо, движущееся вниз, вверх, налево и направо. Когда кончик движется под действием фрикционных усилий, он соприкасается с контактами 211, 212, 213 и 214, соответственно, и, таким образом, формирует сигналы последовательности единичных векторов. Такое перо свободно движется по поверхности, так же, как обычная ручка.

Таблицы на фиг.9А и 9Б показывают стилизации символов, которые формируют символьный набор, являющийся только одним примером из многих возможных наборов. Оптимальный набор в любом отдельном исполнении изобретения будет зависеть от конструкторской разработки образца и компоновки и логики переключения и взаимосвязи с анимационными последовательностями, выбранными для оптимизации визуальной обратной связи, а также персональных предпочтений.

Этот набор зависит от гибкой связи для создания реального ощущения при рисовании букв. Несомненно, простой квадратный образец не позволит отклонений (хвостов) вверх и вниз. Тем не менее, пальцы производят их автоматически, тело ручки сопровождается пальцами, но центральный стержень находится в пределах квадрата образца. К счастью, каждый символ еще генерирует уникальную последовательность единичных векторов и одновременно кодирует в контрольный компьютер.

Очевидно, что пишущий будет иметь возможность адаптироваться к написанию каждого символа для формирования только единичных векторов, необходимых для безошибочного распознавания. Тем не менее, множество кодов, получаемых из последовательностей единичных образцов, позволяет проводить рисование отдельных символов многочисленными способами. (Смотри пример букв “b” и “g” в наборе фиг.9А и 9Б).

Важнее всего, что визуальная обратная связь будет руководить пишущим без усилий, если разрабатываются элементы анимации, образующие курсивные символьные формы, для подтверждения сложных движений в любой момент времени и служат подсказкой для необходимой последовательности движений.

Вследствие гибкой связи и мысленного представления того, как говорится, что делают его пальцы, эти буквенные формы выглядят вполне естественно.

После небольшой практики, значительно меньшей, чем необходима для получения навыков по использованию обычной клавиатуры со всеми этими символами, составляющие движения не создаются индивидуально, а в быстром автоматическом потоке, по мере того, как мысли проходят через действие написания каждого символа. Скорость может обычно составлять 20 единичных векторов в секунду.

На фиг.10, 11 и 12 показана форма ручки в соответствии с изобретением, в которой ручка имеет тело 60, которое может перемещаться относительно образца 62 в кончике пера 64, который удерживается неподвижно на поверхности. Кончик пера 64 может включать подходящим образом оформленную резинку или подобный элемент, который не проскальзывает относительно стола.

Преимуществом такого исполнения является то, что действительное движение ручки вблизи образца и воображаемое движение кончика пера эквивалентны. С ручкой, описанной ранее, эти движения имеют противоположный смысл и мысленная связь между ними не должна быть изученной. Образец может быть любой желаемой формы с сенсорами движения также любого желаемого типа, как описанный выше или ниже.

Другое усовершенствование, которое может быть использовано для образцов с четырьмя переключателями и более сложных образцов, может генерировать сигналы начала и конца символа по переключателям образца. Сигнал начала может включаться всякий раз, когда включается, по крайней мере, один из переключателей образца, и может выключаться всякий раз, когда выключаются все четыре переключателя образца. Это определяет начальную точку для кончика пера в центре образца. Если, кроме того, кончик пера является перескакивающим в центр, то есть, автоматически возвращается в центр после каждого возвратно-поступательного движения либо за счет поднятия ручки, либо просто за счет ослабления давления, тогда процесс передачи символа становится проще и автоматическим. Логика начального сигнала может осуществляться электроникой.

Могут быть сконструированы более сложные образцы, где свобода движения кончика пера больше. Аналогией была бы возрастающая сложность кулис переключения, содержащей механизмы машины, по мере того, как возрастает количество механизмов.

Когда используются физический или реальный образец, эффективный размер квадратного образца может быть ограничен до относительного движения тела ручки и центральный стержень или кончик пера является произвольно малым. Единичные векторы могут тогда распознаваться с помощью датчиков давления или механизмов натяжения на каждой из четырех сторон образца.

Сигналы начала/конца символа могут быть получены логически по сигналам образца.

Степень гибкой связи желательна такой, чтобы позволить провести очень слабое движение ручки при давлении пишущих пальцев. Это может достигаться посредством формовки кончика пера из резины или подобного материала и/или путем создания в движении слабого сжатия на датчики давления или какой-либо другой подходящей позиции.

Движение ручки в этой компоновке не ограничено, таким образом, непременно квадратным образцом, тем не менее, сигналы от датчиков будут сообразны с теми же самыми кодовыми последовательностями для тех же символов.

Контроль письма может осуществляться с помощью звуковой обратной связи, генерируемой схемами распознания вектора. Например, когда пальцы следуют за движениями частной стилизации, звуковой сигнал может генерироваться по мере того, как завершается каждый вектор, частота звукового сигнала устанавливается уникальной для каждого вектора. После небольшой практики эта обратная связь могла бы приглушаться или отключаться. Появление ошибки (нераспознанной последовательности) для индивидуального символа могло бы переключать эту особенность назад на предопределенное количество следующих символов, закрепляя, таким образом, процесс обучения. Так же тогда, когда набирается знакомый номер на тональном телефоне, ошибка немедленно “звучит” ошибочно, а знакомые группы номеров звучат правильно.

Другой обратной связью для упрощения как обучения, так и нормальной работы устройства могла бы быть визуальная индикация самих векторов по мере того, как они создаются, для описания символа. Большинство компьютерных мониторов, работающих в режиме обработки слова, используют форму курсора на экране для индикации позиции вставки. Это могло бы быть заменено квадратным представлением виртуального образца, показывающего векторы как стимулированные стороны квадрата (или используется любая альтернативная форма образца). При сигнале конца символа он графически замещался бы кодированным символом и сам перемещался бы на следующую текстовую позицию, готовую для отображения следующего образца векторов.

Может применяться более сложная техника визуальной обратной связи и подтверждения, в которой информация векторной последовательности используется для синтеза графического изображения на экране, которое отображает нарастающий символ, который подразумевается оператором, с использованием занесенной в память программы для определения имеющихся возможностей на каждой стадии для управления формированием вводимого символа.

Такая система визуальной обратной связи иллюстрируется на фиг.18, которая должна читаться как блок-схема. Здесь путь, в котором символы, всегда начинающиеся с единичного вектора “вверх” (выбранного для примера), могут воспроизводиться на экране монитора по мере того, как прогрессивно развивающееся изображение вводимого символа иллюстрируется в синтезированной, явной, стандартной, курсивной форме (представленной в квадратах).

На блок-схеме фиг.18 последовательность единичных векторов указывается символами в кружках. Так 1U показывает, что первым единичным вектором является вектор “вверх”. Аналогично, например 6L показывает, что шестым единичным вектором является вектор “влево”.

В точке распознавания, когда система декодирует движение пальцев в уникальную последовательность единичных векторов для специфического символа, тогда в соответствующей точке на блок-схеме фиг.18 распознанный символ указывается квадратом, содержащим соответствующий символ шрифтового комплекта.

Прогрессивная анимация разрабатывает каждый символ по мере того, как пальцы перемещаются в рисовании символа, а также задержки устройства ввода, которое преобразует эти движения в последовательность единичных векторов. Это тот поток единичных векторов, который определяет анимационный процесс. Таким образом петля обратной связи замыкается, обеспечивая совершенно новый метод ввода рукописной информации в компьютер или подобное устройство.

Другими словами, глаз видит форму символа на экране по мере того, как пальцы движутся, в таком виде, как производится последовательность единичных векторов. Компьютер и так далее оказывается взаимодействующим с пользователем в процессе написания символов.

На примере, проиллюстрированном на фиг.18, буквы “l”, “h”, “b” и “t” воспроизводятся и распознаются. Из этого примера можно видеть, что все основные формы символов от “а” до “z” и от “0” до “9” могут аналогично анализироваться по единичным векторам и оживляться на экране монитора.

Важно отметить, что дефиниции буквенных форм с точки зрения единичных векторов связаны функциональным соотношением с последовательностью метаморфоз анимации синтезированных на экране форм курсивного символа. По мере того, как последовательность единичных векторов генерируется автоматически, анимация отзывается развитием буквы через формы, возможные на каждой стадии. Таким образом, в соответствии с фиг.18 форма буквы для курсивной l преобразуется в курсивную форму для буквы h с помощью дальнейшего ввода единичных векторов U R D. Аналогично h преобразуется в форму b после единичного вектора L. Таким образом, разработка курсивного шрифтового набора, применяемого в анимации визуальной обратной связи, содержит структуру основных рукописных движений, которые определены последовательностями единичных векторов (то есть простыми изменениями среднего направления), которые могут детектироваться просто и автоматически.

Таким образом, разработка шрифтового набора визуальной обратной связи и процесс его анимации очень важны. Предусмотрено, что различные такие шрифтовые наборы могут быть разработаны для различных применений, языков, стран и почерков, и пользователей.

Это приводит к устройству, которое позволяет, чтобы написание естественных форм символов просто направлялось визуальной обратной связью, располагая, таким образом, мозг, пальцы, перо ввода или устройство ввода, процессор компьютера, экран монитора и глаз, – все это в одной и той же петле обратной связи.

Фиг.19 показывает эту петлю обратной связи. Поток информации указывается стрелками 406 (1-5). Пальцы 400 пишущего производят движения написания символа, и эти движения детектируются устройством ввода 401, которое автоматически производит сигналы, указывающие единичные векторы, характеризующие изображаемый символ. Эти сигналы подаются к процессору 402, который синтезирует анимационное изображение в ответ на последовательность этих единичных векторов. Анимационный символ изображается на экране монитора 403 и просматривается глазом 404 пишущего. Таким образом, мозг 405 пишущего получает обратную связь в соответствии с разработкой последовательности единичных векторов с точки зрения развития синтезированного изображения, указывающего намерения пишущего, и инстинктивно позволяет корректировать движение пальцев для получения точного компьютерного распознания изображенного символа.

Процессор компьютерного распознания вводится, таким образом, в полную петлю обратной связи, включая пользователя. Это находится в полном отличии от предыдущего типа, где обратная связь состоит только из воспроизведения действительных движений пальцев на экране монитора и не включает сам процесс распознавания.

Конец каждого символа сигнализируется в этом примере легкой паузой в движении пера, показанной на фиг.18 буквой Р в кружке. Тем не менее, экранная анимация может производить соединенный сверху курсивный почерк посредством простого процесса запомненных инструкций, отвечающих за последовательность единичных векторов и оживляющих соединительные связи между буквами.

Необходимо заметить, что процесс анимации может предоставляться пользователю с помощью непрерывно движущейся курсивной линии на экране монитора в ответ на сигналы от устройства ввода, которые сами по себе могут быть разрывными по времени. Глаз видит то, что ум предполагает, а не то, что делают пальцы. Спустя очень короткий период использования процесс может стать фактически автоматическим и естественным.

В конце каждого слова перо или устройство ввода может подниматься вверх (так же, как при нормальном письме на бумаге) для активации сигнала (производимого автоматически от переключателя или другого чувствительного средства) к системному процессору, чтобы инициировать преобразование полного курсивного изображения написанного слова на экране в соответствующие символы шрифтового набора прикладной программы и так далее, которая является предметом ввода данных.

Следует заметить, что каждый символ распознается в паузе после того, как был введен последний единичный вектор. Другими словами, пользователь будет делать паузу вскоре после завершения каждого символа, в то время как процессор завершает анимацию курсивной символьной формы на экране монитора. Это изображение курсивной символьной формы уже является продуктом процесса распознавания и было получено по уникальному коду единичных векторов, уже введенному в систему, и не должны путаться с курсивными формами, указывающими действительно нераспознаваемые движения пальцев, отображенные в изобретениях прежнего типа.

В этом примере курсивная форма отображается на экране до тех пор, пока не будет заверено все слово, для упрощения полезной обратной связи к пишущему.

Следует понимать, что курсивная буквенная форма, синтезированная и отображаемая таким образом, опирается на функциональную взаимосвязь с движениями пальцев, используемыми в написании символа. Не было бы столь же полезно отображать символы “печатного” шрифтового набора в этом месте.

Структура синтезированных символьных форм основывается на единичных векторах, которые характеризуют соответствующие письменные символы. Эта взаимосвязь может быть видна на примере блок-схемы фиг.18.

Обратная связь, таким образом, руководит пишущим наиболее естественным способом для ввода правильной последовательности единичных векторов, умышленно не обращая внимания на этот уровень анализа.

Как только полное слово завершается, система имеет всю информацию, необходимую для отображения распознанных символов в окончательном виде “печатных” символов шрифтового набора для составления полного печатного слова.

Просто освоить компьютерные обучающие программы для введения нового пользователя в структуру стилизаций символьного набора, использующую графику и обратные связи, аналогичные описанным выше.

Можно использовать виртуальный образец как противопоставленный физическому образцу. Распознавание символов в системах с физическим образцом упрощается за счет упрощения движения с помощью физической границы образца и посредством результирующего сведения этого движения к независимым от масштаба и скорости последовательностям единичных векторов.

Тем не менее, еще возможно дальнейшее усовершенствование, в котором ограничение движения физическим барьером заменяется воображаемым пределом для регистрации этого движения. Если движения только распознаются сенсорами в направлениях, параллельных сторонам воображаемого, нефизического образца и если эти движения квантуются сенсорами и/или связанными с ними электронными устройствами и алгоритмами до специфического предела возвратно-поступательного движения и если этот предел меньше минимального изображенного символа, тогда результат будет тем же для тех же стилизаций символов, что и с физическим образцом.

Это привело бы к разработке физически более простых и быстрых ручек или контактных экранов, чувствительных к движениям пишущего штифта или пальцев, и позволило бы изобретению работать с использованием имеющихся теперь в распоряжении для компьютеров устройств ввода, таких, как мышь, трассировочный шарик, пальцевая подушечка, чувствительный к прикосновению экран, чувствительный к давлению экран, перо, цифрующий планшет и тому подобных.

Другие усовершенствования изобретения описываются ниже со ссылкой на фиг.20-29 сопутствующих чертежей.

Вводимые символы определяются с точки зрения движений, необходимых для формирования соответствующей последовательности единичных векторов. Вследствие этого, предопределенные стили символа предполагаются заранее. Эти символы могут быть очень близкими и в большинстве случаев идентичными естественным формам символов. Символы могут определяться в терминах единичных векторов таким образом, что каждый символ представляется последовательностью единичных векторов, которая не является срезом какой-либо более протяженной последовательности единичных векторов для другого символа. Это может позволить проводить непрерывный ввод (например, в пределах слова) без необходимости сигнализации каким-либо способом завершения символа. Таким образом, завершение символа может сигнализироваться последним единичным вектором определенной последовательности для этого символа.

Пример такого набора единичных векторов

a=rldrud, затем r для начала

b=uddurdl, затем r для начала

c=rldr, затем r для начала

d=rldruudd, затем r для начала

e=ruldr, затем r для начала или ruld, затем r для начала

f=uddu, затем r для начала

g=rldruddl, затем r для начала

h=uddurd, затем r для начала

i=d, затем r для начала

j=dl, затем r для начала

k=uddrl, затем r для начала

1=udd, затем r для начала

m=dudud, затем r для начала

n=dud, затем r для начала

o=rldru, затем r для начала

p=dduurdl, затем r для начала

q=rldudd, затем r для начала

r=duudr, затем r для начала

s=rudl, затем r для начала

t=udrld, затем r для начала

u=drud, затем r для начала или dru, затем r

v=du, затем r для начала

w=dudu, затем r для начала

х=r1, затем r для начала

y=druddl, затем r для начала

z=rlrdl, затем r для начала

Фиг.20 показывает анимационное экранное изображение, соответствующее движению чертежного устройства в рисовании буквы “а” в соответствии с вышеприведенным набором единичных векторов. Последнее движение НАПРАВО сигнализирует завершение уникального невстроенного кода для “а” и, следовательно, конец символа. Это может использоваться для визуальной анимации на экране монитора линии, простирающейся до стандартной стартовой позиции для следующего символа.

Сигнализация конца слова может достигаться поднятием пера, активирующим переключатель, или сенсор, или другое устройство, например, нажатие клавиши, или специальной последовательностью единичных векторов, или специальной последовательностью движений.

Единичные векторы могут получаться следующими способами:

– от переключателей, детектирующих движение в перьевом устройстве, как описано выше;

– от превышения порога движения по направлению;

– от превышения порога какой-либо комбинации временных производных движения по направлению;

– от движения от одной определенной области поверхности письма к другой;

– от значительного совпадения с направлением, или осью, или стороной образца;

– по комбинациям вышеназванного.

Здесь значительное совпадение означает, что разрешенные векторные компоненты движения, параллельные направлению, оси или стороне образца, больше, чем компоненты, параллельные ко всем другим определенным направлениям, осям или сторонам образца в системе.

Чтобы упростить рисование и распознавание некоторых символов, может быть выгодно детектировать дублирование единичных векторов. Другими словами, в рисовании некоторых символов единичные векторы могут повторяться один за другим. Обнаружение двух векторов в одном направлении может детектироваться путем размещения двух детекторов с различными порогами детектирования или двух образцов (реального и мнимого) одного за другим, так что движение производит детектирование первого, а затем второго единичного вектора в том же направлении. Это иллюстрируется на фиг.21 и 22 чертежей. На фиг.21 стрелка показывает направление движения чертежного устройства или указателя. Фиг.22 показывает, как это может быть использовано, например, для буквы “g”.

Перьевые и указательные устройства, используемые в сочетании с компьютерами и связанные с изображающими экранами или мониторами, часто используют воспроизведение на экране линии из элементов изображения, которая воспроизводит след или траекторию движения чертежного устройства. Это иногда называется “экранными чернилами”. Такой монитор может использоваться в сочетании с детектированием единичных векторов для руководства пользователем в формировании правильных буквенных форм.

В соответствии с фиг.23 чертежей можно заставить изображение на экране монитора двигаться в ответ на действительное движение чертежного устройства. Изображение 500 может использоваться для появления ближайшего к анимационному шрифтового набора, обеспечивая визуальную обратную связь, как описано выше. Это позволяет пользователю судить более точно о движениях, необходимых для достижения правильного распознавания единичных векторов, которые подтверждены отображением соответствующих анимационных элементов шрифтового набора 501, 502, 503, 504, например, соответствующих вводу нарисованной буквы “о”.

В то время как указывающее устройство перемещается для формирования отображения анимационных элементов шрифтового набора на экране монитора, выгодно индицировать направление движения пера и дать видимость положения пера с помощью процессора, контролирующего монитор, для отображения изображения у конца каждого последующего анимационного элемента шрифтового набора. Это изображение не должно смешиваться с изображением, которое соответствует действительному движению чертежного устройства и представляет его. Фиг.24 иллюстрирует последовательность изображений, которая является результатом ввода буквы “о”. Изображение 520 появляется у конца каждого анимационного элемента шрифтового набора 521, 522, 523 и 524 по мере того, как вводится буква “о”.

Выгодно организовать рисование символов так, чтобы все они начинались из одной и той же точки. Это позволяет пишущему заучить наизусть один набор символьных форм, который не нуждается в мысленной пригонке положения пера перед вводом следующего символа. Это приводит к увеличенной скорости письма. Фиг.25 чертежей показывает примеры букв, которые могут быть нарисованы из общего начала.

У конца каждого символа выгодно организовать визуальную обратную связь, чтобы перемещать позицию изображения положения пера (либо действующего, либо синтезированного) из конечного положения символа к стандартной стартовой позиции. Это немедленно приспосабливает предположение пишущего о положении пера для упрощения скоростного ввода следующего символа.

Тот же результат может быть получен путем продвижения экранных чернил к стандартной стартовой позиции или путем вызова анимации элемента шрифтового набора на монитор для перекрытия зазора между конечным положением и следующей стандартной стартовой позицией. Это показано, например, на фиг.20, где финальный единичный вектор направо сигнализирует завершение символа “а” и визуальная обратная связь автоматически производит линию, простирающуюся до стандартной стартовой позиции.

Фиг.26 иллюстрирует формирование направляющих линий на мониторном изображении для оказания помощи в правильном вводе посредством обеспечения индикаций соответствующего относительного масштаба и необходимого движения в сочетании с экранными чернилами или изображением истинного положения пера. Это гарантирует более правильное рисование символов и масштаб, который согласуется с масштабом порогов детектирования единичных векторов.

Использование протяженных векторных изображений для обеспечения визуальной обратной связи является альтернативным способом для руководства пользователем во вводе символов для формирования правильных последовательностей единичных векторов. Продетектированный единичный вектор приводит к тому, что отображаемое изображение движения указывающего устройства замыкается на соответствующее направление и позволяет осуществить ввод линии, воспроизведенной на экране, которая представляет размер движения. Когда направление движения изменяется достаточно для запуска распознавания нового единичного вектора, тогда отображенная линия замыкается на новое направление. Эта визуальная обратная связь позволяет получить видимые изображения предполагаемой формы символа, изображаемой как сегменты прямой линии, соответствующие ступени движения в каждом направлении.

Фиг.27 иллюстрирует метод.

Выгодно использовать специальные области или специальные направляющие линии на экране монитора, используемые в сочетании с экранными чернилами и/или изображением указателя, для сигнализирования конца символа и, следовательно, получения возможности проводить непрерывный ввод (например, в пределах слова) без поднятия перьевого устройства или другой необходимости сигнализирования конца символа и/или для сигнализирования контрольных или модифицированных символов или сигналов. В этом способе, когда изображение положения пера и/или экранные чернила перемещаются в область отображающей поверхности монитора, соответствующей определенной области поверхности письма, или когда ручка входит в определенную область поверхности письма, или когда ручка пересекает определенную линию на любой поверхности, процессором производится сигнал, который указывает конец символа или другое контрольное событие или команду.

Это позволяет проводить быстрый ввод соединенных сверху курсивных символов без необходимости подъема пера или другого сигнала конца каждого символа. Это показано на фиг.28 чертежей, на которой движение экранных чернил или изображения пера в затемненные области 550 сигнализируют конец символа.

Визуальная обратная связь может включать модификацию элементов изображенного символа, когда детектируются новые единичные вектора. Фиг.29 чертежей иллюстрирует этот метод. Стул “h” модифицируется в кружек “b” по детектированию единичного вектора L (налево). Затем кружок “b” модифицируется в завиток “k” по детектированию финального единичного вектора R (направо).

Практическое чертежное устройство для использования в изобретении, которое было создано для проверки эффективности квантования движения для формирования единичных векторов по движениям пальцев при письме вручную, теперь описывается со ссылкой на фиг. 13А и Б и 14А и Б сопутствующих чертежей. Будет приниматься во внимание, что многие формы пера могут быть произведены для использования в этом изобретении и что дополнительно существующие компьютерные устройства ввода могут быть адаптированы к воплощению описанного здесь изобретения.

Эти чертежи показывают ручку 100, имеющую трубчатое тело 102. Проходящим через нижний конец тела является стержень, который смонтирован в центре тела 106 так, что когда кончик стержня удерживается стационарно на поверхности, тело ручки может перемещаться относительно кончика в направлениях, перпендикулярных одно к другому. В теле ручки располагаются четыре источника света 108, каждый из которых находится в средней точке стороны воображаемого квадратного образца. Напротив каждого источника света находится оптическое волокно 110 для детектирования ситуации включения или выключения своего собственного источника света, посредством чего могут генерироваться сигналы для микропроцессорного распознавания. Стержень 104 имеет квадратную плату затвора 112 на своем верхнем конце, которая в состоянии покоя, то есть когда стержень находится в центре на одной прямой с осью ручки, все источники света могут детектироваться своими соответствующими оптическими волокнами 110, но когда тело ручки перемещается относительно стержня, плата затвора перемещается для затенения двух источников света, соответствующих направлению, в котором движется ручка. Фиг.13Б и 14Б, соответственно, показывают затвор в нейтральном положении и в положении, когда ручка была сдвинута к вершине направо. Движение кончика пера ограничивается квадратным образцом 114 в виде апертуры на конце тела ручки, через которую проходит кончик пера. Таким образом, ручка включает средство для детектирования направления движения ручки в формировании символов для генерации сигнала, который может распознаваться микропроцессором или компьютером для формирования символа на экране компьютера.

Если кончик пера имеет встроенную гибкость, пальцы могут производить круговые и искривленные движения, в то время как генерируются сигналы относительно квадратных образцов.

Фиг.15 чертежей схематически показывает перьевое устройство, работающее с виртуальным образцом. Положение кончика пера 150 относительно центра виртуального образца 152 оценивается с точки зрения его координат х, у, как показано. Когда тело ручки перемещается вблизи кончика пера пальцами, воображаемый образец перемещается с телом ручки и является причиной относительного движения между кончиком пера и образцом. Этот след или траектория кончика пера относительно виртуального образца указывается линией 154.

Движение соотносится со сторонами образца, то есть регистрируется как картирование положения кончика пера на образец, получающееся, например, в единичных векторах L D R, которые могли бы декодироваться как символ “с”.

Если обеспечить, что кончик пера перемещается вблизи внешней части образца и образец всегда меньше, чем минимальный изображенный символ, тогда последовательность единичных векторов всегда будет декодироваться для стилизованных форм символа независимо от масштаба и скорости, с которой они рисуются.

Другое исполнение изобретения (фиг.17) состоит из образца, встроенного в портативный банк данных 300, или портативный компьютер, или другое изделие, требующее ввода информации, такое, как видеомагнитофон, карманный калькулятор, телефон, контроллер центрального отопления, моечная машина и так далее. Сенсоры образца активируются движением малого штифта 302, удерживаемого пальцами.

Штифт может быть связан с изделием или прикреплен к нему или может быть сменным или отдельным. Это применение позволит значительно сократить пространство, занимаемое вводом данных, поскольку образец штифта 304 заменит значительно более громоздкую клавиатуру или клавишную панель 310 обычного карманного банка данных 312 (фиг.16), имеющего экран 314. Штифт может складываться вниз, как показано, для экономии пространства, когда не используется. Преимущества этого исполнения изобретения заключаются в том, что изделие может быть сделано значительно меньше по размеру, штифт может использоваться со слежением на экране 314 и может использоваться проще, чем обычно чрезмерно стесненные клавиши клавиатуры, а данные могут вводиться быстрее. Устройство ввода может быть изготовлено при существенно меньших затратах, чем клавиатура или чувствительный к прикосновению экран. Также кабель связи данных между карманным банком данных и так далее мог бы соединяться с компьютером, обеспечивая возможность текстового ввода от встроенного перьевого устройства в компьютер.

Формула изобретения

1. Средство для ввода создаваемого вручную символа в компьютер, содержащее средство для рисования символа, средство для определения характеристик движения при рисовании символа и создания кода для символа в виде последовательности сигналов, зависящей от времени, путем сравнения характеристик или каждой характеристики в то время, как символ рисуется, с определенным набором характеристик, причем каждый сигнал соответствует определенной характеристике, наиболее близкой к фактической характеристике, определенной на каждом, следующим друг за другом этапе движения, и средство визуальной обратной связи, в котором компонента символа показывается с каждым следующим сигналом в последовательности для символа, который создается позиционно, независимо от средства рисования, удерживаемого рукой.

2. Средство по п.1, отличающееся тем, что характеристики движения при рисовании символа являются направлениями движения.

3. Средство по п.1, отличающееся тем, что характеристики движения при рисовании символа являются последовательными позициями.

4. Средство по п.1, отличающееся тем, что характеристики движения при рисовании символа являются последовательными изменениями в скорости или в более высокой производной времени движения.

5. Средство по п.1, отличающееся тем, что характеристики движения при рисовании символа являются последовательными компонентами формирования символа.

6. Средство по любому из пп.1-5, отличающееся тем, что визуальная обратная связь содержит средство для отображения создаваемого символа, выполненное с возможностью отображения этап за этапом, в соответствии с последовательностью сигналов, зависящих от времени, созданных, когда создаваемый вручную символ рисуется.

7. Средство по п.1, отличающееся тем, что визуальная обратная связь выполняет автоматическое отображение символа в выбранном шрифтовом наборе, который создается и отображается этап за этапом, при этом каждый этап соответствует одному из сигналов кодовой последовательности для символа, который рисуется и в той же самой последовательности как кодовая последовательность.

8. Средство по п.1, отличающееся тем, что средство визуальной обратной связи содержит средство для отображения созданного символа и определяется этап за этапом, в соответствии с последовательностью сигналов, созданных в то время, как созданный вручную символ рисуется, и при этом каждый этап отображения зависит от предшествующего сигнала или последовательности сигналов символа, который рисуют.

9. Средство по п.1, отличающееся тем, что движения средств рисования выделяются как единичные вектора.

10. Средство по п.2, отличающееся тем, выделенные изменения направления являются независимыми от скорости.

11. Средство по п.2, отличающееся тем, что выделенные изменения направления являются независимыми от масштаба.

12. Средство по п.2, отличающееся тем, что выделенные изменения движения являются независимыми от деформаций или от вариаций в символе, который воспроизведен.

13. Средство по п.1, отличающееся тем, что распознавание осуществляется символ за символом в реальном времени.

14. Средство по п.1, отличающееся тем, что содержит средство для изображения на мониторе распознанного символа.

15. Средство по п.1, отличающееся тем, что содержит средство для обеспечения визуальной обратной связи, соответствующей символу, вводимому по мере того, как выделяется каждый сигнал.

16. Средство по п.15, отличающееся тем, что средство обратной визуальной связи содержит средство для создания на мониторе графического моделирования символьного компонента в ответ на выделенный сигнал.

17. Средство по п.16, отличающееся тем, что графическое моделирование изменяется в ответ на последующий сигнал последовательности для символа.

18. Средство по п.16, отличающееся тем, что графическое моделирование содержит индикатор положения средства для рисования на поверхности для рисования.

19. Средство по п.18, отличающееся тем, что вышеназванный индикатор содержит изображение, отображенное у или вблизи конца последнего компонента графического моделирования.

20. Средство по п.18, отличающееся тем, что вышеназванный индикатор содержит изображение, которое движется вблизи графически смоделированного символа в ответ на движение средства для рисования.

21. Средство по п.16, отличающееся тем, что содержит средство для отображения на мониторе символа, как его репродукции.

22. Средство по п.1, отличающееся тем, что включает средство для сигнализирования завершения символа.

23. Средство по п.22, отличающееся тем, что средство для рисования выполнено с возможностью сигнализирования завершения символа путем поднятия средства для рисования от поверхности для рисования.

24. Средство по п.23, отличающееся тем, что где завершение символа указывается единственным движением средства для рисования, относящимся к этой букве.

25. Средство по п.23, отличающееся тем, что завершение символа указывается движением одного из средств для рисования и изображением, указывающим движение средства для рисования к определенной позиции.

26. Средство по п.25, отличающееся тем, что вышеназванной определенной позицией является область поверхности для рисования.

27. Средство по п.25, отличающееся тем, что вышеназванной определенной позицией является область, определенная на мониторе.

28. Средство по п.1, отличающееся тем, что средство для рисования содержит удерживаемое рукой устройство, перьевое устройство.

29. Средство по п.28, отличающееся тем, что устройство имеет часть, которая выполнена с возможностью перемещения вблизи образца во время воспроизведения символа.

30. Средство по п.29, отличающееся тем, что указанная часть выполнена с возможностью перемещения относительно воображаемого образца.

31. Средство по п.29, отличающееся тем, что средство для рисования содержит полую часть тела, перемещаемую около реального или воображаемого образца в пределах полой части тела.

32. Средство по п.29, отличающееся тем, что по меньшей мере, одна перемещаемая часть устройства и остальная часть устройства и/или образец гибко связаны.

33. Средство по п.32, отличающееся тем, что, по меньшей мере, одна перемещаемая часть устройства является кончиком, перемещаемым относительно тела устройства, при этом одной или более гибкими связями оказывается влияние на движение кончика относительно тела.

34. Средство по п.29, отличающееся тем, что включает средство для распознавания направления движения вышеназванного устройства или части его относительно реального или воображаемого образца в воспроизведении символа.

35. Средство по п.34, отличающееся тем, что средства распознавания пространственно разнесены вблизи вышеназванного реального или воображаемого образца.

36. Средство по п.33, отличающееся тем, что чувствительные средства выбираются из электрических, фотоэлектрических и магнитных чувствительных средств.

37. Средство по п.29, отличающееся тем, что образец является, как правило, квадратным обрамлением.

38. Средство по п.29, отличающееся тем, что образец, как правило, является круглым обрамлением.

39. Средство по п.29, отличающееся тем, что образец определяет след.

40. Средство по п.29, отличающееся тем, что образец имеет множество зон и вышеназванная часть движется от зоны к зоне при воспроизведении символа.

41. Средство по п.1, отличающееся тем, что включает средство для преобразования сигнала для символа нижнего регистра в сигнал символа верхнего регистра.

РИСУНКИ

MM4A – Досрочное прекращение действия патента СССР или патента Российской Федерации на изобретение из-за неуплаты в установленный срок пошлины за поддержание патента в силе

Дата прекращения действия патента: 28.01.2009

Извещение опубликовано: 20.07.2010 БИ: 20/2010