マイクロソフトのEngineering Windows 7 ブログ : input

インク入力と Tablet PC

e7blog — Thu, 21 May 2009 10:04:57 GMT

特定の市場 (医学、教育、基幹業務) 向けに、インク入力/TabletPC 機能を活用してユニークなソリューションを開発している開発者たちの大きなコミュニティがあります。彼らはこの経験に基づき、彼らのエンド ユーザーが PC (通常、スレートや壁掛けPC のようなユニークなフォーム ファクターを持つもの) 上の情報と対話する方法を効率化するために、Windows のソフトウェアを作成しています。今週初め、そのようなソフトウェア メーカー (医療用ソフトウェア) の開発リーダーから「Windows 7では自分たちにとって何が新しいのですか?」という貴重な電子メールをいただいたので、この新機能の概要をまとめてみました。この投稿はチームの複数のプログラム マネージャーが作成しました。--Steven

Tablet PC 入力パネル

私は Windows 7 のコアユーザーエクスペリエンスチームのプログラムマネージャーをしている Jan-Kristian です。私の担当領域の 1 つはペンとタッチのテキスト入力です。これから私たちが取り組んでいるエキサイティングなことについてお話したいと思います。

私たちが略して TIP と呼ぶ Tablet PC 入力パネル (Tablet PC Input Panel) は、任意の Windows アプリケーションへ手書きでテキストを挿入するツールです。これは、テキストの入力に使用できるソフトキーボードも備えています。この入力パネルは、Windows XP Tablet PC Edition の最初のバージョンで登場し、バージョンごとにユーザーエクスペリエンスを着実に向上させてきました。

新しい手書きパッド

TIP での私たちの目標は、できるだけ軽量化し、ユーザーがその使用方法を意識することなく、書いている内容について集中できるようにすることです。Windows Vista の入力パネルで実現した改良に対して、私たちは多くの好意的なフィードバックを得ました。ただし、混乱を招いたり、必要以上に多くの手順を要したりする部分もありました。

Windows Vista の入力パネル – 手書き認識の結果は、手書き入力領域の下部のテキストの小さな吹き出しで示されます。認識を確認するために、この吹き出しを見ていく必要があります。エラーを見つけたら、その吹き出し上をタップして、修正用のウィンドウを表示します。

Vista の遠隔測定とユーザビリティ実験の分析に基づいて、私たちは Windows 7 の向上について 2 つの重要な分野に重点を置きました。

· エクスペリエンスの簡略化 – 手書きは、容易かつ自然に流れるようなエクスペリエンスである必要があります。しかし、私たちは、TIP を使用すると、ユーザーが何を行っているかについて強く意識をせざるをえない、ということを発見しました。手書きされたものと小さな吹き出しの間で視線を素早く動かす必要があり、修正があれば別のモードに入り、しばしば単語全体を書き直すことにさえなります。私たちの目標は、これを簡略化し、より少ない負担で行えるようにすることでした。

· 柔軟性の追加 – 私たちは、入力にマウスやキーボードを使用するときの柔軟性に慣れ親しんでいます。インクベースのモデルはいったん書かれた文章を編集するのが難しく、Windows Vista の入力パネルでの手書きには最小限の柔軟性しかありませんでした。単語間にテキストを挿入したり、単語を置換したりする簡単な方法がなかったのです。私たちの目標は、ペンの機能を使用するときの編集エクスペリエンスを、マウスとキーボードで慣れ親しんだものにより近づけることでした。

新しいモデルの作成

これらの目標を達成するには、手書きパッドを根本的に変更する必要がありました。私たちはさまざまなアイデアを検討し、ユーザーが書いているときに、インクがインプレースでテキストに変換されるモデルを採用することにしました。これは簡単な UI モデルのように聞こえますが、正常な動作をどうするかについて、いつ変換するか、テキストはどれくらいの大きさにするか、どのフォントを使用するかなど、多くの解決すべき問題がありました。自然で効率的な手書きエクスペリエンスを確実に実現するただ一つの方法は、ユーザーからフィードバックを得ることでした。そこで私たちは RITE (Rapid Iterative Testing and Evaluation) メソッドを使用しました。RITE テストは、Age of Empires II ゲームのユーザビリティテストの一部として Microsoft で開発されたサイクルベースのユーザビリティメソッドです。サイクルごとに、ユーザーエクスペリエンスを少しずつ向上させ、それがうまく機能するか再テストします。文書化の準備が整ったと思えるようなデザインの最終決定の前に、私たちはおよそ 20 のサイクルを実施しました。

RITE テスト中に調整した最も重要なものの 1 つは、インクからテキストへ自動変換を行うタイミングでした。変換が早すぎたり遅すぎたりすると、ユーザーエクスペリエンスを低下させます。これを正しく行うには、各シーンの作業の裏で多くのことを行う必要がありました。私たちの最終的なソリューションは、距離のトリガー (自動的にユーザーの平均単語間隔に適応)、認識エンジンの結果に基づいたトリガー、および時間ベースのトリガーを組み合わせたものです。もう一つの問題は文字のサイズでした。私たちは結局、手書きのサイズに一致するよう動的なサイズ変更を使用することにしました。

手書き入力領域の新しいテキストベースの UI によって、対象のテキストにより迅速に到達できるようになります。テキストの表示が 1 か所になったことにより、エクスペリエンスの複雑さが軽減され、入力パネルの高さが低くなります。インクの代わりにテキストを使用すると、手書き入力領域は大幅に柔軟性を増し、望むようにテキストを移動できます。2 単語間に単語を挿入することが、空白に書くのと同じくらい簡単になり、また、必要に応じてスペースが自動で拡大します。

インクからテキストへの変換作業とともに、それに伴う認識されたテキストを編集する自然な方法が必要になりました。これには、ジェスチャが最適なソリューションに思えました。私たちはペンベースの UI を作成していたので、ペンを使用するべきです。私たちはジェスチャを 3 種類（削除、分割 (スペースの追加)、結合）に制限し、ユーザーがこれらの 3 つの操作を紙の上でどのように行うかサンプルを収集しました。そして、収集されたデータに基づいて、ジェスチャを作成しました。このジェスチャを見つけやすくするために、「ジェスチャパネル」を追加しました。これは、入力パネルのタイトルバー上に表示される、いわば対話型の「カンニングペーパー」です。

これらが Windows 7 の新しい手書き入力領域でどのように実現されているかご覧ください。[編注: YouTube と Windows 7 の Windows Live フォトギャラリーを使用]:

Windows 7 – 手書きの概要

手書きパッド: 操作中の新しい手書きパッド。自分の操作した結果が容易にわかるように、アニメーションを使用してどうなるか示します。

スマート コレクション

遠隔測定の結果、Vista で TIP を使用する上で苦労することは、入力した文字の修正であることが判明しました。ある単語を修正するために、すべての文字を書き直さなければならないこともよくあります。Windows 7 では、Microsoft Research の成果を活用し、スマートコレクション機能を設計しました。これにより、単語の修正が非常に高速に行えます。ただ左から右へ単語を修正していけばよく、文字を入力するごとに、Windows は新しい認識を行います。このように抑制された認識により、ほとんどの場合わずかな文字修正で望んだ結果を得られます。

Windows 7 – 手書きのスマートコレクション

スマート コレクション: “Worked” が、たった 1 文字変更しただけで自動的に “Wonderful” に修正されました。単語の左から修正を始めるだけで、望んだ単語にたどり着くまで更新し続けます。

URL の入力

注目に値する手書きパッドのもう 1つの機能: 計測データによると、入力パネルが最もよく使用されているアプリケーションは Web ブラウザーでした。そして、ブラウザーを利用する際、主要なシナリオの 1 つは URL の入力です。

Windows 7 の手書き入力 - URL の修正

URL の入力: 新しい手書きパッドの柔軟性により、URL のパーツがあらかじめ設定されており、URL の入力が容易になります。

URL のセグメントがどのように分離され、そのすべてに対して意味をなす変換候補があることに注目してください。変換候補は、ユーザーの使用頻繁に基づいて決定されます。したがって、「．NET」を何度も選択していれば、それが候補の上位に挙げられ、デフォルトで URL テンプレートに設定されます。また、[挿入] ボタンは、ユーザーが URL を挿入した後にシングルクリックでそこに移動できるよう、[移動] (Go to) に変更されました。

タッチ キーボード

入力パネルには、ペンやタッチで優れた力を発揮するソフトキーボードもあります。私たちが行ったアップデートのいくつかは、可視的な更新だけのように見えるかもしれません。しかし、これらは非常に熟慮されたもので、タッチキーボードのユーザビリティに大きな影響を与えます。たとえば、タッチスクリーン PC は、モバイル状況でしばしば使用されます。これらを暗い画面や光の状態が最適でない画面で確実に使用可能にするには、主要なラベルの色やコントラストによく注意する必要がありました。

Windows 7 のタッチ キーボード

タッチベースのキーボードの使用における課題の 1 つは、触覚的なフィードバックがないことです。その結果、キーがタップされているとき、ユーザーの指がそのキーを覆ってしまうという事実があります。指がキーを覆っていたら、正しいキー (あるいは何かのキー) を打っていることをどうやって知ることができるでしょうか? キーを打つごとに、焦点をテキストフィールドとタッチキーボード間で切り替える必要があるとしたら、ユーザーはタッチ入力にすぐに疲れてしまいます。私たちはユーザーに、「了解」「このキーを打ちました」といったシンプルな、ちょっとした合図を送りたいと思いました。採用した方法は、放されたキーに短時間、光のフェードアウト効果を持たせることでした。この光のフィードバックは、目的の (あるいは目的でない) キーを打ったという簡単な確認をユーザーに与えます。

キーボードはマルチタッチをサポートするようになり、[Ctrl] + [C] や [Shift] + [a] などを押すことができます。キーのロールオーバーも有効になりました。これは、指を前のキーから上げる前に、別のキーを押すことができるということです。これにより、はるかに自然な入力エクスペリエンスが実現されます。[Ctrl] キーを押してから [C] を押すという前置修飾キー (sticky modifier key) モデルをご希望の場合でも、それは引き続きサポートされていますので、どうぞご心配なく。

予測入力および手書き認識の個人用設定

私は Tablet PC 手書き認識チームのプログラムマネージャーをしている Jen です。です。以前の投稿で、私の同僚である Yvonne から新しい手書き認識エンジンに関しての話がありました。今回は、予測入力や個人設定、東アジア言語の新しい認識エンジンなど、認識エンジンの機能を増大させる新機能のいくつかを取り上げます。

予測入力

Tablet PC チームの目標の 1 つは、キーボードの使用が不便あるいは非現実的なときに、テキスト入力をできるだけ効率的にすることです。これを達成するため、私たちは TIP に投資を行いました。私たちは全体的な手書き認識の正確さを向上させ、これと同じテクノロジを活用してソフトキーボードで予測入力を提供しています。予測入力では、入力中の単語について可能性のある単語を完成して提供しますが、次の単語あるいは語句の候補を提示することもできます。

予測入力 – ここでは英語 (米語) 用ソフト キーボードを使用して、単語「Microsoft」を入力しようとしています。最初の 2 つの文字「mi」を入力した後、最初の候補として単語「Microsoft」が提案されます。この候補を選択し、単語「Microsoft」をドキュメントへ挿入することができます。

Windows 7 では、ソフトキーボードで英語、フランス語、イタリア語、ドイツ語、およびスペイン語の予測入力を、1 字単位の入力モードの手書きで繁体字中国語と簡体字中国語をサポートしています。このセクションでは、ラテン語ベースの言語に焦点を当て、中国語などの例は次のセクションで取り上げます。

私たちが予測入力を開発したとき、主な目標はユーザーの入力速度を速めることでした。そのために、予測が適切であるようにする必要がありました。私たちの認識エンジンでは、認識の正確さを向上させるために用語集 (辞書) を使用します。システム辞書は、認識エンジンに搭載されており、任意の言語で最もよく使用される単語の一覧を意味します。この辞書を使用する場合、即座に利用可能な予測を使用してもよいのですが、ユーザー固有のその他の単語 (ユーザーの単語) を追加して、正確さを大幅に向上させることもできます。これにはテキスト収集が関わっています。

私たちは手書き認識を向上させるために、Windows Vista で米国英語と英国英語のテキスト収集 (自動学習) を搭載しました。Windows 7 では、この機能はすべての言語で使用可能です。これにより、電子メールを書くとき、入力する単語に基づいてシステム辞書を自動的に拡張できます。テキスト収集はユーザーごとに実行されるので、データは各ユーザー専用です。テキスト収集の結果から、各ユーザー専用の語彙を含む新しい辞書を構築し、既に通常使用している単語の確率を高めます。この辞書は、手書き認識と予測入力の両方で使用されます。各ユーザーの単語と使用パターンにより辞書を増強した後の結果は感動的なものです。次に入力するつもりの単語を予測する能力は、ほとんど魔法に思えます!

Windows 7 には、ユーザー辞書のサポートも含まれています。これは、システムに追加できる特別な単語リストです。企業は、医学や化学などの分野専用の辞書を開発し、システムに追加できます。たとえば、「acetaminophen」という単語の予測は、これを入力するよりずっと高速です!

東アジアの手書き認識の向上点

著しい改良が、私たちがサポートする繁体字中国語、簡体字中国語、韓国語、および日本語という 4 つの東アジア言語の手書き認識で実現されました。これらの言語は文字セットが大きいため、多くのユーザーにとって、手書きが効率的な入力方式になっています。

東アジアの手書きには 2 つの入力モードがあります。1 字単位モード (ボックスモード) およびフリースタイルモード (ラインモード) です。ボックスモードでは、固定幅のボックスへ一度に 1 文字を入力します。フリースタイルモードでは、ライン上に文字を筆記体で手書きし、文字間隔に注意する必要はありません。どちらのモードを選ぶかはユーザーの好みによります。ボックスモードの方がわずかに制約度が高く、予測入力がより正確で、ラインモードの方がより自然な手書きです。

ライン モードでの繁体字中国語 – 上部ウィンドウにユーザーの手書き、下部ウィンドウに認識されたテキストが表示されています。

これらすべての言語にわたって中核となる認識精度の向上に加え、ユーザーエクスペリエンスを向上させるために、個人設定も使用しています。個人設定の方法の 1 つは、字形コレクターを使用してユーザーの書き方に適合させることです。字形コレクターは、手書き認識に、ユーザー独自の手書きスタイルをトレーニングするためのウィザードです。4 つの東アジア言語では、特定の文字や単語の認識を向上させたり、サポートされていない文字や単語を追加するために、字形コレクターを「トラブルシューティング」モードで使用できます。

さらに、ユーザーが書いたり誤りを修正するときに、学習が行われます。文字を書き、最初に誤認識された場合、候補一覧が表示され、目的の文字を選択できます。この操作に基づいて学習され、ユーザーが次にこの文字を書くときに、最初の候補としてそれが示される確率が高くなります。

Windows 7 では、簡体字中国語と繁体字中国語は、ボックスモードでの予測入力もサポートしています。これらの言語では、個々の文字を書くのに時間がかかるため、予測入力は特に価値があります。ユーザーが 1 字ずつのモードで書くと、全てを書く前に、単語や語句を入力するためのオプションが示されます。下記の場合では、ユーザーは中华人民共和国を入力しようとして、最初の 2 つの文字、中华を入力しただけで、目的とするテキストを予測として得ました。灰色の文字は入力された文字を示し、黒い文字は予測を示します。

この例では予測入力が、2 番目の文字 (华) と同様に始めの 2 文字 (中华) で機能していることに注目してください。他の言語もそうですが、予測入力はユーザー固有の語彙でも機能します。ユーザーが同じ単語を何回も入力すると、認識エンジンはこの動作を学習します。

私たちは Windows Vista 以来、繁体字中国語、簡体字中国語、日本語、および韓国語の手書き認識を大きく改良してきました。改良は、正確さとスループットを向上させることにより、全体的なカスタマーエクスペリエンスを向上することに基づいています。私たちの目標は、ユーザーに、これらの言語のより自然な入力方法、およびキーボード使用とは別の実行可能な選択肢を提供することです。

手書き数式認識

Word で数学の論文を書いたり、Mathematica で演算を行ったことはありますか? そして、「使いやすい入力方式のためなら、何でもするのだが、、、」と思いながら、多くのボタンや複雑な線形のフォーマットを使って数式を作成するのに何時間も費やしたことはありませんか? その願いはかなえられました。私たちは Windows 7 の手書きの向上に加え、インク入力での数式の認識に注力しました。

私は Windows の数式認識のプログラムマネージャーをしている Marko です。数式入力の最も自然で最も効率的な方法、つまり手書き認識を提供する数式入力パネルを紹介したいと思います。私たちはこの問題に対して完全に新しいアプローチをとり、手書き数式認識を機能、パフォーマンス、およびカバーしている分野を、全く新しいレベルにまで引き上げることができました。

数式入力パネル (Math Input Panel、MIP) は、Tablet PC のタブレットとペンを使用するように設計されています。ただし、タッチスクリーン、外部デジタイザー、あるいはマウスなどの任意の入力デバイスでも使用可能です。MIP は、クリップボードを介して、標準化された数学的なマークアップ言語である MathML フォーマットで認識結果を出力します。MIP で手書きされて認識された数式は、完全に編集可能な形式でレプリケート先アプリケーションに出力されます。テキストを編集したいときは、出力に対して挿入したり編集したりできます。

私たちは、可能な限り多くの数学分野と、尽きることのないさまざま数学の表記法を調査したり識別するのに多くの時間を費やしました。最終的に、高校および大学レベルの数学と、さらに高度な分野を広くカバーできました。

数式入力パネル – 上記の例で認識された数式をご存知ですか?これは複雑な分析で使用される Schwarz の公式です!

MIP の使用法は実にシンプルで簡単です。鉛筆と紙で書くように、整形式の数式を書くと認識エンジンに取り込まれます ( は認識されませんが、は認識されるということです)。認識された数式は、プレビュー領域に示されます。誤りが全くない認識エンジンは存在しないので、MIP の優れた能力は、すばらしい修正エクスペリエンスで発揮されます (正直、人間でさえ何が書かれたか分からない時があります。私の手書きをご覧ください!)

手書きの数式が誤認識された場合、その部分 (シンボルやサブ構造全体など、どこでも) を選択して、ドロップダウンリストから候補を選択するか、数式の一部を書き直すことにより修正できます。通常、数式の一部分を修正することにより、自動的に残りの部分が 1 回の手順で修正されます。

数式入力パネルでの修正

この後、行う必要があるのは [挿入] をタップするだけです。それにより、ワープロや計算プログラムで数式を苦労せずに作成できます。

このほかにも、履歴、インクの移動、OneNote のような他のインクアプリケーションから MIP へのインクのドラッグアンドドロップなど、多くの素晴らしい機能があるので、ぜひご自分でお試しください。ソフトウェア開発者のみなさん、MIP を自分のアプリケーションに埋め込むことができます – 詳しくは MSDN のドキュメント.をご覧ください。

Windows 7 手書き入力の認識性能の向上

e7blog — Thu, 05 Mar 2009 18:35:00 GMT

Microsoft は、Windows 3.0 用ペン拡張機能から 15 年間以上手書き認識に取り組んできました。Windows Vista の手書きコンポーネントのさらなる統合および広範な可用性により、 Windows PC によって手書きがさらに多くの場面で使用されてきています。私たちは、学校、病院、銀行、保険など向けのさまざまアプリケーションで手書き機能を使用している多くのユーザーを目にします。この自然な対話方式が新しいシナリオで使用されているのを見ると、私たちはわくわくします。もちろん、私たちが引き続き行う必要があるのは、認識の品質を向上させること、および世界のより多くの言語で認識エンジンを使用できるようにすることです。この投稿では、Yvonne (User Interface Platform チームのプログラム マネージャー) が、Windows 7の新しい認識エンジンおよび認識向上のエンジニアリングに関する分析を提供します。 --Steven

私の名前は Yvonne です。私は、Tablet PC and Handwriting Recognition チームのプログラムマネージャーです。これは、私たちがWindows 7 用手書き認識を向上させるために取り組んだ成果についての投稿です。

Microsoft は 1990 年代初期からペンベースのコンピューティングに投資し続け、Windows Vista のリリースでは、手書き認識エンジンが、米語、英語、ドイツ語、フランス語、スペイン語、イタリア語、オランダ語、ブラジルポルトガル語、中国語 (繁字体と簡字体)、日本語、および韓国語を含む 12 の言語で使用できます。ユーザーの皆様からは、さらに多くの言語サポートの出荷するのはいつか、また、なぜ特定の言語がまだサポートされないのかと、頻繁にご質問をいただきます。私たちは Windows 7 で、ノルウェー、スウェーデン語、フィンランド語、デンマーク語、ロシア語、およびポーランドなどの新しいより多くの言語認識エンジンを出荷するよう計画しています。このリストは引き続き追加されます。では、新しい手書き認識エンジンを開発するために何が必要か考察していきましょう。

Windows は走り書きの手書きでも認識します。特別な書き方を学ぶ必要はありません。実は、私たちが Windows に何千ものユーザーの手書きスタイルを教えており (私たちの言い方では「トレーニング」)、Windows は、ユーザーがそれを使用するときの手書きスタイルについて実によく学習しています。過去 16 年にわたって、私たちは手書き認識用の強力なエンジンを開発してきました。そして、より正確により速くするためにこれらを調整し、新機能 (Vista のユーザーから学ぶ機能など）を追加し続けています。新しい言語をサポートするということは、新しい辞書を加える以上のことで、新しい言語には大きな投資が必要です。まず、ネイティブの手書きの収集から始まり、次にデータを分析し、トレーニングとチューニングを繰り返し、最後に、このシステムがユーザーに届くと、ユーザーの使用とともに引き続き向上していきます。

データ収集

新しい手書き認識エンジンの開発は、膨大なデータ収集の取り組みから開始します。私たちは、世界中から何万ものライターが書いたテキストの何百万もの単語および文字を収集します。

データ収集の取り組みを説明する前に、私たちが頻繁に尋ねられる質問にお答えしたいと思います。「新しい辞書で既存の認識エンジンを使えないのですか?」そうできない 1 つの理由は、各言語に特殊文字またはアクセント符号があるということです。しかし、圧倒的理由は、世界の異なる各地域のユーザーは、英国と米国のようなに同じ言語を持つ国々の間でさえ、それぞれ異なる書き方を学んでいるということです。人間にとっては非常に似て見える文字が、コンピューターにとっては実際、全く異なる場合があります。このため、私たちは文字、句読点および他の字形がどのように書かれているか正確にキャプチャする実世界のデータを収集する必要があります。

私たちは確実に「正しいデータ」を収集したいので、データ収集のめのセットアップは困難で時間がかかります。私たちは、認識エンジンを開発するそれぞれの国々でコレクションラボを慎重に選択します。

ラボでデータ収集を開始する前に、私たちは収集ツールを構成し、ドキュメントを準備し、収集プロセスでボランティアをガイドする言語スクリプトをコンパイルします。私たちのスクリプトは、綴りの正しいデータ、異なる手書きスタイルのデータ、および特定の言語に関連するすべての文字、数字、記号および符号をすべてカバーするデータが確実に収集されるよう、それぞれの言語のネイティブスピーカーによって慎重に準備されます。スクリプトは、コレクションラボで使用される前に、すべて校正され編集されます。

ツールとスクリプトが準備できると、私たちはラボを開き、手書きサンプルを寄贈してくださるボランティアの募集を開始します。新人募集では、性別、利き手、年齢、教育などの比率が、その国の大多数を表すようバランスをとります。

ラボのスーパーバイザーはボランティアに、収集ツールに表示されるテキストをボランティア独自の手書きスタイルで書くよう指示します。注意すべき重要なことは、私たちがユーザーの自然な書き方を正確に表す手書きサンプルを収集したいということです。したがって、私たちは、「ペンとペーパー」のように「ペンとタブレット」を扱うよう、ボランティアに促します。ボランティアの 1 人が大きく曲がったストロークで書く傾向を持つならば、収集セッションでその人の正しい大きく曲がったストロークを収集したいと思います。なお、このコンテキストでの高品質データとは、自然に書かれたデータのことです。

これは、収集ツールがどのようなものか示すスナップショットです。

図 1: 収集ツール

収集セッションは 60 分から 90 分の間で、ボランティアがかなり多くの量の手書きのデータを疲労を感じることなく寄贈できる程度の時間です。その後、寄贈されたデータは、将来の使用に備え、アップロードされて Microsoft のデータベースに格納されます。手書きサンプルには、ストロークの順序、開始点と終点、間隔、新しい認識エンジンをトレーニングするのに不可欠な他の特性など重要な情報が含まれています。

実にさまざまな手書きサンプルがあるのを示すために、データベースのサンプルのいくつかをお見せします。

図 2: 異なるストロークの順序を示す手書きサンプル。

このスクリーンショットは、3 人の異なるボランティアがどのように「black」という単語を手書きしたか示します。異なる色によって、手書きされた単語内での正確なストロークの順序を示します。最初の 2 人のボランティアは、「black」という単語を書くために 5 つのストロークを要しました。3 番目のボランティアは、4 つのストロークで書いています。さらに、文字「ck」を書くために、3 番目のボランティアは 1 つのストロークを使用し、その一方で、最初のボランティアはこの文字の同じ組み合わせのための 3 つのストロークを使用したことに注意してください。この情報はすべて認識エンジンのトレーニング用に使用されます。

ニューラル ネットワークと言語モデル

いったん十分な量の手書きデータを収集すると、私たちはデータを、開発チームが使用するトレーニングセットと、テストチームが使用する「ブラインド」セットに分割します。その後、トレーニングセットはニューラルネットワークをトレーニングするために使用されます。それは、認識プロセスの結果を大きく左右します。自然に書かれたデータは高品質な認識エンジンの開発において不可欠で、認識エンジンはそのトレーニングセットなしでは少しも向上しません。ニューラルネットワークにより多くの高品質のデータ供給するほど、私たちはさらに複雑な筆記体の手書きを処理できるようになります。

ニューラルネットワークは、筆記体スクリプトの接続している文字を処理できるTime-Delay Neural Network (TDNN) です。TDNN は手書きの各セグメントの文字、数字、および記号の可能性を計算する場合、先立つストロークと後に続くストロークの各手書きセグメントを考慮します。 TDNN の結果は役立ちますが、まとまりのない手書きの場合は十分ではありません。人間による認識の正確さと同程度になるために、私たちは文字の形を超える情報を使用しなければなりません。私たちはこれを、言語モデルのコンテキストと呼びます。この言語モデルのコンテキストの大部分は、辞書の形式になっています。それは、任意の言語用の有効な綴りの単語リストです。多くの言語の場合、これはスペルチェッカーが使用するのと同じ辞書です。TDNN と辞書は緊密に共同で機能して、任意の入力に対して単語の確率を計算し、最も確率の高い結果を出力します。

ニューラルネットワークのトレーニングは時間がかかる複雑なプロセスです。認識の正確さの向上という最終目標のために、私たちは他の言語からデータを借用してトレーニングデータを増やそうとびたび実験します。他の言語の文字の借用はいつもに成功しません。上記に述べたように、ストロークの順序、文字の形、手書きスタイル、および文字サイズは、国ごとに非常に異なり、 TDNN のパフォーマンスにマイナスの影響をもたらす可能性があります。そのため、認識の正確さを高める「正しい公式」を見つける前に、しばしばトレーニング、再トレーニング、そしてチューニングを何度も繰り返ことになります。

新しい認識エンジンを構築する時、正しい方向に向かっているかどうかどのように知ることができるでしょうか? これは、テストチームやネイティブスピーカーが私たちに尋ねる重要な質問です。テストチームは、認識エンジンの品質を反映する認識の正確さメトリックの生成を担当しています。正確さメトリックは、開発でトレーニングに使用しなかった収集データであるブラインドテストセットに基づいています。正確さメトリックに加えて、私たちは、フィードバックおよび一層の入力を得るために社内および世界的な子会社のネイティブスピーカーと協力しています

個人用設定によって認識エンジンを向上させる

前の段落では、私たちがさまざまな異なる手書きスタイルを処理できる高品質な認識エンジンを開発する方法についての概要を説明しました。しかし、各ユーザーが自分のユニークな手書きスタイルについて認識エンジンをトレーニングできればさらに向上します。個人の手書きスタイルについて認識エンジンに教えるためのトレーニングは、Microsoft が出荷前に行うのと同じトレーニングです。唯一の相違点は、特定のユーザー (何千ものユーザーではなく) からユニークなトレーニングデータを収集しているということです。私たちはこのプロセスを「個人用設定」を呼びます。

図 3: 個人用設定ウィザード (センテンス モジュール)。

この個人用設定ウィザードのスクリーンショットが示すように、ユーザーは手書きサンプルを提供するために、要求されているセンテンスを書くよう指示されます。ユーザーが個人用設定プロセスでより多くのデータを寄贈するほど、認識エンジンは向上します。指定された文に基づく手書きサンプルの提供に加えて、ユーザーは、トレーニングに使用される特定の認識エラー、字体、および文字を手書きできます。個人用設定機能は複雑で、ユーザーが最適に認識エンジンをチューニングできるようにさまざまな異なるモジュールを提供します。個人用設定がすべてのVista の言語およびすべての新しい Windows 7 の言語で利用できることをお知らせできるのを嬉しく思います。認識の正確さを向上させるこの機能を使用するよう強くお勧めします。

私たちは引き続き認識エンジンを向上させることに取り組みます。これは、オンライン遠隔測定 (匿名、私的、任意、オプトイン) を通してユーザーのフィードバックを取り入れることを意味します。Windows Vista で「手書き認識エラーの報告」という新機能をリリースしました。これにより、ユーザーは認識エンジンが正しく認識しなかった手書きサンプルを提出することができます。ユーザーが Tablet 入力パネル (TIP) で単語を修正した後に、私たちのチームへ誤認識された手書きを修正したものと共に送信できるメニューを提供されます。

次のスクリーンショットは、エラー報告ツールがどのようなものか示します。

図 4: 「手書き認識エラーの報告」で、ユーザーは誤認識されたインクのサンプルのどれを提出するか選択できます。

私たちは、週当たりおよそ 2000 のエラー報告を受け取ります。エラー報告は、私たちが分析して次世代認識エンジンを向上させるために使用する前に、データベースに格納されます。お察しのように、実世界のデータは、私たちの認識エンジンの欠点を明確にしてくれる唯一のデータですので、非常に役立っています。

私たちはすべてのエラー報告を貴重に思い感謝しています。現在と将来の認識エンジンの機能を向上させるために使用できるよう、どうぞフィードバックを引き続き送信してください。

お読みいただきありがとうございます。

手書き認識担当者を代表して、Yvonne。