Microsoftのマジックペン

Jian Wangが道を譲ったとしたら、すべてがデジタルになります。





私はプリンターが嫌いです-彼らはデジタルのものをアナログに変えます、彼は冗談を言って、中国の北京にあるマイクロソフトリサーチアジアで立方体の海を歩いています。 40代で貧弱なコンピューター科学者は、アナログとデジタルのギャップを埋めるための新しいコンピューターインターフェースの発明を専門としています。彼自身のインターフェースは、しかし、彼のデニムシャツとのんびりとしたマナーを補完する広い笑顔です。

発明の火を起こす

このストーリーは2004年5月号の一部でした

  • 残りの問題を見る
  • 購読

机に立ち寄ると、王は魔法のマーカーと同じくらいの大きさの長方形の銀色のペンを手に取り、紙の文書にいくつかの修正を書き留めます。しかし、これは普通のペンではありません。数秒後、彼のコメントは近くのコンピューター画面に表示されます。これは、ハードコピーに書き込んだ正確な場所にある電子版のドキュメントに重ねて表示されます。 Wangのペンは手書きをキャプチャし、ユーザーが紙のデジタルファイルに変更を加えることができるようにします。



このユニバーサルペンは、Wangが言うように、人々がコンピューターを操作する方法を変える可能性があります。コンピューターのディスプレイや特殊な紙のパッドに書き込むギズモとは異なり、Wangの発明は通常のインクを使用し、通常の紙で機能し、ユーザーが手書きのテキストや図をレポート、雑誌、Webページのデジタルコンテンツと組み合わせることができるようにします。たとえば、飛行機での旅行の幹部は、レポートの紙のコピーをマークアップし、後で自分のコンピューター上のファイルに変更を自動的に転送することができます。

王のデジタルペンはまた、いくつかの大企業の研究所での発明の過程における進行中の変革、孤独な発明者と伝統的な企業の研究開発の混成を反映しています。王はペンの主な発明者であり、彼の洞察力、大胆さ、創造性が、ペンの開発に大きく貢献しました。しかし同時に、パターン認識アルゴリズム、コンピュータービジョン、手書き技術、およびテキスト編集ソフトウェアに関するMicrosoftの総合的な専門知識がなければ、彼はこれほど急速な進歩を遂げることはできませんでした。個人的には、私はそれについて本当に興奮しています、とマイクロソフトリサーチのシニアバイスプレジデントであるリックラシッドは言います。彼の主な施設はワシントン州レドモンドにあります。これは、私たちが行っている新しい種類の製品インキュベーションの例です。これは、さまざまなスキルを持つ人々を集めて、固有の問題を解決するものです。

Microsoft Calling



ヒマラヤの紙の束は、印刷物に対する彼の宣言された嫌悪感にもかかわらず、王のオフィスを埋め尽くしています。アナログの世界を思い起こさせるこれらの中で、発明者はペンプロジェクトの始まりを説明します。中国の杭州にある浙江大学の工学心理学の教授として、王は人間とコンピューターのインターフェースと仮想現実システムで名を馳せていました。その後、1998年、彼の学歴の最盛期に、彼はマイクロソフトの北京研究所を立ち上げたばかりの有名な研究者である李開復から不可解な電子メールを受け取りました。リーは彼らが会うことを提案したが、忙しすぎて理由を説明できなかった。彼がどうやって私の名前をつけたのかわからない、王は笑う、そして彼は彼が誰であるかを説明しなかった。

冒険心を持って、王はとにかく行きました。彼はすぐに、彼とリーが手書きに基づいたコンピューター用のユーザーインターフェイスを作成するという野心を共有していることを発見しました。ペンプロジェクトは、モバイルコンピュータで手書きのアジア言語を処理できるようにしたいという王の願望に一部触発されました。しかし、3Dインターフェースに関する学術研究から、テクノロジーが実用的でさまざまなユーザーにアピールするように設計されていないと、広く採用されないことを学びました。改善ではなく、画期的なことをしたかったと彼は言い、マイクロソフトで完璧なパートナーを見つけたと付け加えました。自分の発明をカップルだけでなく何百万人もの人々に利用してもらいたいのであれば、ここが最適な場所であることに気づきました。その動機で、王は浙江大学を去り、1999年の秋に北京の研究室に加わりました。

すぐに、Wang、Lee、および研究者のコアグループは、プロジェクトの目標を明確にするために毎日ブレーンストーミングセッションを開始しました。セッションには、最終的にはトップボスが含まれていました。このテクノロジーについてビル[ゲイツ]と話をしたとき、私たちはペンだけでなく、新しい種類のドキュメントを発明していることに気づきました。オフィスコンピュータをより便利にするというMicrosoftのビジネスに適合する重要なアイデアは、適切な種類のペンインターフェイスとソフトウェアを使用して、印刷してもドキュメントをデジタルに保つことができるということでした。



それが機能するようになるまでに4年の大部分を要しました。 MicrosoftはWangに固執しただけでなく、約20人の研究者からなるチームを構築することもでき、ペンの設計に必要なプログラミングとハードウェアのスキルにアクセスできるようになりました。ペンの動きからユーザーが書いているものを推測する面倒なバージョンを含む、いくつかの誤った開始の後、Wangのチームは、コンピュータービジョンアルゴリズムの進歩を利用し、シンプルなデジタルカメラに基づいてペンの検知を行いました。

研究者の最初の課題は、ページ上のペンの位置を決定する方法を見つけることでした。彼らの解決策には、透かしなどのかろうじて見える背景パターンを、ドキュメントの印刷時に標準のコピー用紙に配置する特別なソフトウェアが含まれます（下記の「ペンを…コンピュータに置く」を参照）。これにより、各ページに固有のコードがあるため、コンピューターはペンがドキュメントに対してどこにあるかだけでなく、どのドキュメントが変更されているかを正確に把握できます。ペンの圧力センサーが小さな埋め込みカメラをトリガーし、ユーザーの書き込みの写真を撮ります。画像は、デジタルカメラに見られるようなメモリチップ上のペンに保存されます。適切なソフトウェアがインストールされているPCまたはラップトップから数メートル以内に持ち込むと、ペンはBluetooth接続を使用して画像をワイヤレスで送信します。

ペンを…コンピューターに置く



ペン デジタルカメラ、圧力センサー、Bluetoothラジオ、メモリチップが含まれています。ユーザーが紙に書くと、カメラはインクの小さな画像をスナップします。
紙 透かしのような背景パターンがあり、ドキュメントとともに印刷されます。コンピューターはこのコードを使用して、インクがページのどこにあるかを正確に把握します。
コンピュータ 一連の画像をワイヤレスで受信し、デジタルドキュメントファイルの適切な場所に手書き文字を再構築します。特別な編集ソフトウェアを使用すると、ユーザーは手書きを操作およびフォーマットできます。

それらの画像を解釈してデジタルファイルに組み込むことは、より難しい問題であることが判明しました。ワン氏によると、その秘訣は、一連の写真から、さまざまな種類の文章や絵をコンピューターに認識させて、箱とは何か、文章とは何か、落書きとは何かを知ることです。まず、コンピュータビジョンアルゴリズムは、マークのシーケンスを単語、図、または形状として分類します。これらはすべて操作できます。次に、文字認識ソフトウェア（Microsoftや他の場所での長年の集中的な研究の対象）は、手書きのテキストを理解します。コンピューターの画面では、ユーザーのマークがドキュメントに埋め込まれた手書き文字として表示されます。ソフトウェアツールは、書き込みを入力されたテキストとレンダリングされたグラフィックに変換できます。これらのツールを使用すると、ユーザーは手描きのフローチャートからボックスやテキストなどを操作できます。

Wang氏によると、ユーザーが手書きのテキスト、表、グラフをインポートして操作できるようにするだけでなく、複数の共同編集者がドキュメントの個別の印刷物にコメントを付けることができます。その後、コンピューターはそれらすべてを同じファイルに統合できます。最終結果はポータブルスキャナーのようなインターフェースになるとWang氏は言いますが、キャプチャした画像を理解し、アナログ紙の山をデジタルファイルに戻すという発明者の夢を実現するのに十分賢いものです。

パーベイシブペン

ラボから離れて、上海スタイルのミートボールスープと蒸し魚を食べながら、ワンはラボの文化が発明を促進する方法を説明します。研究室のメンバー、そしてリーダーは、一生懸命仕事を分かち合うだけでなく、一生懸命に働きかけることを理解している経験豊富な研究者であると彼は言います。必ずしも1か月、さらには1年で自分を証明する必要はありませんとWang氏は言います。そのため、研究者はさまざまなアプローチを柔軟に試すことができます。ペンの再発明などの野心的なプロジェクトにとって重要です。

Microsoft Research Asiaは、150人の常勤の研究者を雇用している大規模な企業ラボですが、驚くほど官僚主義はほとんどありません、とWang氏は言います。特別な承認手続きはありません。上からの強引な任務はありません。同社は、マイルストーンを設定し、年に数回プロジェクトレビューを実施することで短期的な結果に焦点を合わせながら、エンジニアに長期的な研究の興味深い道を探求する自由を与えることで発明を育てようとしています。それはそれをアカデミックスタイルの設定のようにします、と王は言います。論文を発表し、会議に出席し、多くの客員教授を受け入れています。オープンな環境です。

オブザーバーは、特に企業研究の歴史が限られている国では、この開放性がラボの生産性に不可欠であると述べています。北京の主要な工学学校の1つである清華大学のコンピュータサイエンスおよびテクノロジー学部のエグゼクティブバイスプレジデントであるShiqiangYangは、学界とのつながりのおかげで成功を収めてきたと述べています。学生や教授との自由な意見交換により、学術界でのラボの地位が強化されました。これにより、中国のトップクラスの学生やコンピューター科学者を採用することができます。

緊密な関係が実を結びつつあります。北京の研究所で開発された70以上のテクノロジーが、ビデオゲームのグラフィックスやディクテーション用の音声認識などの分野でマイクロソフト製品に採用されています。 Wangのデジタルペンに関しては、Microsoftにまったく新しい市場を開く可能性があります。商業化はまだ数年先ですが、Wangのチームは、レドモンドにある同社の製品開発グループと話し合っています。具体的な製品計画はまだ作成されていませんが、それは何が可能であるかについて多くの刺激的なアイデアを生み出します。

実際、ペンプロジェクトの過程で王のグループによって開発された技術は、すでに会社に利益をもたらしています。画面上の手書きを認識して操作できるソフトウェアは、Microsoftが2002年にリリースしたTablet PCオペレーティングシステムの機能です。アジア市場は、認識して編集するソフトウェアの需要があるため、デジタルペンなどのインターフェイスの最初の入り口になる可能性があります。アジア語の文字。その数が非常に多いため、キーボードを使用して入力するのは面倒です。

新しい発明では、エキサイティングなプロトタイプを実際の製品に変換する際に多くの課題があります。しかし、ここでは、心理学と人間工学に関する王の訓練が彼に役立つはずです。ペンとそのソフトウェアは使いやすくする必要があると彼は言います。顧客は追加の複雑さを容認しません。しかしながら、残りのねじれが解決されると、通常のペンの親しみやすさと便利さのために、本発明は遍在する可能性がある。ペンは非常に普及していて、表現力があり、最高の発明の1つであるとWang氏は言います。ですから、ペンは将来的には非常に優れたコンピューティングデバイスになると思います。

最終的に、Wang氏は、机の上のすべて（本、雑誌、印刷物）がコンピューターにデジタル接続されるようになると言います。それは彼がアナログとデジタルの間のループを閉じると呼んでいるものです。また、コンピューティング能力とメモリの増加に伴い、Wangのペンのようなデバイスは、人々が外出先で使用するメインのコンピュータインターフェイスになる可能性があります。 Wangは、ユーザーがデータを入力および保存できるだけでなく、ワイヤレスハンドヘルドコンピューターを使用して、Webで認識および検索できる単語に下線を引くだけで、雑誌の記事などの情報にアクセスできることを想定しています。

しかし、やることがたくさんあるので、王は無駄にする時間がありません。彼は世界最大の企業の1つで働いているかもしれませんが、それでも彼は孤独な発明家の長い夜の時間を維持しています。夕食後、北京のほとんどは暗くて静かですが、彼は仕事に戻り、人間とコンピューターのインターフェースの未来を描くことに専念しています。

隠れる