これまでの研究


 ここでは,私が行っていた,または,私が所属する東京農工大学中川研究室で行われていた 研究成果を紹介します.

ペンとマウスの同時利用

 ペンをマウスによる操作とは独立させて利用できるユーザインタフェースの可能性を探求しています.通常,ペンはマウスの代わりとして利用しますが,異なった入力として利用できるようにすることで,複数の作業を平行して行えるシステムの構築が可能になります.

 試作したシステムでは,まずペンで画面上に筆記を行うことができます.そして,その筆記を基に計算や辞書引きなどの処理を行ったり,筆記情報や筆記を含めた画面イメージの保存,メール送信などをすることができます.なお,筆記の最中でもマウスとキーボードを用いて他の作業は続けることができます.

 これらの機能によって,たとえば,ワープロで文書を作成しながら,文書上の数値を見ながら計算式を筆記し,計算処理を行うことができます.既存の環境では,たとえば電卓ソフトを使う場合,電卓ソフトの起動や,数値が隠れないようにウィンドウの操作をしなければならないなど面倒なことが多くなります.

 また,WEB ブラウザで地図を開き,その上に説明を筆記し,それらを電子メールで送信することができます.既存の環境では,地図をキャプチャするなどして画像ファイルにした後,画像編集ソフトを開き,筆記を行ってから保存し,電子メーラで添付し送るという手順が必要です.

 マウスだけ,または,ペンだけでこのようなユーザインタフェースを実現する場合,通常の操作と筆記操作との区別をするためにモード切替が必要ですが,このユーザインタフェースではこの切り替えが必要ありません.つまりモードレスなインタフェースを提供できます.


大画面指向ユーザインタフェース:Windows操作への適用

 大画面の対話型電子白板に適したユーザインタフェースとして,手元でのペン操作であらゆる Windows の操作を行うことができる「伸びるポインタ」を提案しました.伸びるポインタは以前に提案を行っていましたが,今回 Windows の基本操作を行えるように適用を行いました.

 手元に伸びるポインタ用のペンでドラッグを行うとその動きが拡大されてマウスカーソルが移動します.ドラッグを終了するとその時点でのマウスカーソルの位置をクリックしたことになります.画面が大きく,手が届かない場所でもクリックをすることができます.

 この操作に続けて任意の場所をペンでクリックするとダブルクリックになります.ペンによるダブルクリックは,ペンを同じ場所に下ろすことが難しいことから,困難です.しかし,このインタフェースでは,どこをクリックしても構いません.

 また,文字入力用のペンを用いると手書き文字認識によって,現在アクティブのウィンドウに文字入力をすることができます.文字入力が必要な場合も不必要にキーボードを利用せずにすみます.


電子黒板を利用したプログラミング教育ツール

 電子黒板上に手書きでプログラムコードを書き,それを実行することができるツールの開発を行っています.プログラムコードや実行結果の上に自由に筆記を行うこともできます.

 黒板を使ったプログラミング教育では,プログラムの実行結果を見せることができません.また,生徒個人が端末を使える環境で授業を行うと,教師への注意が散漫になるという欠点があります.このツールを利用することで,このような欠点を補うことが期待できます.