最近の研究


 ここでは,私が行っている,および,私が関係している最近の研究成果を紹介します.


ぱらぱらウィンドウ:ウィンドウの切り替えを容易にするインタフェース

 オーバラップマルチウィンドウシステムにおいて,ウィンドウの切り替えは意外に面倒です. たとえば,他のウィンドウに完全に隠れたウィンドウを最上位に表示するためには, そのウィンドウを隠しているウィンドウを移動させたり最小化させる必要があります. そこでこのような面倒さを解決するために,一次元の変移を入力すると,最上位のウィンドウから, 入力した変移に比例した枚数分のウィンドウが非表示もしくは半透明化されるユーザインタフェースを考案しました. このユーザインタフェースを利用することで,簡単に下層に位置するウィンドウを見えるようにし, そして操作できるようにすることができます.

 また,このユーザインタフェースでウィンドウを非表示にしている間も, 普通の操作が行えるため,任意のウィンドウを任意の階層に移動させることや, 二つのウィンドウの間でドラッグ&ドロップを行うことが非常に容易になります.  評価実験からは,普通の操作方法に比べ,ぱらぱらウィンドウを利用したときの方が 早く操作できることが示されました.

 本研究は,小國健氏(NTTデータ)発案のアイデアを基に共同で研究を進めているものです. また,IPA 未踏ソフトウェア開拓事業採択テーマです.



グループ学習を支援する教育システム

対話型電子白板における複数入力

 対話型電子白板を複数枚並べ,1枚1枚の白板ごとに入力を行うことができるデバイスドライバを開発した.画面は Windows のマルチモニタを利用することで,一つのアプリケーションを複数の電子白板をまたがって表示することができる.この環境に開発ドライバを利用することで,一つのアプリケーション内で複数のペン入力を扱うことができるようになる.LAN などで複数のコンピュータをつなげて実現する方法に比べ,コンピュータが1台で済むこと,対応アプリケーションの開発が楽なこと,などの利点がある.

壁紙新聞作成システム:
個人作業とグループ作業環境を提供するグループウェア

 ペンコンピュータでの個人作業と,電子白板でのグループ作業を組み合わせて一つの作業を行う環境の一例として,小学校における壁紙新聞を作成するためのシステムの開発を行っている.記事作成はペンコンピュータで個人で行い,編集作業は電子白板を用いてグループで話し合いながら行う.

 この研究では,小学生でも簡単に文章を入力できるようにするため,縦書きの原稿用紙インタフェースを設計している.消しゴム機能に加え,ペンジェスチャによって空白マス挿入と複数マス削除を行うことができる.


吸い取りインタフェース

 ホワイトボードやグリーンボードを用いた掲示板の前に立って, この掲示の内容を取っておきたいなぁと思うことがあるはずです. このようなときには,手書きで紙やPDAにメモを取ったり,デジカメや携帯電話で写真を撮ったり, 一時的に剥せるものであればコピーを取ったりすると思います. しかし,メモは面倒ですし,複数枚からなる掲示物だと写真を撮るのも大変です. この点を解決するユーザインタフェースとして提案するのが吸い取りインタフェースです. 具体的には,掲示物にPDAなどの携帯機器を近付けるだけで, PDAにその掲示物の内容が取り込めるというものです. 紙に書かれている情報を電子的な紙(PDA)に吸い取るというイメージから吸い取りインタフェースと名付けました.


デジタルホワイトボード版 VIDEO

 デジタルボードを用いて掲示板を模倣したシステムに対して吸い取りインタフェースを実装しました. ホワイトボードのように手書きで掲示が行え,その掲示を PDA に吸い取ることができます. また,PDA 上で作成した掲示物をホワイトボードに貼り付けることも可能です.

紙掲示版 VIDEO

 普通の紙掲示物から情報を吸い取れる吸い取りインタフェースを実装しました. 紙を掲示するときのピンに情報を結びつけるソフトウェアを使うことで, 紙面そのままの情報は当然のことながら,それ以外の情報を吸い取れるようにすることも可能です.


ペン入力指向の図形整形インタフェース/図形教育支援

マーキングジェスチャ (marking gestures) VIDEO

 マーキングジェスチャは,等長や等角を意味する記号,または,角度や辺長を表す数値を直接図形上に描くことで,図形の整形を指示する対話技法です. この対話技法は,ペンユーザインタフェース独特の対話技法であるペンジェスチャの一種であり,また,整形後の図形の形状を意味する記号(マーク)を描くことからマーキングジェスチャと名付けました.

 既存の作図ソフトでは,整形の対象と種類の指示は別々に行うのが一般的ですが,マーキングジェスチャはこれらを一括して指示できます. また,ペンジェスチャにはその形状を覚えきれないという問題点がありますが,マーキングジェスチャでは整形後の図形の形状を表現する一般的な記号を描けばよく,直感的で覚えやすいためこの問題の影響は少なくなります.

 また,この研究では,ペン入力指向の数値属性変更方法として,表示されている数値上にペンを降ろし,そのままペンを引きずる(ドラッグする)ことで変更できる技法を提案しています.

 既存の作図ソフトで数値属性の変更を行う場合,ダイアログボックスを通して,キーボードから直接数値を入力するか,値を変化させるボタンやスライダを利用します.ダイアログボックスの出現には一操作が必要です.また,ボタンによる数値増減はクリックを繰り返さなければならないこと,ボタンやスライダのハンドルは一般的に小さいことから,ペンによる操作には向きません.我々の研究室では,数値を増減するためのボタンを押したままペンを引きずると,その移動距離に応じて数値が変化する対話技法を過去に提案しました.短い距離のドラッグはペンに向き,二点目の問題点を解決できます.今回の技法はさらにボタンも必要なくなり,他の問題点を解決します.


数式と図形の連携機能

 初等・中等教育の図形教育では,黒板に図形と数式を書いて説明をします. その中で,数式にあわせて図形を何度も書き直す必要がでてきますが, これはかなり手間のかかる作業になります. また,数式と図形を対応付けるために,チョークの色を変えたり, 数式と図形を交互に指し示したりしますが, これも面倒な作業です.  そこで,電子黒板に書いた数式と図形を連携させる機能を提案します. 本機能では,数式に対応させて図形を自動的に変形させたり, 数式と図形の色を対応付けさせることができます.


Web-based ペン入力アプリケーション

手書き電子アンケートシステム

 手書き電子アンケートシステムは,手書きでアンケートに回答できるシステムです. そして,特別な環境がなくてもアンケートに回答ができるようにするため, web ブラウザだけでアンケートの表示,回答記入,返信を行うことができます. また,特別な知識なしにアンケートを実施できるようにするため, 実施者は XML 形式で,設問の種類や設問の質問文,選択型の場合は選択肢の説明文など, アンケートを構成する基本的な要素だけを記述したテキストファイルを作成すれば実施できます.

 筆記型の設問の場合は,手書きで自由に文字を記入でき,面倒な認識を施す作業なしに, 回答を返信できます.もし,手書きの文字をそのまま返信したくなければ,文字認識を施すことも可能です. また,実施者が,回答の集計段階で手書き文字に文字認識を施すことも可能です. 選択型の設問の場合は,手書きで○や×を書くことで,選択肢を選択することができます.


手書き&手書きアニメ電子メール

 既存の手書き電子メールシステムでは,メッセージの作成側と受信側で同じソフトウェアを利用しなければならないというものが多いです.この問題を解決するためにビットマップ形式で送信するものがありますが,ビットマップ形式にしてしまったメッセージは,手書きのメリットである文字認識を施したり,筆記再生をすることができません.また,物理的サイズが大きくなった場合,データサイズが大きくなりがちです.

 そこで,web ブラウザだけでメッセージを作成,送信ができるようにし,そしてメッセージも HTML で表現することによって,web ブラウザだけで閲覧が可能にしたシステムを提案し,実装しました.このシステムは,こちらから利用することができます.

 さらに,手書きアニメを作成,送信ができるようにもしました.もちろん,アニメーションも HTML で表現していますので,web ブラウザだけで閲覧が可能です.このシステムは,こちらから利用することができます.


一斉授業を支援する電子黒板と電子ノートシステム

ミドルウェア関連

 ペン入力タブレットを用いて,一斉授業で利用される黒板とノートの電子化することで,従来の黒板とノートを用いた一斉授業の利点を継承しつつ,コンピュータの利点を組み入れた環境の構築を試みています.

一斉授業を支援する電子黒板,電子ノートシステム

 ただ単に手書きで筆記ができるだけでなく,電子黒板ミドルウェアの研究と連携し,電子黒板,電子ノート両方で電子教材の利用が可能です.また,電子黒板上の筆記を電子ノートへ,電子ノート上の筆記を電子黒板へ送ることができるので,たとえば,先生が黒板上に書いた問題を生徒に配布し,その上に回答を筆記し,再び先生に戻すことができます.先生側では,戻ってきた回答から選んだものを黒板上に表示できます.

 本研究は,科学研究費補助金・奨励研究(A)/若手研究(B)・ 一斉授業への利用を想定した情報交換・共有機構を有する電子黒板と電子ノートシステム の補助によります.


遠隔地から一斉授業に参加するシステム

 また,遠隔地から一斉授業に参加するための環境の構築も試みています.一斉授業で重要なのは,教師の声,板書,そして,教師の動きです.後者の二つはカメラで撮影したものを送受信する方法がありますが,データ量が大きくなる問題点があります.そこで,電子白板で取得するペンの動きと,教師の立ち位置だけを送受信し,板書の再現とアバタを用いて教師の動きを再現します.

 従来のシステムでは遠隔地からの返答は音声に限られており, 板書を行える教室内の生徒と同等に授業を受けられるとは言い難いです. そこで,本システムでは遠隔地からも板書を行えるようにしてあります. また,遠隔地の生徒が板書をしているときには,教室内の電子黒板に 板書している姿をアバタとして表示し, 教室内の生徒に遠隔地から授業に参加している生徒がいることによる 違和感を感じさせないようにしています.



枠なし文字列認識関連

訂正インタフェース

 枠なし文字列認識を利用した文字列入力インタフェースの研究を進めている.認識には誤認識がつきものであり,枠なし文字列認識も例外ではなく誤認識が起こる.文字単体の誤認識に加え,文字の区切り位置の誤認識が起こりうる.そこで,文字訂正に加え,区切り位置の訂正方法を提案した.

 編集モードにおいて,切り離されている部分を結ぶ線を描くとその部分が結合される.また一つ部分に線を引くとそこを境に二つの部分に分割される.また囲み線を描くと,それに囲まれている部分が一文字となる.文字単体の認識が間違っている場合,一文字の領域の隅をクリックすると他の候補が表示される.また,候補に正しい文字が入っていない場合は,隅から筆記を開始することで,書き直しをすることができる.

クライアントサーバ方式

 PDA などに文字認識処理を搭載する場合, CPU 速度やメモリ容量の制限で認識率や認識速度を犠牲にしなければならない. 特に枠なし文字列認識は処理が重く,辞書のサイズも大きく, PDA などに搭載することは難しい. そこで,文字認識エンジンはサーバに置き, 文字認識を行う場合にはクライアントからそのサーバへアクセスする方式を提案した. この方式では,文字認識処理をバージョンアップした場合も, すべてのクライアント上のエンジンを交換することなく, 最新のエンジンを利用することができるというメリットも生まれる.