現在、一般家庭へのコンピュータの普及がめざましい一方で、高年齢者などのコンピュータに対する抵抗感、恐怖感が問題となっている。利用者が抵抗を感じる一因として、マウスやキーボードなどの入力デバイスの存在があげられる。そこで本研究では、プロジェクタとビデオカメラを用い、指により直接操作可能なシステムを提案、システムを実現する上で必要となる投影領域上の指動作の認識手法の検討を行った。
提案システムは次のようなものである。まずコンピュータの操作画面をプロジェクタにより机上に投影する。投影された操作画面を利用者は指により指し示し、その様子をビデオカメラで撮影する。撮影された画像から画像処理により指動作を認識し、得られた指先位置・クリック状況を入力とする。
提案システムは非接触・非装着型であるため利用者への負担も少なく、任意のスペースで実現でき、なおかつ映像を見ながら直観的に操作することが可能となる。
指動作認識は以下のような手順で行う。まず投影領域内に手が差し入れられている状況をビデオカメラより撮影し、入力画像とする。入力画像から手およびその影領域を抽出し、色情報を用いて手領域のみを抽出する。得られた手領域について、背景からの距離値情報を用いて幅の狭い領域を指領域として抽出する。指領域より指先位置の座標を検出し、一定時間指先位置が変化していなければクリックと判定する。
いくつかの手形状について指動作認識の評価実験を行い、複数指領域が存在する場合に関しても正しく指先情報の認識が行われていることを確認した。一方、重なった指の認識が困難であり、対策が必要である。