バーチャルリアリティ手袋 「StrinGlove」 ストリングラブ
手指形状取得の必要性
指先形状取得が必要とされる背景として次のようなものがある。
- 使いやすい入出力インターフェース
- 近年PDAや携帯電話の普及により、モバイル環境におけるコンピュータの使用が一般化しつつある。そういった場面では従来のPC環境とは異なる、小型軽量で使いやすい入出力インターフェースが必要になる。
また、近い将来、家庭内にもコンピュータやネットワークが普及すると考えられており、各種家電もネットワークで結合された情報家電となると予想されている。そうした状況においては機器の操作がより複雑になると考えられ、各機器ごとに異なる操作を習得していくのはユーザに大きな負荷を与えることになる。そのため、多様な情報家電機器をできるだけわかりやすく、統一の操作で利用できるインタフェースが望まれている。- 手話通訳システム
- 近年、聴覚障害者の社会参加にともなって、聴覚障害者と健聴者がコミュニケーションを行う機会が増えている。コミュニケーション手段として筆談や手話に頼ることになるが、筆談ではその速度に大きな問題があるうえ、双方に大きな負担がかかる。しかし、手話の場合は速度的には問題ないものの手話自体を理解できる人が少ないため、どんな状況でも使えるわけではない。そこで、計算機による手話通訳システムの構築が求められている。
手指形状取得の方法
現在、手指形状取得の方法として採用されている方法は2種類ある。一つは画像を用いる方法であり、もう一つは手指形状入力装置などを体に取り付け、実際の角度などを採取する方法である。画像を用いる場合、機器を装着する必要がないため、操作者の動きを制限しない。しかし、指先の角度など細かなデータを取り出すことは困難であり、手話単語などを認識するシステムに使用するのは難しい。一方、装着型の入力デバイスを使用する場合、装置は特殊になるが、得られるデータの精度は非常によくなる。
画像を用いた手指形状取得もたくさん研究されているが（参考URL1〜4）、以下に、デバイスを用いた場合双方の手指形状取得方法の例をいくつか紹介する。
StrinGloveは京都大学医学部附属病院医療情報部講師・副部長の黒田知宏博士が1998年から開発していたもの。開発当時からマスコミなどに取り上げられていたが、センサー専業メーカーのアミテックと、京都医療技術短期大学講師の田畑慶人氏、繊維素材メーカーの帝健が開発に参画し、低コスト化に成功、2005年、製品化を実現した。
手袋に取り付けられた変位センサーで、指の曲げによる糸の伸縮を計測し、指の形状を認識する。変位センサーを数多く取り付けることで、手の関節の動きすべて（22の全自由度）を計測するセンサーの役割を果たす。センサー自身が手形認識機能を備えているため、複雑な演算をコンピュータで行うことなく、簡単にアニメーション、ゲーム、手話認識などのソフトウェア開発できる。センサーは簡単に着脱可能。
医療シュミレーション、福祉（手話）アプリケーション、遠隔操作アプリケーション、バーチャルコミュニケーションなど、いろいろな応用が期待されている。
慶応技術大学環境情報学部の塚田浩二氏と安村通晃教授が開発。
小型の指サック型の装置を装着することで、手指形状をリアルタイムに認識し、PCへの入力や実世界の情報機器の操作を実現するデバイスである。
人差し指の部分にベンドセンサーと2つのスイッチ、2軸加速度センサーが装着されている。スイッチを親指で押すことで各種センサーが出力を開始し、そのデータはマイコンを介してホストPCへシリアル転送される。ホストPCでは出力データをもとに手指の形状をリアルタイムに認識し、PCの入力や実世界の情報機器の操作を実現する。
実装例としては、家電機器等のリモコンの代わりにする、PCのウィンドウ操作をする、プレゼンテーションの支援をするなどが考えられている。Ubi-Fingerをリモコン代わりにすると、機器を指差し、人差し指を押し込む動作や手首を回転させるだけで、リモコンを持ち替えることなしに、いろいろな機器のON/OFF切り替えや音量、チャンネル操作を行うことができる。PCウィンドウ操作を行わせる場合は、Ubi-Fingerで人差し指の曲げ・伸ばしによりウィンドウスクロール操作を行わせることにより、キーボードからほとんど指を離すことなく、他の部分を参照することができるようになる。また、プレゼンテーション中のパソコン操作をUbi-Fingerで用いて行うことで、発表者も聴衆もPC操作をほとんど意識することなく、より自然な流れのプレゼンテーションが期待できる。
Ubi-Fingerプロトタイプ
東京工業大学情報理工学研究科の福地健太郎氏とソニーコンピュータサイエンス研究所の暦本純一氏が開発。
格子状に設置された電極と人体との間の静電容量を計測する事で、電極上の人体の形状を測定する。センサー上の手や指先の形状・位置を毎秒10〜20回の頻度で計測することができ、センサー面と人体との大まかな距離も測定することができる。そのため、センサー面に触れなくとも、その上に手をかざす事で値を入力することができる。また、センサー面は基本的に任意の大きさで構成することが可能であり、水平面である必要もなく、曲面にすることもできる。
SmartSkinを用いることで、画面上の複数のアイコンやオブジェクトを両手の指を使って同時に動かすことができる。また、ゲームとしての応用もされており、両腕を使ってMarbleと呼ばれるバーチャルの球を自陣に取り込むMarble Marketはソニーエクスプローラサイエンスで体験できる。さらに、音楽を演奏するためのアプリケーションも開発されている。これは、テーブルの上に仮想的な音源が72個配置されており、プレイヤーが音源に手を近づけることで音が発生する。テーブルとの距離で音の大小が変化し、音源の位置で周波数、音の定位が変化するようになっている。
動作原理をそのままあらわすデモ。 Marble Market
青い線の下に電極がある。
緑の丸はその点の静電容量の変化を表す。
参考URL
