20141208_tutorial_7_pepper_face_tracker

Pepperチュートリアル:画像認識


アトリエ秋葉原から公開されている チュートリアル を試してみます。
今回は 画像認識 です。

1. カメラの仕様
2Dカメラ (額, 口) 出力1920×1080, 15fps
3Dカメラ (右目:赤外線照射, 左目:赤外線検出) ASUS Xtion 3Dセンサー, 出力320×240, 20fps
20141208_tutorial_7_pepper_camera

2. ビデオモニターパネルによる確認
Pepper の画像にかかわる操作には、ビデオモニターパネルを利用します。
20141208_tutorial_7_sdk_video

3. Monitorによる確認
Monitor アプリケーションを使うこともできます。
3dsensormonitor を使って、3Dカメラの内容を確認できます。
20141208_tutorial_7_monitor_3d

4. 顔認識
Pepper が認識している顔の数をしゃべらせてみます。
顔の検出には、Face Detection ボックスを使います。
検出された顔の数が 1 ならば、「私の前に人が1人います」としゃべせます。
Say Text ボックスの Python スクリプトを変更します。

20141208_tutorial_7_sdk_face_detection_script

5. 顔の追跡
顔のある方向に向かって進むようにします。
顔の追跡は、Face Tracker ボックスを使います。
20141208_tutorial_7_sdk_face_tracker 20141208_tutorial_7_pepper_face_tracker

6. 顔の学習
Pepper が見た顔を「たろう」という名称で記憶させます。
顔の学習には、Learn Face ボックスを使います。
正常に顔が学習できた場合はPepperの目が緑色に、失敗した場合は赤色になります。
20141208_tutorial_7_sdk_learn_face 20141208_tutorial_7_pepper_learn_face

7. 顔の識別
Pepper が認識している顔が誰の顔なのかを判別し、その名前をしゃべらせます。
顔の識別には、Face Reco ボックスを使います。
20141208_tutorial_7_sdk_face_reco

8. 画像の学習
画像の学習には、ビデオモニターを使います。
(1) 画像を写します。
(2) 対象物の輪郭を指定すると、赤くなります。
20141208_tutorial_7_sdk_image_1 20141208_tutorial_7_sdk_image

9. 画像の識別
今見ている画像が何なのかをしゃべらせます。
画像の識別には、視覚認識データベースを照合する Vision Reco を使います。
画像を見ている間、ずっと同じ言葉をしゃべります。
それを抑止するために、Vision Reco ボックスの onPictureLabel 出力と onStop 入力を接続します。
しゃべり終わったあと、Vision Reco ボックスの動作を再開させるために、Say Text ボックスの onStopped 出力 を Vision Reco ボックスの onStart 入力に接続します。
20141208_tutorial_7_sdk_vision_reco