カテゴリー: NAO技術

A French student asked me a question about how to display the video. He used the system to send message on the Aldebaran community site. I write this article for answering his question. The followings are two javascript functions "GetVideoImages()" and "DrawImage()" for displaying the video images that the robot get with his camera.  "Ibot" is an object on my javascript file. If you have another question, please use the aldebaran message system.

 1     ///////////////////////////////////////////////////
 2     // Display Video Images
 3     ////////////////////////////////////////////////////
 4     Ibot.session = null;
 5     Ibot.displayVideo = false;
 6     Ibot.savedSubscriberID = null;
 7
 8     Ibot.getVideoImages = function(ipaddress){
 9         $("#subMenu").fadeOut("fast");
10         Ibot.newConnect(ipaddress, function (ret,session) {
11             Ibot.session = session;
12             if (ret === "success") {
13                 Ibot.session.service("ALVideoDevice").done(function (vdev) {
14                     var fps = 1; // frame number
15                     var subID = "subscriberID";
16                     vdev.subscribeCamera(subID, 0, 1, 11, fps).done(function (subscriberID) {
17                         $("#videoStop").unbind();
18                         $("#videoStop").click(function(){
19                             Ibot.displayVideo = false;
20                             vdev.unsubscribe(subscriberID);
21                         });
22                         $("#dialogOK").unbind();
23                         $("#dialogOK").click(function () {
24                             Ibot.displayVideo = false;
25                             vdev.unsubscribe(subscriberID);
26                             $("#mdialog").fadeOut("fast");
27                             $("#glayLayer").fadeOut("fast");
28                         });
29                         var delay = 1000/fps;// interval for timer
30                         $( 'input[name="fpsValue"]:radio' ).change( function() {
31                             Ibot.showConfirm("Network is too slow. It is possible for the robot to stop.",function(ret){
32                                 if(ret === "OK"){
33                                     var newFps = $(this).val(); // value
34                                     Ibot.showAlert("Change frame rate. newrate = " + newFps);
35                                     fps = parseInt(newFps);
36                                     vdev.setFrameRate(subscriberID, fps);
37                                     delay = 1000 / fps;
38                                 }else{
39                                     $('input[name="fpsValue"]').val(["1"]);
40                                     fps = 1;
41                                     vdev.setFrameRate(subscriberID, fps);
42                                     delay = 1000 / fps;
43                                 }
44                             });
45                         });
46                         var canvas = $("#videocanvas");
47                         var context = canvas[0].getContext('2d');
48                         var img = context.createImageData(320, 240);
49                         var timer; //timer
50                         Ibot.displayVideo = true;
51                         var loop = function () {
52                             Ibot.drawImage(subscriberID, vdev,context,img);
53                             clearTimeout(timer);
54                             if(Ibot.displayVideo){
55                                 timer = setTimeout(loop, delay);
56                             }else{
57                             }
58                         };
59                         // loop start
60                         loop();
61                     }).fail(function(){
62                         Ibot.showAlert("Fail to subsctibe");
63                     });
64                 }).fail(function(){
65                     Ibot.showAlert("Fail to start video device.");
66                 });
67             } else {
68                 Ibot.showAlert("Fail to connect to the robot.");
69             }
70         });
71     };
72
73     Ibot.drawImage = function(subscriberID,vdev,context,img){
74         vdev.getImageRemote(subscriberID).done(function (video) {
75             var arrayBuf = Ibot.Base64_To_ArrayBuffer(video[6]);
76             var tpx = 320 * 240;
77             var uint8array = new Uint8Array(arrayBuf);
78             for (var j = 0; j < tpx; j++) {
79                 img.data[j * 4] = uint8array[j * 3];
80                 img.data[j * 4 + 1] = uint8array[j * 3 + 1];
81                 img.data[j * 4 + 2] = uint8array[j * 3 + 2];
82                 img.data[j * 4 + 3] = 200;
83             }
84             context.putImageData(img, 0, 0);
85             vdev.releaseImage(subscriberID);
86         }).fail(function (error) {
87             Ibot.displayVideo = false;
88             vdev.unsubscribe(subscriberID);
89             Ibot.showAlert("Fail to get video image. error = " + error);
90         });
91     };
92
93

(You can see a the youtube video at the following address.

Sorry, I say comments in Japanese.)

業界標準のepubフォーマットで組版された電子書籍を、ロボットNAOに読み上げさせるためのローカルモジュール（wsbook）を有限会社ネット書房と共同で開発した。

特徴は次のような点にある。
（１）ロボットとの対話で音読を制御できる
（２）ルビがふってある場合は、ルビの方を読み上げる
（３）指定されたファイル順に読み上げる
（４）ロボットが読み上げる１行には限界があるが、任意の場所で区切らずに、句読点（、。）などで区切った読み方にして、不自然さを回避する。
（５）読了を中止した場所を記憶して、その場所から再開する
（６）書籍の長さは、記憶領域以外の制限はない（長い本でも最後まで読み上げられる：１巻、２巻と分けれている場合は別だが）
（７）自分の書棚の本のリストを読み上げる
などの機能を組み込んだが、まだ、次のような問題はある。
（１）ルビがふっていない、旧仮名遣いの読み上げを間違える。（かなり高度な処理が求められる）
（２）ルビがふっていない、漢字の読みを間違える（学習させる必要があるが、たとえば、どのような状況で金を「かね」とよみ、また「きん」とよむか。文脈解析、自然言語処理の機能が必要になる）
（３）中止は、言葉によるか、前頭部タッチによるかだが、少しバタバタしている。
今後、
（１）ネット書房が有する青空文庫11,000冊のepub書籍を自由に、ロボットに直接（パソコンやスマホを介さずに）ダウンロードして読むことができるようにする。
（２）Gutenbergの30,000冊の英文書籍を読み上げられるようにする。
（３）ユーザーが有しているepub電子書籍を読めるようにする
などの対応を予定している。

基本的な戦略はこうだ。
まず、ロボットが見ている画像320X240pxから、人を切り出す。人があるかどうかをチェックするためには、Histogram of Oriented Gradients (HOG法)とSupport Vector Machine (SVM)でやる。認識した人の姿から、HOGに似た手法で、特性値を取り出し、ロボットの関節（20数個ある）の角度ベクトルへの写像関数を推計する。二台のロボットのに方向から推計される姿勢のPointの高いものをロボットが認識した人の姿勢にする。ロボットの関節をその姿勢に向けて動かす。ただし、ロボットが倒れない工夫が難しい気がする。
HOGは、C++のプログラム化した。（SVMができていないので、アルゴリズムが正しいかどうかの検証はしていない、１個の学習画像を読み取り特性ベクトルを計算するまでしか作っていない。学習用の画像読み取りにOpenCVを使っているが、実際の認識の場合は、ロボットのビデオデバイスの画像データを直接読み取る。プログラムの中では、コメントアウトしている。g++のある環境で、makeコマンドをinvokeすればコンパイルできるはずです。）
＜一旦公開したが、svmにかけたところデータ作成上に誤りがあるようで、公開を停止した。＞
一方、SVMはアイデアはわかるが、プログラム化できていない。20数年前に、ニューラルネットワークやパーセプトロンの経済学への応用に没頭した時期があったが、SVMは、それに似ている。不思議な気がする。
SVMについては、時間をかけて、基本的な理論のところから理解し、プログラム化したいものだ。

こんなことをさせたいということのかなりのものを実現してきたが、次に、ロボットにやらせたいことは、人の動作を読み取って、自分の動作のためのメタ言語に翻訳することだ。
というのも、この間、ロボットに喋らせることを軸に、人の心とコミュニケーションをとらせるための基礎的な仕組みを作ってきたが、やはり、動作がありきたりでは、届けきれないことに気づいた。
動作を工夫することは、通常のプログラミングでもできる。しかし、次々に多様な動作をプログラミングすることは事実上できない。一番良いことは、人の動作を見て、その動作を自分の（ロボット自身の）体で実現してみることだ。それはすなわち、その動作をするメタ命令が自分の中で創作されていることになる。
それは、すでにロボット工学の分野では実現していることなのだが、私のロボットでもそれをやってみたい。
ロボットの映像をプログラマティカルに取り出すことはすでにできている。できれば、２台のロボットからみた画像を合成して、対象としている人の動きを立体的に再現させてみたいものだ。