カテゴリー: ロボット製作

先に、Javaで書いたAutoencoderのディープラーニングプログラム（以下AICORO）をマルチスレッド化して並列処理にしたら、あまり効果がなかったと書いた。それは、CpuがCore i7の3GhのMacでの話だった。「ああ、失敗したな〜」という感じで、終わった。
今日から、またロボットの方で、センサーをテストしようとRaspberyPi3を動かして、ついでだからAICOROを動かしてみた。（JAVAもNerbeansも入れてある）スレッド一個で処理するものを動かしたのだが、なんとなく遅い。784,600,400,300,10という隠れそう３つのネットワークをホワード処理だけで動かしたのだが、１サイクル25ミリ秒くらいかかる。ちょっと遅いなと思った。MACだと時間を測れないほどバリバリに速いのだが。
もしかしてと思って、昨日作ったマルチスレッドのAICOROを動かしてみた。10スレッドの並列処理をするバージョンだ。「あれ！！」１サイクル10ミリ秒くらいで処理する。「いいじゃない！！」
RaspberryPi3は、CPUが４コア持っているので、8スレッドあたりは十分使えそうなきがする。10スレッドはちょっと多いかもしれないが。
初めて、マルチスレッド、並列処理が役に立つことがわかって嬉しい！！

現在考えているAIを軸としたロボット制御のイメージを少し書いておこう。
基本、歩く立つなどの目的を与えると、AIコントローラー自身がサーボモータを制御するようにシステムを作る。AIコントローラーは、サーボモーター角度群、センサー情報とその変化を取得して、自ら学習する。それらの情報は、人がCOSMを通してロボットを動かしている状況の中で取得する。
AIコントローラーは、モーターとセンサーの与えられた状況の中で、次のステップでサーボモータのどのような動きのパターンに持っていくのかをニューラルネットワークから出力して、それに基づいてサーボモーターが動く。
AIコントローラーのネットワークは、事前学習とともに、取得する情報に基づいて常時学習する。
学習には、動きの成功と失敗のイメージも学習に組み込む。

ロボットの足の裏に、片足四個ずつ、合計八個の圧力センサーをつけて、ロボットの実際の重心の状況をロボット自身が捉えられるようにしようと、センサーとADコンバーター中継する部品を製作し、コンバーターをRaspberryPiの基板上に置いた。データをSPIで撮ろうと思っているが、うまくいくだろうか。
加速度センサーも追加で四個つけるので、センサーだらけになるが、それらのセンサーは、人間側のプログラムが情報を処理するのではなく、ロボットのAIで処理するように思っている。だからこんなにセンサーをあちらこちらにつけるのだが。

作成したニューラルネットワークのC++プログラムを、
https://github.com/toyowa/neuralnet
に公開した。
Gnuのg++用のプログラムで、他では確かめていない。
ネットワーク全体は、Netクラスに、その層（レイヤー）はLayerクラスに、レイヤーの内容であるニューロンは、Neuronクラスになっている。それぞれ、オブジェクト化されて使われる。
細かい説明は、気が向いたらしよう。プログラムを使えるくらいの人は、見ればわかるだろうと思う。
余談だが、私は、このプログラムも含め、C++、JAVA、JAVASCRIPT、Html、PHPなどの開発は、全てNetbeans上でやっている。Netbeansは、最高の開発環境だと思っている。
このニューラルネットワークとバックプロパゲーションは、30年近く前に一度やっていたことなのだ。大きく変わったのは、コンピュータの凄まじい高速化だ。

作成した汎用ニューラルネットワークで、その辺りのパフォーマンスを図る標準データとなっているMNISTの手書き数字データをテストしてみた。
MNISTについては、
http://yann.lecun.com/exdb/mnist/
にデータそのものと解説がある。
手書き数字は、
こんな感じのもので、数字の一つ一つがデータ化されている。１ピクセルが1バイト（0-255）の値が与えられ、１文字、28X28ピクセルからできている。
データ数は、60000文字の学習用データと10000文字のテスト用データがある。それぞれ、ピクセルデータとそれが幾つの数字を表しているかというラベルデータがある。60000字でニューラルネットを学習させ、ネットワークウェイトを作成し、そのウェイトが、テスト用10000字を正しく認識するかどうかを調べるのである。
ニューラルネットワークは、入力レイヤーが、28X28の784ニューロン、隠れ層（中間レイヤー）は100ニューロン、出力は0から9までの値を出すので、10ニューロンにした。出力は、ネットワークがその画像について判定した値のニューロンだけが発火する（値1になる）ことを見越しているわけである。

78万4千個のウェイトからなる、従って、訓練手法であるバックプロパゲーション（誤差逆伝搬）で、6万個の文字について、毎回これだけのウェイトを微調整しながら最終的に望ましいウェイトを見つけるわけであるから、相当大きめのネットワークである。
データについては、それぞれのピクセルの値を、正ならば1層でないならば0に、ビット化したものと、（0-255）それぞれの値を0から１の間の数に正規化したものと2種類用意した。元のデータのままをネットワークに入れたら、途中で破綻している。正規化したものに全ての情報が入っているので、生データを使う必要はない。
予測的には、正規化して0から1の間の数字にした方が、情報を多く持っているので、良いパフォーマンスを示すのではないかと思われた。0と1にビット化すれば、情報を単純なものにしてしまうのだから。
学習に、3Gヘルツ、8コアの最高スペックのMac Proでも1時間以上かかった。と言ってもこのマックは16スレッド動かせるのだが、プログラムそのものがほとんど1スレッドで動かしているので、相当無駄にしているのだが。逆に、同時にいくつもの学習を同時にさせることはできる。
10000個のテスト用データのテスト結果は、以下のようである。
＜正規化（0.0-1.0の間の値）されたデータを用いた場合＞
正解数 = 9283 不正解数 = 717 正解率 = 0.9283
＜ビット化（0.0か01.0の値）されたデータを用いた場合＞
正解数 = 9300 不正解数 = 700 正解率 = 0.93
微妙に正解率がビット化した方がいい。誤差の範囲といってもいいが、何よりも、ビット化して情報を削ったにもかかわらず、正規化したものに匹敵するパフォーマンスを出していることが驚きである。MNISTに掲載されているパフォーマンスと比べるとやや低いが、何の微調整もしていない、ただ作成したものでいきなりテストしただけで、これだけのパフォーマンスを出せれば、私としては合格だ。
正解率は、最大出力を出したユニット番号が、その画像の数字に一致する場合に正解としているのだ、これだけでは、どこまで明確にその数字と判断しているのかがわかりにくい。そこで、正解の出力ユニットがどれくらいの値を出したのかをヒストグラムで示す。基本的にユニットは0から1の間の数字しか出さず、通常、関係ないときはほぼ0に近い値しか出さないことに注意されたい。
つまり、そのユニットが正解だという場合、ほぼ0.9以上の値を突然、出している（ニューロンが発火している）ということだ。このグラフを見ると、このヒストグラムで示されたパフォーマンスは、正規化されたデータの方が、より1に近い数字で、ヒストグラムがより高く立っているので、パフォーマンスが良いといってもいい。ビット化されたデータをそれよりやや低いところで、パフォーマンスを稼いでいる。
次は、ディープラーニングを組み込む。

ロボットの姿勢制御にディープラーニングを用いたいと思って、その手始めに、ニューラルネットワーク（誤差逆伝搬：バックプロパゲーション）の汎用プログラムを一昨日くらいから熱を込めて書いた。
汎用性を重視して、レイヤーの数や、その中でのニューロンの数を柔軟に変えられるようにすると同時に、C++らしいオブジェクト型のプログラムにしようとした。ようやくバグがないような感じになって、排他的論理和を識別させてみたが、結構学習に手間かかる。
細かくウェイトを変える（グラディエント値の0.05ずつ調整）ようにして、100万個のデータを学習させて認識させた。中間層は4個で、Neuron[0]というのが、最後の出力層のニューロンの値だ。バイアスニューロンをつけていないからかもしれない。
printOutput Neuron [ 0 ]
が、順伝搬の出力値だ。

-----------------No.999975------------------
入力データ 1 0
Layer::printOutput Neuron [ 0 ] => 0.986243
教師出力データ 1
-----------------No.999976------------------
入力データ 0 1
Layer::printOutput Neuron [ 0 ] => 0.986272
教師出力データ 1
-----------------No.999977------------------
入力データ 0 1
Layer::printOutput Neuron [ 0 ] => 0.986272
教師出力データ 1
-----------------No.999978------------------
入力データ 1 0
Layer::printOutput Neuron [ 0 ] => 0.986243
教師出力データ 1
-----------------No.999979------------------
入力データ 0 0
Layer::printOutput Neuron [ 0 ] => 0.0137698
教師出力データ 0
-----------------No.999980------------------
入力データ 0 0
Layer::printOutput Neuron [ 0 ] => 0.0137697
教師出力データ 0
-----------------No.999981------------------
入力データ 0 0
Layer::printOutput Neuron [ 0 ] => 0.0137696
教師出力データ 0
-----------------No.999982------------------
入力データ 1 0
Layer::printOutput Neuron [ 0 ] => 0.986243
教師出力データ 1
-----------------No.999983------------------
入力データ 1 1
Layer::printOutput Neuron [ 0 ] => 0.0131976
教師出力データ 0
-----------------No.999984------------------
入力データ 1 0
Layer::printOutput Neuron [ 0 ] => 0.986243
教師出力データ 1
-----------------No.999985------------------
入力データ 0 1
Layer::printOutput Neuron [ 0 ] => 0.986272
教師出力データ 1
-----------------No.999986------------------
入力データ 0 1
Layer::printOutput Neuron [ 0 ] => 0.986272
教師出力データ 1
-----------------No.999987------------------
入力データ 0 1
Layer::printOutput Neuron [ 0 ] => 0.986272
教師出力データ 1
-----------------No.999988------------------
入力データ 0 0
Layer::printOutput Neuron [ 0 ] => 0.01377
教師出力データ 0
-----------------No.999989------------------
入力データ 1 0
Layer::printOutput Neuron [ 0 ] => 0.986244
教師出力データ 1
-----------------No.999990------------------
入力データ 1 1
Layer::printOutput Neuron [ 0 ] => 0.0131984
教師出力データ 0
-----------------No.999991------------------
入力データ 0 1
Layer::printOutput Neuron [ 0 ] => 0.986272
教師出力データ 1
-----------------No.999992------------------
入力データ 1 0
Layer::printOutput Neuron [ 0 ] => 0.986244
教師出力データ 1
-----------------No.999993------------------
入力データ 0 1
Layer::printOutput Neuron [ 0 ] => 0.986273
教師出力データ 1
-----------------No.999994------------------
入力データ 0 1
Layer::printOutput Neuron [ 0 ] => 0.986273
教師出力データ 1
-----------------No.999995------------------
入力データ 1 1
Layer::printOutput Neuron [ 0 ] => 0.013199
教師出力データ 0
-----------------No.999996------------------
入力データ 1 1
Layer::printOutput Neuron [ 0 ] => 0.0131987
教師出力データ 0
-----------------No.999997------------------
入力データ 0 0
Layer::printOutput Neuron [ 0 ] => 0.01377
教師出力データ 0
-----------------No.999998------------------
入力データ 1 0
Layer::printOutput Neuron [ 0 ] => 0.986244
教師出力データ 1
-----------------No.999999------------------
入力データ 1 1
Layer::printOutput Neuron [ 0 ] => 0.0131984
教師出力データ 0
-----------------No.1000000------------------
入力データ 1 0
Layer::printOutput Neuron [ 0 ] => 0.986244
教師出力データ 1
-

 

ロボットを動かす現在のシステムに限界を感じて最初から作り直すことにした。ある意味、原点に帰って、足郎の新しさをちゃんと戦略的に貫くことにある。
（１）外からシステムを押し付けるのではなく、足郎が感じている状況に、足郎自身が対応するようにする。センサーの適切な配置と処理システムが求められる。
（２）そのために、簡単なディープラーニングを取り入れて、与えられた状況の中で、目的適合的な行動を適切に選び出す能力を与える。
（３）サーボを制御するために、全てを動かすのではなく、引きだけを指定してステップ的に動かし、残りは全て完全緩和状態にしてしまう。効率化する。
というわけで、ディープラーニングの基本的内容である、ニューラルネットワークのプログラムを25年ぶりに、C++で書いている。当時は、ただのCだったが。
四半世紀前、経済データの読み取りにニューラルネットワークを使った研究をしていた。ただ、周りからほとんど理解されなかったが。
１。「ニューラルネットワークによる時系列データの特性認識」, 単著, 『経済理論』, 249号, 平成4年9月.
２。「コネクショニズムの経済学---ニューラルネットワークが示唆する新しい経済学」, 単著, 『情報処理技術の応用に関する調査研究』, 第4章，(財)日本情報処理開発協会, （財）関西情報センター，平成5年3月.
３。「環境・エネルギー・成長の経済構造分析---産業連関分析とニューラルネットワーク」, （植田和弘, 長谷部勇一, 寺西俊一, 宮崎誠司, 家田忠と共著），『経済分析』, 経済企画庁経済研究所編, 第134号，平成6年4月.
3番目の論文は経済企画庁経済研究所の正式研究報告書に書かれているものだが、この論文を当時の所長の前で説明したら、鼻であしらわれた。仕方がない。AIがこんなに流行るものだとは、誰も思わなかっただろう。私自身もだが。時代をあまりに先取りすると、辛い目にあうのだ。