月別: 2019年3月

先の記事を発展させて、文章のキーワードをカテゴリとともに抽出するprolog文を、Qiitaの「swi-prologで形態素解析」に記載した。

swi-prologに知識そのものを乗せることになるのだが、だとすると、それに対するアクセスのために、prologから、自然言語解析のツールを利用できた方がいいと考えた。

そこで、さしあたって、swi-prologで、jumanを利用した形態素解析をさせるプログラムを作成した。swi-prologのlibrary(process)マニュアルにあるサンプルを利用している。

jumanをサーバーモードで立ち上げる方が、効率的だが、その場合はswi-prologでクライアントを作成するという問題になる。が、ここでは直接jumanを起動する方法をとる。prologから外部コマンドを実行するのが、どのような手続きで実現するのかを確認する意味も込めている。

jumanには、pathが通っていなければ起動できない。

juman(String, Lines) :-
        setup_call_cleanup(
            process_create(path(juman), [  ],
                [ stdout(pipe(Out)), stdin(pipe(In))
                ]),
            proc_stream(In, Out, String, Lines),
            close(Out)).

proc_stream(In, Out, String, Lines) :-
        write(In,String),
        close(In),
        read_line_to_codes(Out, Line1),
        read_morpheme(Line1, Out, Lines).

read_morpheme(end_of_file, _, []) :- !.
read_morpheme(Codes, Out, [Line|Lines]) :-
        atom_codes(Line, Codes),
        read_line_to_codes(Out, Line2),
        read_morpheme(Line2, Out, Lines).

jumanは、標準入力から解析対象の文章を受け取るので、process_createのオプションにstdinを加えた。proc_streamでは、標準入力と標準出力を受け取って、まず、標準入力に文章を書き込む、それを閉じて、標準出力から結果を受け取る。read_morphemeは、end_of_fileまで一行ずつ受け取る（再帰的に繰り返す）。

実行結果は次のようになる。juman.swiが上に示したプログラムファイルである。

?- ['juman.swi'].
true.

?- juman(今日はいい天気ですね,Lines).
Lines = ['今日 きょう 今日 名詞 6 時相名詞 10 * 0 * 0 "代表表記:今日/きょう カテゴリ:時間"', '@ 今日 こんにち 今日 名詞 6 時相名詞 10 * 0 * 0 "代表表記:今日/こんにち カテゴリ:時間"', 'は は は 助詞 9 副助詞 2 * 0 * 0 NIL', 'いい いい いい 形容詞 3 * 0 イ形容詞イ段 19 基本形 2 "代表表記:良い/よい 反義:形容詞:悪い/わるい"', '天気 てんき 天気 名詞 6 普通名詞 1 * 0 * 0 "代表表記:天気/てんき カテゴリ:抽象物"', 'です です だ 判定詞 4 * 0 判定詞 25 デス列基本形 27 NIL', 'ね ね ね 助詞 9 終助詞 4 * 0 * 0 NIL', 'EOS'].

出力がリストで獲得できる。

prologの二分木化された日本語wikipediaの出力は、TCPサーバーでやろうとしているわけだが、そのためにはprologでサーバーを立ち上げなければならない。クライアントとのマルチバイト文字のやりとりで手間取ったが、それもなんとかクリアしたので、現状をここにアップしておく。

まず、prologのTCPサーバーは、swi-prologのマニュアルにあるものを参考に以下のように作成する。

%%%%
%% 知識データセクション、簡単な例
%%%%
animal(ライオン,肉食動物).
animal(キリン,草食動物).

%%%%
%% TCPサーバーセクション
%% 参照：
%% http://www.swi-prolog.org/pldoc/man?section=stream-pools
%%%%

%% home brewでインストールしたswi-prologでは、次のライブラリが読めない可能性がある
%% その場合は、ソースからコンパイルし直し、最新バージョンを入れる
:- use_module(library(streampool)).

server(Port) :-
    %% tcpソケットの作成
    tcp_socket(Socket),
    %% ソケットをアドレスにつなげる　第二引数は、portのみか、HostPort
    tcp_bind(Socket, Port),
    %% ソケットからリクエストを受け取る、第二引数は、ペンディングリクエストの上限
    tcp_listen(Socket, 5),
    %% ソケットとコミュニケーションのためのストリームを作成する
    tcp_open_socket(Socket, In, _Out),
    %% Inが利用可能になったら、accept(Socket)が呼び出される
    add_stream_to_pool(In, accept(Socket)), 
    %% loopが空になるまでdispatch_stream_poolが呼び出される
    %% dispatch_stream_poolは入力があるとadd_stream_to_poolのGoalを呼び出す
    stream_pool_main_loop.

accept(Socket) :-
    %% ソケットからのクライアントからのリクエストを待つ
    tcp_accept(Socket, Slave, Peer),
    tcp_open_socket(Slave, In, Out), 
    add_stream_to_pool(In, client(In, Out, Peer)).

client(In, Out, _Peer) :-
    %% 入力ストリームから次の行を読み出す 結果はCommandにユニファイされる
    %% 改行までか、ファイルの終わりまで読み込まれる　改行コードは削除される
    %% 改行を含むブロックを読み込むときは read_line_to_codes/3 を使う
    read_line_to_codes(In, AnimalCodes),
    %% 入力ストリームを閉じる
    close(In),
    %% バイトシーケンスを文字列に変換する
    utf8tring(AnimalCodes,Animal),
    %% 受け取った文字列の表示 
    write(Animal),nl,
    %% 知識のユニフィケーション           
    animal(Animal,Category),
    %% flush_output(),
    %% 文字列をバイトシーケンスに変換する
    utf8tring(CategoryCodes,Category),
    %% サーバーコンソールへの表示
    format('~s ~s  ~n', [Animal,Category]),
    %% フォーマットされた文字を出力ストリームに書き込む
    %% 与える文字列は、バイトシーケンスのリスト化されたものでなければならない
    %% ~sはCでいう %s 、 ~n は改行
    format(Out, '~s is ~s  ~n', [AnimalCodes,CategoryCodes]), 
    %% 出力ストリームを閉じる
    close(Out),
    %% プールからストリームを削除する
    delete_stream_from_pool(In).

冒頭の知識は、超簡単なものだが、日本語wikipediaの場合は、別ファイルになる。

このサーバーで最も困ったのは、ストリームの送受信は、すべてutf8のバイトシーケンスになっていることだった。ascii文字は、そのままでも良いが、マルチバイト文字に対応していない。前の記事で書いた日本語とバイトシーケンスを相互に変換するprolog手続きを作成しなければならなかった。Qittaには、片方向のものをあげたが、双方向に変換できるprologプログラムは、以下のようになる。

%%
%% utf8のbyte sequenceをprolog内の文字列に変換する
%% 逆に、文字列をutf8のバイトシーケンスに変換する
%% 

%% （例）
%% byte sequence
%% ライオン => [227,131,169,227,130,164,227,130,170,227,131,179]
%% lion => [108, 105, 111, 110]
%% アスキーとマルチバイトの混合
%% ラlイiオoンn = [227,131,169,108,227,130,164,105,227,130,170,111,227,131,179,110]
%% codepoint
%% ライオン => [12521, 12452, 12458, 12531]

%% TOPレベルpredicate, 双方向
%% utf8のバイトシーケンスを文字列に変換する
%% asciiが終わってマルチバイトも調べないために、最後にカットを入れている
%% 何れにしても、ここでバックトラックは不要なのでつけておく
%% 途中経過のコードポイントリストも出力する
utf8tring(L,X) :- var(X),getcodepoint(L,Y),
                         write(Y),nl,atom_codes(X,Y),!.
%% 文字列から、utf8のバイトシーケンスを取得する
utf8tring(S,X) :- var(S),atom_codes(X,L),
                         getutf8sequence(L,S),write(S),nl,!.

%% 再帰の終了条件
getutf8sequence([],[]).
%% コードポイントリスト(L), utf8バイトシーケンス(S)
%% アスキー文字の場合
getutf8sequence(L,[A|X]) :- [A|T] = L, A < 256, 
                         getutf8sequence(T,X). 
%% マルチバイトの場合 
getutf8sequence(L,Z) :- [M|T] = L, isoutf8(M,X), 
                         getutf8sequence(T,Y), append(X,Y,Z). 
%% マルチバイト文字のコードポイントをutf8の3バイトに変換する 
isoutf8(X,[C1,C2,C3]) :- C1 is X >> 12 /\ 15 \/ 224,
                         C2 is X >> 6 /\ 63 \/ 128,
                         C3 is X /\ 63 \/ 128.

%% 再帰の終了条件
getcodepoint([],[]).
%% アスキー文字の場合
getcodepoint(L,[H|X]) :- [H|T] = L
                ,isascii(H),getcodepoint(T,X).
%% utf8マルチバイトの場合
getcodepoint(L,[X1|X2]) :- headthree(L,Y,T),
                utf8iso(Y,X1),getcodepoint(T,X2).

%% マルチバイトの場合、頭の3個を取り出して、残りをTに入れる
headthree(L,[X1,X2,X3],T) :- [X1|T1]=L,
                [X2|T2]=T1,[X3|T]=T2.

%% 最高bitが0ならば、アスキー文字
isascii(A) :- (A >> 7) =:= 0.

%% 3バイトのutf8コードをコードポイントに変換する
%% 00001111 -> 15
%% 00111111 -> 63 
%% nth1 はリスト(L)の指定位置(N)の要素を取り出す(X) 
utf8iso(L,X) :- nth1(1, L, Y1), Z1 is 15 /\ Y1,
                nth1(2, L, Y2), Z2 is 63 /\ Y2,
                nth1(3, L, Y3), Z3 is 63 /\ Y3,
                X is Z1 << 12 \/ Z2 << 6 \/ Z3. 

こちらのプログラムもサーバープログラムと同時に読み込まれなければならない。その後に、ポートを決めてサーバーを立ち上げる。

テスト用に、クライアントプログラムをjavaで作成した。以下に参考例と示しておく。TCPに対応するクライアントならば、どのようなものでも良い。telnetでもいけると思う。

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.OutputStream;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.net.Socket;

/**
 *
 * @author washida
 */
public class JPClient {

    /**
     * @param args the command line arguments
     */
    public static void main(String[] args) {
        try {
            String server = "localhost";
            int port = 20000;
            Socket soc = new Socket(server, port);

            OutputStream os = soc.getOutputStream();
            PrintWriter pw = new PrintWriter(new BufferedWriter(new OutputStreamWriter(os,"UTF-8")));

            //pw.print("ライオン\r\n");
            //pw.flush();
            pw.print("キリン\r\n");
            pw.flush();

            InputStream is = soc.getInputStream();
            BufferedReader in = new BufferedReader(new InputStreamReader(is));
            String line;
            while((line = in.readLine()) != null){
                System.out.println(line);
            }
            pw.close();
            os.close();
            in.close();
            is.close();
        }catch (IOException e) {
            System.out.println("Exception: " + e);
        }
    }
    
}

実行例は次のようになる。

%% サーバー（prolog）側の端末

?- ['server.swi','utf8string.swi'].
true.

?- server(20000).
[12461,12522,12531]
キリン
[232,141,137,233,163,159,229,139,149,231,137,169]
キリン 草食動物  
[12521,12452,12458,12531]
ライオン
[232,130,137,233,163,159,229,139,149,231,137,169]
ライオン 肉食動物  

// クライアント（java）側の端末
キリン is 草食動物
ライオン is 肉食動物  

サーバー側には、変換過程を示すために、バイトシーケンスとコードポイントのリストが表示されている。サーバーは、port番号20000番で開いている。優先的に利用されていないポート番号ならんば、何番でも良い。また、ネットワークにつながっているクライアントであれば、どこからでもprologが処理する知識を獲得できるわけである。

prologで書いた、日本語wikipediaのデータを他から参照するために、prologでサーバーを用意するのが最も便利だと判断している。

そのprologサーバーを動かそうとしているのだが、文字コードのところでつまずいて週末を悶々としていた。結局、なんとか切り分けた問題は、次のようなものだ（これにも時間がかかった）。

例えば、クライアントからある文字列をutf8で送ったとすると、swi-prologのサーバーは、それをバイト列のストリームで受け取る。しかし、prologの内部では、アスキー文字は、そのストリームを処理して文字列に自動変換するのだが、日本語などのマルチバイト文字は変換しないので、日本語の宣言文などとユニフィケーションさせても一致すべきものが一致しなくなるという厄介なことが発生するのだ。

ただ、atom_codesという関数を使えば、文字列とUnicodeのコードポイントの相互変換は可能である。つまり、次のような感じである。

?- atom_codes(ライオン,X).
X = [12521, 12452, 12458, 12531].

?- atom_codes(X,[12521, 12452, 12458, 12531]).
X = ライオン.

ここで、数字のリストは、コードポイントのリストである。

クライアントからprologのサーバーに「ライオン」という文字列を送ると、次のようなリストとして受け取る。

[227,131,169,227,130,164,227,130,170,227,131,179]

227から始まる、3バイト分が一文字になっている。この文字列を先のコードポイントに変換できれば、文字列になるのだ。3バイトを16進に変換するのは、

?- hex_bytes(X,[227,131,169]).
X = e383a9.

で、できるので、最初は、このutf8コードとコードポイントの相互変換データをprologに組み込んで、変換することを考えたが、7000行以上の宣言文を咥えこまなければならないので、とても負担感がある。そこで、数量的変換のアルゴリズムが、こちらに解説されていたので、それを元に、変換のための規則を作ってみた。

utf8コードの3バイトものだけだが、次のように簡単になる。nth1はインデクス番号の要素を取り出す組込述語。

%% 00001111 -> 15
%% 00111111 -> 63 
utf8iso(L,X) :- nth1(1, L, Y1), Z1 is 15 /\ Y1,
                nth1(2, L, Y2), Z2 is 63 /\ Y2,
                nth1(3, L, Y3), Z3 is 63 /\ Y3,
                X is Z1 << 12 \/ Z2 << 6 \/ Z3. 

実行結果は次のようになる。

?- utf8iso([227,131,169],X). % ラ
X = 12521 

?- utf8iso([227,130,164],X). % イ
X = 12452 

あと、より完全なものにするためには、半角アスキーコードと3バイト文字列を識別するようになればいい。

その完成バージョンをQiitaに投稿した。
「swi-prologで、utf-8のバイトシーケンスをコードポイントリストに変換し文字列にする」

大学にあるMacproをsshでリモートコントロールして、WikipediaのProlog二分木化をやっている。途中で死んでしまうスレッドが目立つようになったので、今朝、思い切って200スレッド立ち上げて実行してみた。

現在作成済みのwikipediaファイルは309で全体544の56.8%まできている。しかし上のスレッド問題のために、丸1日かけて50個くらいしか増えなくなっているので、思い切って200スレッドを並列に動かしてみたわけだ。これで100スレッドが死んでも、1日で100個できるという、皮算用だ。（※ 結局、このもくろみは失敗した。逆にほとんどのスレッドが1日で死んでしまった、笑）

ただ、困ったのは、今見るとロードアベレージが150を超えている。一方、CPU負荷は、90数パーセントとこれまでと同じくらいなのだ。係り受け解析KNPは、ポート番号を変えてスレッド数だけ立ち上がる仕組みになっているが、これがsleepしていない、つまりrunning状態のものを

ps aux | grep knp | grep R | wc

というコマンドで確認すると、141個になっている。動かして数時間だが、すでに50スレッド以上が死んでしまっているわけだ。

なぜスレッドが死ぬのか、KNPとのTCPIPのプロトコルによる通信に何らかの障害が発生し、KNPがレスポンスを返さなくなると、スレッドがsleepしてしまうので、その辺の問題だろうと思っているが、実は詳しく調べていない。まずは、できるものをどんどん作成していくのが先だと思っているからだ。

（必ずしも死んだとは限らない。200スレッドということは、一つのスレッドが受け持つファイルはせいぜい3個である。全体で544個しかないのだから。そのうち300余は、完成済みなので、担当したファイルが全て作成済みの場合もある。ただ、ログを見る限り何もなくなり終了したスレッドのメッセージは見つからない）

本題になかなか入らなかったが、このように、高負荷で大学のマックを動かしていて、CPUが過熱状態にならないかが心配なのだ。

だから、本当は大学に出かけて、MACの様子を見ようかと思ったが、行ったところで、MACの筐体に触って、熱さを確かめるくらいなので、ならば、リモートで、CPUの温度くらいは確かめられるだろうと思った。

istatsというのがある。

sudo gem install iStats

で、インストールできる。istatsというコマンドをターミナルから打てば結果を出す

という結果で、この温度だと、大丈夫そうだった。