Neologの辞書を使ってword2vecのデータを作成し直す

前の記事でword2vecのデータを作ったとかいたが、mecabの辞書をNeologのものにした方が良いので、再度作り直した。mecabに持って行くときにダウンロードして作成したNeolog辞書を使うように指定するだけで良い。

私の場合のコマンドラインは、次のようになる。

mecab -Owakati -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/ jawiki.txt -o data.txt

作成したデータは何倍にも大きくなった。