DX人材育成の一環でAI基礎を学びに行く・2日目/3日間・Mecabでテキストデータを形態素解析する!

スポンサーリンク
080-お仕事

へっぽこヘタレシステム管理者の管理人です。

先日につづき、社会人向けAI基礎講座の2日目です。

※講座の内容はプログラム等ができない方が対象です。

image recognition と CNN(Convolutional Neural Network)

本日はまず画像認識の仕組みと畳み込みニューラルネットワークの概念について学びました。

ぶっちゃけ管理人は全く理解ができませんでした。

なんとか理解できたのが次のとおりです。

  • 1.1文字をNピクセル×Nピクセルに分解する(例えば32px×32px等)
  • 2.グレースケールにする
  • 3.1つのピクセル毎に256の階調(色の濃さ)表示をする
  • 4.例えば仮に5ピクセル×5ピクセルのマトリクスに数値を入れて・・・
  • 5.左上からNピクセル×Nピクセルにに重ね合わせて計算し数値を出す。
  • 6.これを数ピクセルをずらして繰り返しNピクセル×Nピクセルよりも小さいマトリクスを計算する
  • 4~6を繰り返して最終的な計算値を出す。
  • これを特徴マップとして、認識させる画像に同じ処理を行い特徴と合致するものを認識する

という感じでしょうか?

すくなくとも、各マトリクスに分解し、色の濃さを数値化し・・・

複雑な計算によって特徴マップを作成し、それに近しいものを判定している???

様です。※間違っていたらごめんなさい。

とういことは、あくまでプログラムであって、ニューラルネットワークといって人間の様に全体をみて認識しているわけではないとうことです。

ですので、同じ文字でも文字の大きさが異なる場合は認識が失敗する可能性が高いという事なるのでしょうか???

管理人の理解力ではなんとなくこんなものであろうという認識しかできませんでしたが・・・

決して、AIは人間の様に判定している訳ではないことは分かりました。

スポンサーリンク

NLP(natural language processing)

お次はNLPでした。

これは次回に詳しく講義があるようですが・・・

スポンサーリンク

現在のAIでは、【形態素解析】という技術を使って文章を単語(名詞、動詞、助詞、助動詞、接続詞、形容詞)などに分解することが必要なようです。

mecabというフリーのソフトウエアがありこれで【形態素解析】が体験できるということでやってみました。

ブログランキングにご協力ください!
ブログランキング・にほんブログ村へ

mecabのダウンロードはこちら

適当に文章を作って、mecabに貼り付けるだけで・・・

分解してくれます。

試しに管理人が入力した文章と分解された結果は次のとおりです。

//入力文章
私はアラフィフヘタレガンプラオタクの管理人です。
いい年をしてガンプラを素組で遊んでいます。
この年ならそれなりにエアーブラシで色を塗ったりして完成度を高めたいのですが、
なかなかそこまでできません。


//mecabでの出力結果
私はアラフィフヘタレガンプラオタクの管理人です。
私      名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ
は      助詞,係助詞,*,*,*,*,は,ハ,ワ
アラフィフヘタレガンプラオタク  名詞,一般,*,*,*,*,*
の      助詞,連体化,*,*,*,*,の,ノ,ノ
管理    名詞,サ変接続,*,*,*,*,管理,カンリ,カンリ
人      名詞,接尾,一般,*,*,*,人,ジン,ジン
です    助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
。      記号,句点,*,*,*,*,。,。,。
EOS
いい年をしてガンプラを素組で遊んでいます。
いい    形容詞,自立,*,*,形容詞・イイ,基本形,いい,イイ,イイ
年      名詞,一般,*,*,*,*,年,トシ,トシ
を      助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
し      動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て      助詞,接続助詞,*,*,*,*,て,テ,テ
ガンプラ        名詞,一般,*,*,*,*,*
を      助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
素      名詞,一般,*,*,*,*,素,モト,モト
組      名詞,接尾,一般,*,*,*,組,グミ,グミ
で      助詞,格助詞,一般,*,*,*,で,デ,デ
遊ん    動詞,自立,*,*,五段・バ行,連用タ接続,遊ぶ,アソン,アソン
で      助詞,接続助詞,*,*,*,*,で,デ,デ
い      動詞,非自立,*,*,一段,連用形,いる,イ,イ
ます    助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス
。      記号,句点,*,*,*,*,。,。,。
EOS
この年ならそれなりにエアーブラシで色を塗ったりして完成度を高めたいのですが、
この    連体詞,*,*,*,*,*,この,コノ,コノ
年      名詞,一般,*,*,*,*,年,トシ,トシ
なら    助動詞,*,*,*,特殊・ダ,仮定形,だ,ナラ,ナラ
それなり        名詞,一般,*,*,*,*,それなり,ソレナリ,ソレナリ
に      助詞,格助詞,一般,*,*,*,に,ニ,ニ
エアー  名詞,一般,*,*,*,*,エアー,エアー,エアー
ブラシ  名詞,一般,*,*,*,*,ブラシ,ブラシ,ブラシ
で      助詞,格助詞,一般,*,*,*,で,デ,デ
色      名詞,一般,*,*,*,*,色,イロ,イロ
を      助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
塗っ    動詞,自立,*,*,五段・ラ行,連用タ接続,塗る,ヌッ,ヌッ
たり    助詞,並立助詞,*,*,*,*,たり,タリ,タリ
し      動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て      助詞,接続助詞,*,*,*,*,て,テ,テ
完成    名詞,サ変接続,*,*,*,*,完成,カンセイ,カンセイ
度      名詞,接尾,一般,*,*,*,度,ド,ド
を      助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
高め    動詞,自立,*,*,一段,連用形,高める,タカメ,タカメ
たい    助動詞,*,*,*,特殊・タイ,基本形,たい,タイ,タイ
の      名詞,非自立,一般,*,*,*,の,ノ,ノ
です    助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
が      助詞,接続助詞,*,*,*,*,が,ガ,ガ
、      記号,読点,*,*,*,*,、,、,、
EOS
なかなかそこまでできません。
なかなか        副詞,助詞類接続,*,*,*,*,なかなか,ナカナカ,ナカナカ
そこ    名詞,代名詞,一般,*,*,*,そこ,ソコ,ソコ
まで    助詞,副助詞,*,*,*,*,まで,マデ,マデ
でき    動詞,自立,*,*,一段,連用形,できる,デキ,デキ
ませ    助動詞,*,*,*,特殊・マス,未然形,ます,マセ,マセ
ん      助動詞,*,*,*,不変化型,基本形,ん,ン,ン
。      記号,句点,*,*,*,*,。,。,。

本日はここまででした。

ブログ開設に必要なドメイン取得、サーバーレンタル、ASPの登録等は、こちらのサイトから!

コメント

タイトルとURLをコピーしました