第6回  To memorize, or not 覚えるか、忘れるか、それが問題だ。

コンピュータが生まれてしばらくした頃、コンピュータによって生まれる人工知能とは、「一度覚えたことは決して忘れない」ものであるだろうと考えられていた。それが人間と違って機械知性の優れたところだと信じられていたのだ。

ところが今日の人工知能研究では、むしろ効率的に忘れることが重要だということが分かってきている。「忘れる」とは、重要な情報かそうでないかを取捨選択し、重要な方を残す、ということだ。
第5回「会話する人工知能」を読む

覚えることよりも適切に忘れることのほうが難しい

原始的なニューラルネットワークのひとつにアソシアトロンというものがある。アソシアトロンは「プラス」「マイナス」「不明」の3状態を持つ記銘/想起ネットワーク[※]だ。

※記憶には、「記銘」「保持」「想起」という3つのプロセスがある。記銘はインプットすることで、保持は長期記憶として保つこと、想起は必要な時に思い出すこと。

あるパターンを記銘させておくと、ノイズで一部の情報が欠落しても、もとのパターンを思い出す(想起する)ことができる。

原理は単純で、あるニューロンと他の全てのニューロンが相互に接続されていて、それぞれのニューロンとニューロンの間のシナプスが「うちのニューロンがプラスのときは、あのニューロンはマイナス」というようなことを記憶(記銘)しておく。思い出す(想起する)ときは、欠落部分、つまり「不明」のニューロンの値をそれぞれプラスかマイナスかわかっているニューロンからのいわば「多数決」で決定する。このとき、「自分はプラス(またはマイナス)だ」と主張するニューロンがあっても、全体のバランスから「いや、お前はマイナスだ」と多数決で決まってしまうと、そのニューロンの主張はノイズとして除去されてしまう。

アソシアトロンに覚えさせるパターン数に制限はないが、面白いのは、あまりにたくさんパターンを覚えさせると記憶が曖昧になり、うまく思い出せなくなるという性質だ。うまく思い出せない場合というのは、たとえば複数のパターンが複合して思い出されたり(記憶がごっちゃになる)、もしくは欠落部分がどうしても思い出せない(記憶に穴があく、曖昧になる)という状態だ。人間の記憶にも似たようなことがあるだろう。

この現象からわかることは、正確に覚えることよりも適切に忘れることのほうがずっと難しく、そして重要かもしれないということだ。

実際、ごっちゃになったり曖昧になったりする記憶というのは、普段あまり使わない記憶ではないだろうか。急に思い出そうとしたらなかなか思い出せなかったり、他の記憶と混同したりするという現象だ。

しかしある記憶をいつ忘れるべきなのか、ということをプログラマが決めるのはかなり難しい。

深層学習を使った自然言語解析などに用いられるLSTM(Long short-term memory)という仕組みは、まさしく記憶をいつまで維持すべきかということも学習する。

LSTMにはいろいろな世代があるが、最近よく使われているLSTMには忘却ゲートという仕組みが用意されている。これは簡単に言えば、それまで学んだ内容をいつ忘れるべきか学習する仕組みだ。

LSTMを使うと、それまでの機械学習にはできなかった時系列データの理解ができるようになる。たとえば気温変化や相場の変動といったことから、文章の内容がポジティブなものかネガティブなものか、その文章がポエムなのかニュースなのかといったことまで分類できることが期待されている。

Wikipediaの全文を読んであらゆる質問に答える人工知能

LSTMを用いた自然言語解析は様々なものが実験されているが、ひとつ面白い成果としてFacebook AI Researchが公開しているオープンソースの人工知能、「DrQA」を紹介しよう。

DrQAはWikipediaの全文を読み、その上でさまざまなクイズの問題と答えを学び取り、そこからあらゆる質問に答える。

たとえば、「Who is the President of the USA in 1996?」(1996年のアメリカ大統領は誰か?)という質問をしてみよう。

Presidentという記述もUSAという記述も1996という記述も、Wikipediaには死ぬほどある。これまでのAIだと、そのキーワードだけを検索しても事実を抜き出すのは難しく、この質問から「ジョージ・W・ブッシュ」という正解を導き出すのは困難だった。
それが、忘却ゲートという仕組みのあるDrQAならば、情報の大事なところだけを記憶しているため、ちゃんと正解にたどりつくことができる。

ちなみに、DrQAがジョージ・ブッシュと答える根拠となったWikipediaの項目は何かというと、「Foreign relations of India(インドの外交関係)」だ。この項目のなかにある、「The USA, under President George W. Bush has also lifted most of its sanctions on India and has resumed military co-operation.(米国は、ブッシュ大統領のもとでインドに対する制裁の大部分を解除し、軍事協力を再開した)」などの文章から、「1996年のアメリカ大統領は誰か?」に対する答えを導き出したというわけだ。

DrQAは少し試すだけでもそうとう面白いのだが、当然ながら万能ではない。質問文がクイズの問題のような明快な英文じゃないと正しく解釈できないし、全ての質問に正しく答えることができるわけではない。

たとえば質問の仕方として、「○○年のアメリカ大統領は?」と聞くと正しく答えられるが、「20世紀でもっとも偉大なアメリカ大統領は?」と聞くとちゃんと答えられない。偉大さはいろんな評価軸があるし、Wikipediaを参照しても「この人が最も偉大」とは書いてないからだ。つまり答えのない質問や主観によって別れる質問には正しく答えられない。

ちなみに「20世紀で最も偉大な歌手は?(Who was the greatest singer of the 20th century?)」と聞くと「フランク・シナトラ」と答える。疑問に思って調べてみると、ちゃんと

American music critic Robert Christgau referred to Sinatra as “the greatest singer of the 20th century”

という一節がWikipediaにあった。
このようにエヴィデンス(根拠)がある場合は正確に出てくる。

それでも、深層学習だけでここまでの答えが出せるというのは控えめに言っても驚異的なことだ。近い将来、Wikipediaの知識だけから、ほとんど完璧な答えを導き出す人工知能が生まれてもおかしくないだろう。

仮に、Wikipediaの全項目を丸暗記している人間がいたとしたらかなりの驚異だが、1年間に100万本発表されるとも言われる新規論文を人工知能が全て読むことができ、エヴィデンスのあるあらゆる質問に答えることができるようになったら……。

人工知能は人間を超えていくのではないだろうか。
次回は人工知能が人間の能力を超えたとも言われている、強化学習について紹介しよう。

<今回のまとめ>
●最新の人工知能研究では、すべての情報を覚えていることよりも「効率的に忘れること」が重要だとわかってきた
●自然言語解析などに用いられるLSTMという仕組みには、それまで学んだ内容をいつ忘れるべきか学習する仕組みが備わっている
●LSTMを用いた人工知能「DrQA」は、驚くべき成果を上げている