MkItYs: まとめ：大規模言語モデルの推論のためのメモリ：ChatGPT, Prolog

言語モデルに、推論をそれなりに明示的に与えるやり方を考えてみます。

◯: 背景

ＡＩの言語モデルが大規模になって、対話型ＡＩも、とてもスムーズな会話ができるようになりました。［※１］

とくに面白いのは、＜推論＞のようなことも、それなりにできるようになったことですーーたとえばChatGPT のGPT-3.5 がもつ英語の言語では、「おかあさんのおかあさんはおばあちゃん」という言葉のルールが埋め込まれてしまったようで、それぞれのおかあさんの情報を与えて「〜のおばあちゃんは？」と聞くと、ちゃんと答えてくれます。［※２］

◯: 問題

とはいえ、ある言語モデルにどのような推論ができるのかは、じっさいに試してみないと分かりません。そもそも学習によって埋め込こまれなかったルールは、とうぜんながら利用できません。

◯: 主題

ここでは言語モデルに、推論をそれなりに明示的に与えるやり方を考えてみます。

※１: 最近の言語モデルの成果は、ほぼモデルのパラメータ数の増大がもたらしています。

※２: ChatGPT のGPT-4 では、日本語にもそのルールが埋め込まれてしまったみたいですね。