意思決定には大きく分けて2つのアプローチ、演繹的アプローチと帰納的アプローチがあり、人間はこれを状況に応じて使い分けています。
理論に基づく手順に従うことで、“必ず正しい答えを導く”のが
演繹的アプローチ、理論に基づく手順を示すことが出来ないケースでデータをもとに”おそらくだいたい正しい答え”を導くのが
帰納的アプローチです。
これまでコンピューターは演繹的な使われ方をするのが一般的でした。三角形の面積の計算であれば「底辺 × 高さ ÷ 2」という手順をプログラムに記述しておけば、底辺と高さを入力すれば必ず正しい面積を計算してくれます。
今のAIブームを支えている機械学習(ディープラーニングは機械学習の一種)では、コンピューターを使って帰納的なアプローチを行います。手順をプログラムの落とし込むのが難しいケースで、過去のデータを元にあぶり出した傾向を元に「おそらくだいたい正しい」答えを導くのです。
BERTは機械学習(ディープラーニング)を使っているので帰納的アプローチに分類されます。東ロボは、科目・問題ごとに両方のアプローチを使い分けています、数学では演繹的アプローチ、世界史、英語では帰納的アプローチといった具合です。
東ロボチームは、英語の試験では帰納的アプローチ(機械学習を使った自然言語処理)を使っており、ここで意味を理解しない実装による限界に突き当たったと言っています。
自然言語処理は、昔は言語学者を入れ、文法を考慮した演繹的なアプローチを行っていましたが、それだと精度が上がらず、帰納的アプローチにスイッチした経緯があります。帰納的アプローチでは文法などはあまり考慮せず「ある単語の周りにどんな単語がよく出てくるか」といった情報を元に推測を行います。これは機械学習を使った自然言語処理に最初に触れた人が「こんなので大丈夫なのかな?」と不安を抱くポイントですが、実際この手法で演繹的な手法では実現できなかった高い精度を出すことに成功しています。
しかし、帰納的アプローチをとる機械学習では出てくる答えは、必ず正しい訳ではありません。またデータから導き出した傾向を元に予測を行うので、多くの場合その予測が導かれた
理由を論理的に説明することはできず、人間から見ると「
素っ頓狂な間違い」をする場合があります。このあたりを東ロボチームは『
意味を理解しない』実装であり、限界があると指摘しています。