東ロボくんの"苦手分野"を克服する

人工知能に勝る力を育む

新井紀子氏
国立情報学研究所
社会共有知研究センター
新井紀子センター長

平成27年度「教育の情報化」推進フォーラムで新井紀子氏(国立情報学研究所 社会共有知研究センター長)は、「AI(人工知能)が大学入試に合格する時代に求められる教育」について講演した。新井氏は、「『AI=デジタル』に負けないためにも『教科書の意味をきちんと読み取れる』力を身につける必要がある。現在、それを計測するためのテストを開発中で、協力校を募集している」と呼びかけた。

AI研究プロジェクト「ロボットは東大に入れるか」について新井氏は「AIによって現在あるさまざまな職業が奪われるといわれている中、AIすなわちデジタルにできること、できないことを明確にして、AIに『できない』能力をより鍛える教育の必要性を訴求するために始めた」と語る。

平成27年度「教育の情報化」推進フォーラムで新井紀子氏
現在「リーディングスキル」を計測するテスト開発中。協力校を募集している

人工知能・東大ロボット、通称「東ロボくん」の大学入試センター試験模試の結果は年々上昇しており、6月実施の「総合学力マーク模試」では5教科8科目で全国平均を大きく超え、偏差値は57・8と上位2割に到達。数1A、数2Bでは全国平均を30点近く上回った。なお国語では全国平均を15点下回った。

東ロボくんは、どのように試験を解いているのか。

元々得意な統計的処理や検索能力に加え、ディープラーニング(※)による画像判別などが可能になったことで、東ロボくんの精度が増した。

最も速く正答率50%を超えたのが、国語の評論文だ。これは「設問文」といくつかの「選択肢」における「文字のオーバーラップ(重複)率」や「文の長さ(妥当性)」で選択肢を判断。偏差値が最も高い世界史では、「誤答」を含む検察能力により高得点を獲得している。

東ロボくんは、「統計的に判断している」のだ。

では何が不得意なのか。

「言葉の重なりや文の長さが似ている『正誤判定問題』は、AIにとって難しい。『一単語』だけ異なる文章は、オーバーラップで判断すると、同じ意味であると判断してしまう。同義文判定や小論文も、絶望的に難しい」

その理由は「一切意味を理解していない」から。

ではなぜ、意味を理解できない「人工『無能』」が人間を凌駕したのか‐‐なぜ、意味を理解していなくても、受験生の上位2割の偏差値を獲得できるのか。

そこで新井氏は「中高校生は、入試問題や教科書の意味を正しく読めているのだろうか。読み取れていないのではないか」と考え、ある進学校(中学生計580名、高校生計640名)を対象に、紙面あるいはタブレットで調査を実施。教科書に掲載されている、読み取りにくい長文を提示して、それについて正しく読み取れているか否かを検証した。

すると、約2割が誤答であった。誤答の理由も分析したところ「東ロボと同じ仕組みでの誤答」が目立ったという。

これにより、優秀といわれている生徒であっても、「キーワード検索のように迅速に処理して文章あるいは相手の意図を誤解する場合がある」という傾向が明らかになった。さらに現在別の調査も実施中で「2か月後にはもっとショッキングな調査結果をお知らせできると思う」と語る。

「AIと違いを出して働くには、教科書の意味をきちんと読み取れる能力を身につけるべき。子供は様々な理由があって、機械のような解答をする。教科書が読めない実態とその理由を明らかにして、2020年までに教科書を読める子供に育てましょう」と呼びかけた。

現在、リーディングスキルを計測するテストを開発中だ。あらゆる教科の教科書を対象に文章をピックアップして、それが読み取れているか否かを計測するテストで、所要時間は、テスト版では20分程度。最終的には10‐15分程度で計測できるようにする。50万人の試験データ収集を目標にしており、「タブレットを使った計測に参加できる中学・高校はぜひ連絡を」と話した。

(※)深層学習。人間の脳神経回路の仕組みを真似て、データの分類・最適化を繰り返すことで精度を高めることができる仕組み。

 

【2016年4月11日】

関連記事

↑pagetop