ChatGPTは、大量のドキュメントを用いて訓練された大規模自然言語モデルです。文章の一部をマスクし、マスクされた部分を予測するMasked Language Modeling（MLM）という手法によって、人間の手を煩わすことなく大量データかつ大規模モデルを訓練することが可能となりました。様々な自然言語処理に関するタスクにおいて、MLMで事前訓練されたモデルが成果を出しています。特にChatGPTでは、タスクに合わせたFine-Tuning（モデルの再訓練）を必要とせず、Prompt（ChatGPTへの質問文）の工夫をするだけで、様々なタスクに対してZero-shot（タスクの質問回答例を1個も用意しないよう）な回答を行うことができます。それに加え、多くの分野の質問に詳細に答えることができるという点で非常に注目されています。

ChatGPTが情報分野の関係者のみならず、一般大衆に広く膾炙した要因の一つとして、受け答えが人間が書いたものと容易に区別が付かないほど自然である、というものがあると思います。このことから、「ChatGPTは日本語や英語を母語話者（いわゆるネイティブのこと）並みに理解している」と思った人も多いと思いますが、本当にそうなのでしょうか。ChatGPTは、大量のデータから学習したパターンをもとに、受け取ったPromptに続く可能性の高いテキストを生成している、という仕組みです。人間も今までの経験をもとに、その場その場で適切な返答を選んでいるため、ある意味人間と似た仕組みだと言えるかもしれません。

仕組みが似ていて、返す返答が自然だからと言って、「ChatGPTは日本語や英語を母語話者並みに理解している」というのは早計です。少し実験してみましょう。

実験

ChatGPTに以下のように聞いてみます。

「今、雨が降っていますか」という質問に対する次の返答が日本語として自然であるか判定してください。

 1. 「はい、雨が降っています」
 2. 「はい、雨は降っています」
 3. 「いいえ、雨が降っていません」
 4. 「いいえ、雨は降っていません」

日本語が母語の人は考えてみてほしいのですが、もしこの問題を出されたらどう答えますか。

おそらくほとんどの人は3が不自然で1,2,4が自然と答えると思います。（ちなみにこの例は日本語学の論文(日本語における否定文の指導に関する一考察　―⊶否定辞「ない」と助詞「は」を中心として――)から持ってきた例です。）

もし、ChatGPTが日本語母語話者と同じように言語を理解しているとしたら、同じように答えるはずです。しかし、2023年9月25日版のChatGPT-4は以下のように返答しました。

「今、雨が降っていますか」という質問に対する返答の判定は以下の通りです。

 1. 「はい、雨が降っています」 - これは自然な日本語です。
 2. 「はい、雨は降っています」 - これも自然な日本語ですが、文脈によっては「は」を使うことで前の文や状況との関連を示すニュアンスが含まれる場合があります。
 3. 「いいえ、雨が降っていません」 - これは自然な日本語です。
 4. 「いいえ、雨は降っていません」 - これも自然な日本語ですが、同じく「は」を使うことで前の文や状況との関連を示すニュアンスが含まれる場合があります。

 結論として、すべての返答は自然な日本語ですが、2と4の「は」の使用は文脈やニュアンスによって異なる解釈がされる可能性があります。

1と2の間にニュアンスの違いがあると判定しましたが、3が不自然であるとは判定しませんでした。日本語の「が」と「は」はChatGPTが学習したデータセットにも多く登場すると思われますが、どちらも同じような箇所に登場するため、違いを学習できなかったのかもしれません。

英語でも実験してみます。こちらも言語学の論文(Acceptable Ungrammatical Sentences, Unacceptable Grammatical Sentences, and the Role of the Cognitive Parser)から持ってきた例文で試してみます。

Determine whether the following phrases are natural or grammatical in English.
 
1. John said to Mary that he likes doing linguistics.
2. Colorless green ideas sleep furiously.
3. What did Peter eat ravioli and?
4. Fewer people have been to Tromsø than I have.
5. The patient the nurse the clinic had hired admitted met Jack.
6. That that that Bill left Mary amused Sam is interesting is sad.
7. To he likes that linguistics John Mary doing said.
8. The doctor the nurse the hospital had hired met John.

と聞いてみます。論文によるとこちらの正解は

1. 文法的で自然に聞こえる
2. 文法的だが不自然に聞こえる
3. 非文法的で不自然に聞こえる
4. 非文法的だが自然に聞こえる
5. 文法的で自然に聞こえる
6. 文法的だが不自然に聞こえる
7. 非文法的で不自然に聞こえる
8. 非文法的だが自然に聞こえる

です。非文法的だが自然に聞こえるというのは、母語話者はあまり違和感は感じないが、意味を取ろうとすると動詞と主語の対応がおかしいなどの理由で意味が取れないというものです。

ChatGPTは以下のように返答しました。

Let's evaluate each phrase:

1. "John said to Mary that he likes doing linguistics."
   - **Natural and grammatical.**

2. "Colorless green ideas sleep furiously."
   - **Grammatical** but **not natural**. This is a famous example by Noam Chomsky used to demonstrate that a sentence can be syntactically correct but semantically nonsensical.

3. "What did Peter eat ravioli and?"
   - **Neither natural nor grammatical.** The structure is off, making the question confusing.
4. "Fewer people have been to Tromsø than I have."
   - **Natural and grammatical.**
5. "The patient the nurse the clinic had hired admitted met Jack."
   - **Neither natural nor grammatical.** The sentence is difficult to parse and understand due to its structure.
 
6. "That that that Bill left Mary amused Sam is interesting is sad."
   - **Grammatical** but **not very natural**. It's complex and could be quite confusing to many speakers due to its repetitive use of the word "that" and its nested structure.
 
7. "To he likes that linguistics John Mary doing said."
   - **Neither natural nor grammatical.** The word order is jumbled and doesn't make sense in English.

8. "The doctor the nurse the hospital had hired met John."
   - **Grammatical**, but the structure makes it **less natural** and harder to understand. A clearer way to phrase this would be: "The doctor who met John is the nurse the hospital had hired."

In summary, while some of these sentences are grammatically correct, several of them are not natural and would be confusing to most English speakers. Some are neither grammatical nor natural.

1,2,3,6,7が正解で、4,5,8は誤答でした。特に5と8については文法的か否かと自然に聞こえるか否かの両方を間違えてしまっています。8についてはChatGPTは勝手に単語(is)を加えて意味のある文にしており、非文法的だと気づいていませんが、母語話者は意味を取ろうとしても非文法的であることに気づいて意味が取れないため、母語話者とは違うやり方で文を捉えていることになります。

もう一つ実験してみます。共通語ではないが、日本語母語話者なら類推で意味が分かりそうな文章の意味を聞いてみます。出典はこの記事(弘前経済新聞 2023年5月20日 「ばやめいで」「まいはんで」　津軽弁の交通安全標語に小学生の新作4作)です。

津軽弁の文章の意味の解説はできますか？

はい、津軽弁の文章の意味の解説はできます。どの文章を解説してほしいですか？

「なあしちゃんず　車でよそみ　まいはんで」を解説してください。

「なあしちゃんず　車でよそみ　まいはんで」という津軽弁のフレーズに関して、以下にその意味を解説します。

「なあしちゃんず」: 標準語で「何しているの」や「何をしているの」を意味します。
「車でよそみ」: 標準語で「車を見ている」という意味になります。
「まいはんで」: 標準語で「毎日」という意味です。
したがって、このフレーズ全体での意味は、「毎日、何をしているの？車を見ているの？」となります。

日本語母語話者の多くは「車でよそみ」が共通語と同じなので、おそらく「何しているんだ　車でよそみ　ダメでしょう」という意味だと類推できると思いますが、ChatGPTはその部分を共通語とは違う意味だと解釈しています。また、「津軽弁を解説できる」とはっきり答えながら、かなり的外れなことを言っています。ChatGPTは間違っている場合や失敗した場合に不利益を被るといったことが存在しないため、「できる」とはどういうことなのか認識していないのかもしれません。

なぜこんな実験をしたのか

なぜこのような重箱の隅をつつくような真似をするのかと思うかもしれませんが、実は、ChatGPT等の自然言語モデルの存在および仕組み自体ががある学問の進展に大きく寄与する可能性を秘めており、非常に興味深いからです。言語学という人間の言葉を研究する学問があります。その中でも、生成言語学と認知言語学という、人間がどのように母語を習得するのかを研究する分野があります。生成言語学は、人間の脳には全ての自然言語に共通する言語法則（普遍文法と呼ばれます）が先天的に入っており、それをもとにしつつ、周りの人間からのインプットを使って、母語を習得するという仮説のもと、人間の母語習得の仕組みを解明しようとしています。一方、認知言語学は、普遍文法などというものではなく、人間に備わっている、物事を知覚して解釈する認知能力を利用することで言語を習得するという仮説に基づいています。

この2つの分野は互いにどちらの仮説が正しいかについて数十年間論争を繰り広げてきました。ChatGPTの登場は、この論争のターニングポイントとなりました。なぜなら、普遍文法を仮定せずとも、インプットを大量に与えれば、言語を話せるようになるという証拠を与えたからです。ただし、これで認知言語学側の完全勝利かというと、そういうわけではありません。人間が母語を習得する際に得るインプットはChatGPTの訓練データセットよりも少ないですし、上で見たように、人間とは言葉の捉え方が異なる点があるようなので、人間の母語習得の仕組みがChatGPTによって再現されたとはみなせないからです。

ただし、今後、これらの人間との相違点が解消されれば、その時は認知言語学が正しかったという結論が出る可能性はあります。

今後もChatGPTを含む大規模言語モデルの発展に注目していきます。

今井 湖都 2023年10月19日