日本語はあまりにも"異質"すぎる｜やはりAIにとっても日本語は異質だった件　⁠

ご覧いただきありがとうございます！
唐突ですが、日本語を喋ったことはありますか？
日本語が喋るということは実はそれ自体がほかの言語を扱うのとかなり違うのかもしれません。
今回は私なりに日本語が異質だと感じたことについて書いていこうと思います。　

日本語の文章って実はかなり異質

これはあくまで、日本語の文章としての型の話をしたいんじゃなくて、そもそも日本語という物自体からどういうものなのかという特性の話がしたいんです。
なので、言語学があぁだこうだは知らないでご了承ください。

文章構成や単語やオノマトペはさることながら、私は日本語の文章の作り方そのものが非常に面白い特性を持っているなと最近感じました。

日本語の本当に特徴的な点は英語などとは違い文章内の配置がきちんと決められてるわけではなくて、助詞を用いて自由に文章の形を決められる点にある気がしてます。

英語の場合はSV VC SVA SVO SVOA SVOCを軸として関係代名詞等でそれらを更に細分化する構造が原則だと思ってます。（英検３級だから間違えてるかも）

しかしながら日本語には確かに基礎的な型というものはあるものの順序というのはそこまで重要でないことが多いと感じており、実際に日本人はそれを意識することはあまりありません。

これがこうで、こうだったんだけど、だれがあれであれだったからこうだったけど・・・

これを日本人は直感的に喋ってるなと感じます。
あぁいう１文での表現ってなかなか他の国の言語では難しい（一応できなくはないけど直接的ではなくなっちゃう）と思います。

実はこれがあったから、日本において主語や述語や動詞や単語があそこまで多様な形を持ったのではっと考えることもできる気がします。

日本語の品詞が異質な理由

日本語の大きな特徴としては主語や述語や動詞や単語の形や変化に一貫性がないことだと思ってます。
ぶんぶんしてたってぶんぶんは動詞になるんですよ？　意味がわかりません。

でも、主語や述語や動詞や単語をきちんと区分して話していなかったとしたら納得がいくかもしれません。　
だからこそ、私は日本語を主語やら述語やらで区分する国語が嫌いです。

それはさておき、なにを中心に日本語は構築されているのか、それは主題です。　

題材そのものを中心として文章の形や文章構成そのものが逆説的に構築されるのです。

まぁでもこの違いはそもそも英語と日本語を比べてる時点でアンバランス、
西洋語と東洋語そのものでも違いを議論するようなことが起こっているわけですから日本語が特徴的であると言うには少し主張における理由として不十分かもしれませんね。

だからこそ、かなりの言語の中で日本語が外れ値であるということを統計学的にも示します。

日本語はAIにとっても異質

AIにおける日本語の回答は他の言語と比べて外れ値にあります。

トークン消費が尋常じゃないんです。

英語で１０００文字あたりのトークン250-300token程度でスペイン語などは300-350tokenで　中国語ですら500-700tokenで日本語では750-1000tokenっとなります。

つまり日本語は１文字あたりの圧縮率が高いというふうに読み取ることもできますね。　また、日本語でLLMを使うことでよりLLMに高い料金を取られてしまうのです。悲しいですね。

２つめはLLMの回答でゼロ照応(主語がない場合)の発生率は70%にも達します。　
しかし、英語ベースのモデルは統計的に最も出現頻度の高い主語を無理やり割り当てようとするため、日本語を使うことでハルシネーションの確率が上がります。
だからこそthinking modelでは日本語入力に対して一度英語に戻して英語で考えてから日本語で出力してます。(geminiなど)

やはり日本語利用のときは料金を下げる制度がほしいですね。

３つ目は語順の距離がぜんぜん違うということにあります。

交差言語転移の減衰は　英語 → フランス語: 推論能力の転移効率は約 80-90%となり

英語 → 日本語: 推論能力の転移効率は約 50-60% になるみたいです。

結論！

だからこそ私が英語ができないのは仕方なのないことだったのです。　そもそもの言語の特性から違うのですから。

まぁでもこういう視点で見れば今のLLMが次の単語を予測しようとする時点で、日本語を完璧に使いこなすのは不可能なのかもしれませんね。
ご覧いただきありがとうございました！