【AI基礎】トークンって何？—文字が"部品"になる話

こんむぎわ〜♪

むぎ屋のnoteに来てくれて、本当にありがとうございます！お昼のひと時の時間まで頑張ってるあなたを心から応援したいです(´∀｀)

今日は「トークン」っていう大事な話をしたいんです。

「文章が短くなる」謎の現象に困惑した、あの日

実は私、AIを使い始めた頃にめちゃくちゃ困ったことがあって。

副業でブログ記事を書くために、ChatGPTに「2000文字くらいで記事を書いて」ってお願いしたんです。 でも返ってきたのは、どう見ても1000文字くらいの短い文章。

「あれ？指示が伝わってない？」って思って、もう一度同じことを聞いたんです。 今度は違う文章が返ってきたけど、やっぱり短い。

何度やっても同じ。 日本語がおかしいのかな？って思って英語で聞いてみたら、今度はちゃんと長い文章が返ってきたんです。

「なんで日本語だとダメなの？ChatGPT、日本語嫌いなの...？」

もうパニックでした。 何が悪いのか全然分からなくて、すごく混乱したんです。。。