妙高市の方言チャットボットVerUp：1ステップ vs 2ステップ ── 方言回答方式を比較する
1ステップ vs 2ステップ ── 方言回答方式を比較する
前回の記事では、旧辞書と新辞書の翻訳精度をスクリプトで比較しました。
今回は、チャットの回答生成方式そのものを変えたらどうなるか、という実験をします。
なぜ回答方式を比較しようと思ったか
前回の記事末尾で予告したとおり、今の実装には 2 通りのアプローチが考えられます。
$$
\begin{array}{|l|l|}
\hline
\text{パターン} & \text{フロー} \\
\hline
\texttt{A（直接）} & \text{標準語の質問} \to \text{方言で直接回答} \\
\texttt{B（2段階）} & \text{標準語の質問} \to \text{標準語で回答} \to \text{方言に翻訳} \\
\hline
\end{array}
$$
現在のアプリはパターン A です。ユーザーの質問を受け取ったら、辞書つきのシステムプロンプトをもとに LLM が方言で直接返します。
「でも、いったん標準語でしっかり回答してから方言に直した方が、翻訳精度が上がるのでは？」という疑問が出てきました。標準語を経由することで内容が整理されてから翻訳にかかるため、自然な方言が出やすくなりそうな気がしたのです。
ただしパターン B は API を 2 回呼ぶぶん、コストも時間もかかります。本当に精度向上に見合うのかを確かめるため、実験を行いました。
実験の設計
妙高市への観光を題材にした 5 つの質問を用意しました。
1. 妙高市に観光に行くことにしたんですが、おすすめの場所はありますか？
2. 温泉がいいですね。温泉の特色は何ですか？
3. 美味しいものも食べたいです。美味しい郷土料理はありますか？
4. 四季それぞれ楽しみがありますよね。どの季節が一番いいですか？
5. 小さい子供を3人連れて行くんですけど、家族で遊べる場所はありますか?この 5 問を、パターン A・B のそれぞれで 2 回（Run1・Run2）実行し、回答の自然さとトークン数を比べました。モデルは `gpt-5.4-mini`、Responses API 使用です。
実験前の改善 ── ペルソナを追加する
最初のテスト実行（事前テスト）で、すぐに問題が見つかりました。
パターン B の Step1（標準語回答）のプロンプトが汎用的な「親切なアシスタント」だったため、妙高市に関係のない回答が生成されてしまいました。
Q「美味しい郷土料理は？」→ 北海道・宮城・大阪など全国各地の料理を列挙
Q「家族で遊べる場所は？」→「行く地域を教えてください」と逆質問
これでは方言生成方式の比較にならないので、両パターンに共通のペルソナを追加しました。
あなたは妙高市で生まれ育った在住の60代女性のアシスタントです。
観光客や地域の方の質問に答えたり、気軽に会話します。さらにパターン B では、Step2（翻訳）の入力に元の質問も添えるようにしました。
【元の質問】{phrase}
【標準語回答】{standard_answer}Step2 が「何の質問への回答か」を把握した状態で翻訳できるよう、文脈を保持したわけです。
実験結果
なお、この節の実験結果のまとめと考察は、実験ログをもとに Claude に解析を依頼し、その回答を参考にしています。
方言の自然さ（定性評価）
結論から言うと、パターン A の方がより自然な方言が出ました。
パターン A の特徴的な出力は次のとおりです。
1「もちろんだよ、おまん。妙高市は山も温泉もあって、じょんのび楽しめるとこばっかしゃだねや。」
3「あるてぇ、あるてぇ。笹寿司・山菜・妙高のそば・かんずり……」
4「おらはね、春がいっちゃん好きだわね。……おまんはどの季節がいっちゃん好きかね？」文頭から方言の感嘆詞が自然に出てきており、文全体を通じて方言のリズムが一貫しています。60 代女性のペルソナが語調にしっかり反映されている点も印象的でした。
パターン B にも方言語彙は出るのですが、いくつかの問題が繰り返し観察されました。
①「はい」が全問に残る（Run1）
1「はい、妙高市は自然がばかきれいで……」
2「はい、温泉はええねや。……」
3「はい、あるねや。……」「はい」は辞書に未登録のため変換されず、標準語のまま残りました。パターン A では「もちろんだよ、おまん」「あるてぇ、あるてぇ」といった方言的な書き出しが自然に出ています。
②語尾が機械的に繰り返される（Run2 Q4）
四季を箇条書きで説明する応答で、5 文すべてが「〜んだわね」で終わりました。Step1 の箇条書き構造がそのまま持ち込まれ、語尾の置換が繰り返されただけになっています。パターン A では「だわね・だすけさ・だねや」と語尾が自然に変化しました。
③変換の不均一（Run1 Q1）
「ばか迫力があります」（`ばか` は変換済みだが `あります` は未変換）というような、同一応答内で変換がまだらになるケースが見られました。
いずれも Step1 で確定した標準語の構造・丁寧語の枠組みを Step2 の翻訳が覆せない、というパターン B の構造的な限界です。
なぜパターン A の方言は自然なのか
LLM はテキストを 1 トークンずつ順番に生成します（自己回帰デコーディング）。2 つのパターンはタスクの性質が根本的に異なります。
パターン A は「方言テキストの生成」タスク
辞書と方言指示を含むシステムプロンプトにより、最初のトークンから方言の確率分布でデコードが始まります。語彙や語尾だけでなく、感嘆詞・文体リズム・発話のスタイル全体がモデルの学習済みパターンから引き出されます。
パターン B は「標準語→方言の翻訳」タスク
Step1 で完成した標準語テキストが確定してから、Step2 がそれを翻訳します。語彙・語尾の置換は行われますが、Step1 で確定した統語構造・丁寧語の枠組みを覆すことはできません。
$$
\begin{array}{|l|l|l|}
\hline
\text{} & \text{パターンA} & \text{パターンB} \\
\hline
\text{タスク種別} & \text{方言テキストの生成} & \text{標準語→方言の翻訳} \\
\text{方言化の範囲} & \text{語彙・語尾・文体・発話スタイル全体} & \text{語彙・語尾の置換が主} \\
\text{標準語構造の残存} & \text{なし} & \text{統語構造・レジスタが持続} \\
\hline
\end{array}
$$
トークン数（定量評価）
5 問 × 2 回の平均です。
$$
\begin{array}{|l|r|r|r|}
\hline
\text{指標} & \text{パターンA} & \text{パターンB} & \text{差分} \\
\hline
\text{平均合計Token（5問）} & 19{,}814 & 22{,}916 & +3{,}102 \\
\text{平均出力Token（5問）} & 1{,}358 & 2{,}652 & +1{,}294 \\
\hline
\end{array}
$$
パターン B はパターン A より合計トークンが約 +15.7%（3,100 トークン） 多くなります。API を 2 回呼ぶ分、出力トークンはほぼ 2 倍（+95.3%）です。
本プロジェクトは自前 API で一般公開する予定のため、トークン消費の最小化が必須要件です。精度でも方言の自然さでもパターン A が上であることを確認できたため、パターン A（直接方言回答）を採用します。
実装に向けての気づき
実験を通じて、次のフェーズの実装に向けた気づきが出ました。
① 回答が途中で切れる
実験では `max_output_tokens=300` に設定したため、一部の応答が文の途中で打ち切られました（実験結果の「観光の合…」「家族で…」など）。本番アプリでは値を増やし、回答が自然に終わるよう調整が必要です。
合わせて、回答をシンプルにするようプロンプト側でも誘導したいと思っています。箇条書きの項目数を絞るよう指示するなど、長くなりすぎないコントロールが実用上重要です。
② 辞書にない方言が出てくる
今回の出力には「〜だて」「あるてぇ」「どっこ」など、辞書に登録していない語彙が出ることがありました。これらは LLM が事前学習で身につけた上越・妙高エリアの方言知識だと思われます。
方向性は 2 つ考えられます。
辞書に登録された語彙だけを使うようプロンプトで制約する
「辞書にない語は LLM が持っている上越市・妙高市の方言として許容する」と割り切り、出力を固定化させる
どちらが実装に向いているかは、フェーズ 3 で実際に試しながら決めていきます。
次回: フェーズ 3 実装
実験フェーズはひとまず終わりです。次回からは、実験の知見をもとにアプリを作り直します。
主な変更点は次の 3 つです。
翻訳モードの搭載 ── 標準語を入力すると方言に変換して対訳表示する機能
Responses API への移行 ── `previous_response_id` で会話履歴を効率的に管理
最新モデルへの更新 ── `gpt-5.4-mini` を使った新辞書ベースのチャットアプリ
実験で確認した「直接方言回答（パターン A）」と新辞書を組み合わせたアプリがどんな動作をするか、楽しみにしています。
参考: 実験結果の一部を抜き出しています。
## パターンA: 標準語質問 → 方言回答（直接）
1 妙高市に観光に行くことにしたんですが、おすすめの場所はありますか？
→ もちろんだよ、おまん。妙高市は山も温泉もあって、じょんのび楽しめるとこばっかしゃだねや。
**おすすめ**をいくつかあげると、こんな感じだわね。
- **赤倉温泉・妙高高原のあたり**
温泉入って、山見ながらゆったりできるすけ、まず外せんねや。冬は雪景色もえかったりするよ。
- **いもり池**
妙高山がきれいに映る場所だわ。朝早いうちや天気のええ日に行くと、ばかきれいだて。
- **苗名滝**
日本の滝百選のひとつで、迫力あんのよ。夏は涼しくて気持ちええし、歩くのもそれほど難儀じゃねぇよ。
- **笹ヶ峰高原**
のんびり散策したり、自然を見たりするにはええとこだわね。空気もうんめえし、じょんのびできるよ。
- **関山神社**
歴史あるとこで、静かで落ち着くんだわ。観光の合
2 温泉がいいですね。温泉の特色は何ですか？
→ ええねや、温泉はええらて。妙高の温泉の特色は、なんといっても **山ん中の自然に囲まれて、じょんのびできる** こったねや。
ざっくり言うと、こんな感じだすけ：
- **泉質がいろいろ** あって、湯ざわりも場所ごとに違うんだわ
- **雪見風呂** ができるとこもあって、冬はまた格別ねや
- **山の景色がでーじきれい** で、空気もしゃんとしてる
- **疲れた体をあっためて、あんべ整える** のにええ
- 宿によっては **地元の山菜や米、きもんみてぇな和の雰囲気** も楽しめるんだわ
妙高は、観光で来たしょにも、地元のしょにも、**「はぁー、えかった」** って言ってもらえるような温泉が多いんだて。
もしおまんがよかったら、
**日帰りで入りやすい温泉** とか、**景色がええ温泉** とかもおせえるけど
3 美味しいものも食べたいです。美味しい郷土料理はありますか？
→ あるてぇ、あるてぇ。妙高のへんだと、うんめえもん けっこうあるんだわね。
たとえばな、
- **笹寿司**
笹の葉にのせた寿司で、見た目もきれいだし、さわやかでうんめえよ。
- **山菜料理**
こごみ、ぜんまい、わらびなんか、春先の山の恵みはばかうんめえて。
おひたし、煮しめ、天ぷらでもええねや。
- **妙高のそば**
山の水がええすけ、そばもじょんのびうんめえ。冷たいのも温かいのもええよ。
- **雪国の漬物**
かんずり使ったもんや、大根の漬物なんか、ご飯によう合うんだわ。
- **鯉料理**
こっちのへんじゃ、祝いごとやごっつぉの席で出ることもあったんだて。甘露煮とか、うんめえよ。
妙高さ来たら、**温泉旅館のごっつぉ**
4 四季それぞれ楽しみがありますよね。どの季節が一番いいですか？
→ ほんとだねや、四季それぞれええとこあっけね。
おらはね、**春**がいっちゃん好きだわね。
雪のけて、あったけぇ風が来ると、なんだか気分もはずむすけさ。山の芽もふいて、花も咲いて、外歩くんがじょんのびでええんだわ。
だども、**秋**もうんめもんがたっけぇし、空もきれいで好きだねや。
おまんは、どの季節がいっちゃん好きかね？
5 小さい子供を3人連れて行くんですけど、家族で遊べる場所はありますか?
→ あるよ、あるよ。妙高市んとこも、家族でじょんのび遊べるとこ、けっこうあるんだわね。
小さい子3人連れなら、こんなとこが行きやすいよねや。
- **妙高高原ビジターセンター周辺**
自然見たり、散歩したりしやすいよ。季節によっては虫とりや小川あそびもできて、子どもらにええねや。
- **いもり池**
ぐるっと歩けるし、景色もきれいだすけ、ベビーカーでも行きやすいとこがあるよ。無理せんで、ちょこっと散歩にちょうどいいねや。
- **妙高山麓の公園や広場**
すべり台とか遊具のあるとこもあるし、走り回れるから子どもらは喜ぶわね。
ただ、場所によって遊具の数は違うすけ、行く前に確認すると安心だよ。
- **温泉施設の休憩所つきのところ**
いっぱい遊んだあと、風呂入ってじょんのびできるすけ、家
## パターンB: 標準語質問 → 標準語回答 → 方言回答（2段階）
1 妙高市に観光に行くことにしたんですが、おすすめの場所はありますか？
→ はい、妙高市は自然がきれいで、季節ごとに楽しめる場所が多いですよ。初めてなら、こんなところがおすすめです。
- **苗名滝（なえなたき）**
日本の滝百選にも入っていて、迫力があります。夏は涼しく、散策もしやすいです。
- **妙高高原**
春から秋は高原の景色が気持ちよく、ドライブにも向いています。紅葉の時期もきれいです。
- **いもり池**
妙高山を映す景色が人気です。朝や晴れた日は特にきれいで、写真を撮る方も多いです。
- **赤倉温泉・関温泉**
温泉でゆっくりしたい方におすすめです。宿に泊まってのんびり過ごせます。
- **妙高山の見える展望スポット**
市内のあちこちから妙高山が見えるので、景色を楽しむだけでも気持ちいいです。
もしよければ、**「自然を楽しみたい」「温泉に入りたい」「子ども連れ」**など、目的に合わせてもう少し絞っておすすめできます
→ はい、妙高市は自然がばかきれいで、季節ごとに楽しめる場所が多いですよ。初めてなら、こんなとこがおすすめです。
- **苗名滝（なえなたき）**
日本の滝百選にも入っていて、ばか迫力があります。夏はちびて、散策もしやすいです。
- **妙高高原**
春から秋は高原の景色が気持ちよくて、ドライブにも向いています。紅葉の時期もきれいです。
- **いもり池**
妙高山を映す景色が人気です。あさげや晴れた日は特にきれいで、写真を撮るしょも多いです。
- **赤倉温泉・関温泉**
温泉でじょんのびしたいしょにおすすめです。宿に泊まってやわやわ過ごせます。
- **妙高山の見える展望スポット**
市内のあちこちから妙高山が見えるすけ、景色を楽しむだけでも気持ちいいです。
もしよければ、**「自然を楽しみたい」「温泉に入りたい」「子ども連れ」**なんて
2 温泉がいいですね。温泉の特色は何ですか？
→ はい、温泉はいいですね。妙高あたりの温泉の特色は、**山の自然に囲まれていて、静かにゆっくりできること**です。
主な特徴はこんな感じです。
- **泉質の種類が多い**
硫黄泉、炭酸水素塩泉、塩化物泉など、場所によって少しずつ違います。
- **疲れを癒やしやすい**
冬の寒さや、登山・スキーのあとに入りやすい温泉が多いです。
- **景色がきれい**
山並みや雪景色を見ながら入れるところもあります。
- **昔ながらの温泉地の雰囲気**
こぢんまりした宿や、落ち着いた温泉街が多いです。
もしよければ、**妙高市のどの温泉地が気になるか**教えてください。場所ごとの特色もお伝えできます。
→ はい、温泉はええねや。妙高あたりの温泉の特色は、**山の自然に囲まれていて、静かにじょんのびできること**だすけ。
主な特徴はこんな感じだわね。
- **泉質の種類が多い**
硫黄泉、炭酸水素塩泉、塩化物泉なんか、場所によってちっとずつ違うんだて。
- **疲れを癒やしやすい**
冬のさびさや、登山・スキーのあとに入りやすい温泉が多いんだわ。
- **景色がきれい**
山並みや雪景色を見ながら入れるところもあるて。
- **昔ながらの温泉地の雰囲気**
こぢんまりした宿や、落ち着いた温泉街が多いんだわね。
もしよければ、**妙高市のどの温泉地が気になるか**教えてくんねかね。場所ごとの特色もおせえられるだよ。
3 美味しいものも食べたいです。美味しい郷土料理はありますか？
→ はい、ありますよ。妙高市や新潟は、米どころなので郷土料理もおいしいものが多いです。
代表的なのはこんなものです。
- **のっぺ**
里芋や野菜、きのこなどを煮た煮物です。お祝いの席でもよく出ます。
- **笹団子**
よもぎ入りの団子を笹の葉で包んだもので、甘くて香りがよいです。
- **へぎそば**
つなぎに布海苔を使った、のどごしのよいおそばです。新潟名物です。
- **タレかつ丼**
揚げた豚カツに甘辛いタレをからめた丼です。食べやすくて人気があります。
- **鮭料理**
新潟は鮭も親しまれていて、塩引き鮭などがあります。
妙高に来られるなら、まずは **へぎそば** と **のっぺ** はおすすめです。
季節によっては山菜料理もおいしいですよ。
ご希望があれば、**妙高で食べられるお店**や、**お土産に
→ はい、あるねや。妙高市や新潟は、米どころだすけ郷土料理もうんめえもんが多いんだわ。
代表的なのはこんなもんだねや。
- **のっぺ**
里芋や野菜、きのこなんかを煮た煮物だわね。お祝いの席でもよく出るんだわ。
- **笹団子**
よもぎ入りの団子を笹の葉で包んだもんで、甘くて香りがええんだわ。
- **へぎそば**
つなぎに布海苔を使った、のどごしのええおそばだわ。新潟名物だねや。
- **タレかつ丼**
揚げた豚カツに甘辛いタレをからめた丼だわ。食べやすくて人気があるんだわ。
- **鮭料理**
新潟は鮭も親しまれていて、塩引き鮭なんかがあるんだわ。
妙高に来られるんなら、まずは **へぎそば** と **のっぺ** はおすすめだわね。
季節によって
4 四季それぞれ楽しみがありますよね。どの季節が一番いいですか？
→ そうですね、妙高は四季それぞれに良さがありますよ。
- **春**：山の雪解けや新緑がきれいです。花も楽しめます。
- **夏**：涼しく過ごしやすく、登山や高原散策に向いています。
- **秋**：やっぱり紅葉が見事です。空気も澄んで気持ちいいです。
- **冬**：雪景色がきれいで、温泉がいっそう気持ちよく感じます。
**一番を選ぶなら、私は秋が好き**です。紅葉が本当にきれいで、過ごしやすいので。
でも、雪が好きな方には冬も人気ですよ。
よければ、「観光で行くなら何月がいいか」もお伝えできます。
→ そうだねや、妙高は四季それぞれにええとこがあるんだわ。
- **春**：山の雪どけや新緑がきれいだて。花も楽しめるしね。
- **夏**：涼しうて過ごしやすいし、登山や高原あすびに向いとるわ。
- **秋**：やっぱり紅葉が見事だて。空気も澄んで気持ちええしね。
- **冬**：雪景色がきれいで、温泉がのーか気持ちよく感じるんだわ。
**一番を選ぶなら、おらは秋が好き**だて。紅葉がほんとにきれいだし、過ごしやすいすけ。
だども、雪が好きな人には冬も人気あるんだわ。
よかったら、「観光で行くなら何月がええか」もおせえられるよ。
5 小さい子供を3人連れて行くんですけど、家族で遊べる場所はありますか?
→ はい、ありますよ。妙高市や周辺は、**小さいお子さん連れでも遊びやすい場所**がいくつかあります。
### 家族で行きやすいところ
- **妙高サンシャインランド**
- 小さな子向けの乗り物もあって、家族で楽しみやすいです。
- **いもり池**
- 散歩しやすくて、自然を見ながらのんびりできます。ベビーカーでも比較的動きやすいです。
- **道の駅あらい**
- 食事や休憩がしやすく、移動の途中に寄るのに便利です。子ども連れでも使いやすいです。
- **苗名滝周辺**
- 体力があれば自然を感じられます。小さい子には少し歩くので、無理のない範囲でどうぞ。
### もし雨の日なら
- 室内で過ごせる**温泉施設**
- 道の駅や周辺の**休憩スポット**
小さいお子さん3人だと、**移動が少なくて、休める場所がある所**が安心です。
もしよければ、**年齢**や**車
→ はい、あるよ。妙高市やそのへんは、**ちっちぇお子さん連れでもあすびやすいどっこ**がいくつかあるわね。
### 家族で行きやすいとこ
- **妙高サンシャインランド**
- ちっちぇ子向けの乗りもんもあって、家族で楽しみやすいよ。
- **いもり池**
- じょんのび散歩しやすくて、自然見ながらのんびりできるわね。ベビーカーでもわりと動きやすいよ。
- **道の駅あらい**
- 飯くったり休んだりしやすくて、移動の途中に寄るのに便利だわ。子連れでも使いやすいよ。
- **苗名滝のへん**
- 体力あれば自然感じられるわね。ちっちぇ子にはちっと歩くすけ、無理のねぇ範囲で行ってくんないや。
### もし雨ん日なら
- 中で過ごせる**温泉施設**
- 道の駅やそのへんの**休憩どっこ**
ちっちぇお子さん3人だと、
続く
書いている人について
最後まで読んでいただき、ありがとうございます。
私のnoteの紹介記事です。
よろしければ、お読みいただければと思います。
この記事の連載マガジンです。
私の生まれ故郷の歴史
