「ChatGPT」と「Claude」プログラマーとして優秀なのはどっち？

ChatGPT君雇いました

生成系AI（Chat GPT）が登場して、当初は文章書かせてみたり、翻訳させてみたり、会話してみたりしていましたが、個人的に一番「すげー！！」と思ったはコード生成、すなわちプログラミングでした。

そこで、2023年2月にChatGPT Plus君を月20$で雇い入れ、最近まで彼にコードをたくさん作ってもらっておりました。

Claude君も雇いました

そんな折、突然「ChatGPT君並みに賢い」という触れ込みのClaude君が登場します。彼の雇い賃も月20$（Pro Plan）。少ない小遣いをやりくりしている私としては、Claude君もよさそうだけど、2人とも雇うのはさすがに予算オーバーかな？ と思案にくれていたのですが、結局は好奇心に負けて2024年4月にClaude君も迎えることになりました。
つまりは、実際に使ってみて、使えないほうを切ればいい、というドライな判断です。

ChatGPT vs Claude、1つ選ぶならどっち？

そのようなわけで、ChatGPT君との付き合いが約1年、Claude君との付き合いが3か月程度ではありますが、現時点でどちらかを選ぶとなると、

＼Claude君／

ですかね。次に、その理由をまとめてみます。

長いコードがスムーズに生成される

一番の理由は、ChatGPT君よりClaude君のほうが、長いコードがスムーズに出力してくれる感じがするからです。私がプログラミングするコードの量は、おおむね最大200～400行ぐらいです。200行ぐらいまでは、ChatGPTも比較的スムーズにコードを生成してくれるのですが、長くなってくると、コードを短くしようするバイアスが働き始めます。気が付いてみたら、いままで備わっていた機能が消えてしまうことが頻発します。

それと比較すると、Claude君は200行を超えるコードであっても、そのようなバイアスがあまり感じられません。出力コードが部分的になったりすることはありますが、割と安定しているような気がします。

これについては、リソースを食い尽くさないようなバランスのもと、そのような振る舞いをするのかもしれませんが、開発の中ではかなりのストレスとなりますね。

生成速度が速い

コード生成を行うにあたり、コードの生成速度が開発に大きく影響してきます。というのは、私は、あまり深く考えずに、成り行き任せにリトライを繰り返すタイプの指示をするからです。

とはいえ、AIの進化は日進月歩ですし、リソースが減ってくると生成速度が遅くなることもありますので、局所的なイメージぐらいに考えたほうがいいかもしれません。

そのような前提からとはなりますが、ChatGPT君が20秒かかって生成したプログラムが、Claude君は12秒ほどで生成し終わっています。その意味で、私にとってはClaude君のほうがいくらか分が高い感じがしています。

どちらのほうが精度が良い？

コードは動いてナンボなのですが、その意味での精度は、個人的には、同じぐらいではないかと考えています。簡単なことは、どちらもスムーズにコード化されるし、難しいことは、どちらもうまくいかないです。

どちらかといえば、肝心なのは、ユーザーがどのように作ってもらいたいイメージをAIに送り届けるかの、プロンプト精度のように思います。そして、AIによるプログラミングを成功させるための、それが一番大事なところなんじゃないでしょうか？ いまはそんな気がしています。

両方雇うことのメリット

そのような結果になりますが、であれば、ChatGPT君は用済みか、というとそうでもありません。異なるアルゴリズム、異なる学習リソースは、出力コードにバリエーションをもらたらします。つまり性格が違うということですね。

煮詰まったときの分析ができる

このことから、たとえば、同じ指示を両方に入力することで、異なるアプローチのコードが生成されることがあります。あとは、伸ばしたいほうを選ぶことで、開発効率がよくなる可能性があります。

また、コード生成がうまく進まなくなることがあります。たとえば、いくら指示をしても一考に直らないといったことです。このような場合、自身で分析する方法もありますが、他者に分析してもらったほうがより客観性が出てきます。

バランスよく使って制限を克服できる

それから、1つだけ使っているとリソース的な問題が生じることがよくあります。回数制限にひっかかって、1、2時間使えなくなることは日常的に起こりえます。2つあれば、その使えない時間帯も、開発に充てることができます。

だから両方かわいいんだってばよ

以上のような理由から、私は、まだどちらかを手放す気持ちにはなれておりません。両方雇っていることの安心感、半端ないです。たまに、ChatGPT君やClaude君が進化していて、その瞬間に立ち会える幸せ。これは親バカというものなのでしょうか？

今しばらくは、どちらも使い続けてみたいと思っている次第です。

まいったよ、ChatGPT君 & Claude君！