コーディングにおけるAIモデルの性能比較について
最近はもうCoding Agentの性能比較を純粋な体感でできない
各社が出しているコーディングエージェントツールの性能が良いのか、それともモデル自体が優秀なのかの判断ができない
得意とするタスクもそれぞれ系統が違うだろうし、何かをやらせて上手くできたかどうかでモデルの優劣を測るのはいかがなものか
最近はもうCoding Agentの性能比較を純粋な体感でできない
各社が出しているコーディングエージェントツールの性能が良いのか、それともモデル自体が優秀なのかの判断ができない
得意とするタスクもそれぞれ系統が違うだろうし、何かをやらせて上手くできたかどうかでモデルの優劣を測るのはいかがなものか
以前は.git内にworktreeを置く運用をしていた。
エディタのナビゲーションの面ではなかなか良い運用だった。
やめた理由:
開発用ツールがうまく動かないことが頻繁にある
e.g. .gitディレクトリの中でVitestを実行すると、エラーが発生する話 https://zenn.dev/arm_techblog/articles/c14827f385df68
Promptの内容ではなく、渡し方について
前提として、Coding Agentの動作を見て与えるプロンプトを考えたりするのは避けられるのであれば避けたいと考えている
AIからのフィードバック(編集内容も含めて全て)が遅いので、微妙な待ち時間が発生し、集中力を切らしてしまう
自分の渡し方
ある程度、動作の範囲を事前に予測できる(じゃじゃ馬じゃない)モデルを使う