LLM に「もう一度見直して」は効くのか
160 件 → 初回 159 件正解。見直しで動いた 3 件は全部改悪
初回判定が 160 件中 159 件正解で天井に張り付き、「見直させると誤りを直せるか」は測れなかった。測れたのは「正しい判定を維持できるか」だけ。
Lab
実際に作って、測って、確かめた記録です。
- 対象設計・検証・AI 活用
- 方針失敗した試みも数字で残す
- 掲載実数の無い記事は載せない
これまでの実験
- 「エッジで速い」D1 は、日本から測っても速いのかwarm 中央値: Turso（東京）22ms ＜ D1 60ms ＜ Neon 87ms
- 同じコードを LLM に 51 回監査させると、指摘は再現するのか温度 0 で一致 1.00、温度 0.7 で 0.52（7B）・0.07（1.5B）
- 生成 AI のコードは「失敗を握り潰す」のか120 本 → 候補 4 → 真陽性 0
仕事のご依頼は Works にあります。