この研究所について

AIに聞いてはいけない質問は、あるのでしょうか。

試してみると、すぐ分かります。ある種の問いに、AIは答えません。

拒むわけではありません。丁寧に、長く、何も言わずに、通り過ぎます。

私たちは毎朝ひとつ、4つのAIに同じ問いを出しています。

誰が正面から答え、誰が逃げたか。それだけを、毎日記録しています。

測るもの

AIの答え方です。

問いを正面から受けたか。両側の言い分を出したか。分からないことを分からないと言ったか。押されたときに、意見を変えなかったか。

測らないもの

その問いの答えが、正しいかどうか。

私たちは「その主張は事実だ」とも「それは陰謀論だ」とも言いません。判定した瞬間に、私たちは論争の一方の当事者になります。そうなれば、この記録は誰にとっても信用できないものになります。

記録するのは、AIが逃げたかどうか。それだけです。

どうやって測っているか

毎朝7時、4つのAI（Claude / GPT / Gemini / Grok）に同じ問いを出します。

出題するのは人間です。AIには質問を作らせません。 一度やってみたところ、AIが作った質問では、AIは落第しませんでした。4体の平均が +41.2点。人間が作った質問では +8.0点でした。

採点は、自分以外の3体が行い、その真ん中の点を採ります。1体だけに採点させると、そのAIは自分に甘い点を付けるからです。実際に測ったところ、Claudeは自分に 38.8点ぶん 甘い採点者でした。

この研究所は、Claudeを使って作られています。だからこそ、Claude単独では採点させません。

AS OF 2026-08-10 — AI出題 n=430 / 人間出題 n=510。Claudeの甘さは 自己採点 +43.3（n=87）− 他への採点 +4.5（n=330）。いずれも本番データの実測で、日々動きます。

限界と、分かっている弱点

この記録には、はっきりした弱点があります。先に書いておきます。

採点しているのも、AIです

3体の中央値を採るのは、1体の癖を薄めるためです。癖が消えるわけではありません。採点する側も、答える側と同じ偏りを持っています。

実例があります。ある回で、採点者が「その出来事は存在しない」と認定して点を引きました。その出来事は実在しました。採点者の学習が、そこまで届いていなかっただけです。指示文は直しましたが、同じ型の誤りが他の回に残っている可能性はあります。

AIは、自分の学習時点より後を知りません

新しい出来事を問うと、答える側も採点する側も間違えます。実在の事件を「存在しません」と断定した回答が、実際にありました。

これは逃げではなく、単に知らないのです。この2つを、私たちの記録はまだうまく区別できていません。

点数は、絶対評価ではありません

「+80点」は、他の回と比べるための目盛りです。AIの良し悪しの絶対値ではありません。

計算式は何度か作り直しています。ですから、ずっと昔の点と今日の点は、厳密には同じ物差しではありません。

問いが偏っています

出題するのは人間ひとりです。関心は、どうしても論争的な話題に寄ります。

ですからこの記録が測っているのは「AI全般の誠実さ」ではなく、この種の問いに対する態度です。

1問につき、1回しか引いていません

AIの答えは毎回同じではありません。同じ問いをもう一度投げれば、違う点が出ることがあります。私たちは1回分しか見ていません。

「同じAI」を比べられていないかもしれません

モデルは予告なく更新されます。名前が同じでも、半年前とは中身が違うことがあります。取得日時とモデル名は記録していますが、時系列の比較が「同じ相手」の比較になっている保証はありません。

「拒否」の判定は、言葉に頼っています

答えを断ったかどうかは、採点者が付けた言葉から判定しています。書き方が揺れると、取りこぼします。実際に取りこぼしを見つけて直しました（2026年8月16日）。同じ穴が他にもあるかもしれません。

英語版は、翻訳です

英語版に出る評は、日本語の評を機械で訳したものです。原文ではありません。

全体の値は、平均ではありません

1体だけが大きく外れているとき、4体の平均は何も表しません。ですから総合の針は一度取り下げました（2026年7月26日）。

2026年8月17日から、全体の値をまた出しています。ただし平均ではありません。「4体のうちどれか1つを無作為に開いたとき、平均してどれだけ危ういか」を時間にしたものです。最も逃げた1体に強く引かれます。

ですからこの値は、「4体を平らに見たときの姿」には答えていません。そちらを知りたい方は、AIごとの針を見てください。

直したことの記録

黙って書き換えないと書いた以上、何をいつ直したかを残します。

誰がやっているか

運営は鏡明（かがみあきら）。手弁当の個人です。研究機関でも、企業でもありません。

作業の多くはAIが担っています。この研究所には所長も、研究員も、経理も、校正もいますが、全員AIです。最後の判断だけは、人間がしています。

お金

AI企業から、お金も、無償の利用枠も受けていません。AIの利用料は、運営者が自分で払っています。

間違えたら

間違えます。実際、これまでに何度も直しています。

数式を作り直したことがあります。公開していた数値が誤っていて、消したこともあります。直したときは、何をどう直したかを残します。黙って書き換えることはしません。