AIは、口に出さずに頭の中で考えごとをしている——。Anthropicが7月6日に発表した研究は、そんなSFめいた話に科学の足場を与えた。Claudeの内部に、人間の意識研究でいう「グローバルワークスペース」に似た構造が自然に生まれていることを発見し、「J-space」と名付けたのだ。
あわせて公開された観測手法「J-lens(Jacobian lens)」を使うと、モデルが言葉として出力しない”内なる思考”の一部を読み取れるという。
J-spaceとは何か
Claudeの内部処理の大半は、流暢に話す・事実を思い出すといった「自動的」な処理で占められる。その中に、ごく少数の特別なパターンの集まりがあり、これがJ-spaceだ。あるパターンが活性化しているとき、モデルはその概念を「いま出力している」のではなく「頭に思い浮かべている」——Anthropicはそう説明する。
図: J-spaceの位置づけ(Anthropicの説明を基にした概念図)
AIが「心の中でつぶやく」具体例
発表には印象的な観測例が並ぶ。バグのあるコードを読むと、出力には出さずに内部で「ERROR」を思い浮かべる。プロンプトインジェクション(AIを騙す隠し命令)を含む検索結果を読むと「injection」「fake」を思い浮かべる。多段階の計算では、口に出さない途中式をJ-spaceに置いている。返事は平静でも、頭の中では警報が鳴っているわけだ。
itmedia.co.jp Anthropic、AIの”内なる思考”が宿る「J-space」を発見──新手法「J-lens」で可視化、安全性監視に応用 日本語での第一報。観測例と安全応用の要点がコンパクトにまとまっている。| Claudeが読んだもの | 内心の”つぶやき”(J-spaceの観測) |
|---|---|
| バグのあるコード | 「ERROR」 |
| プロンプトインジェクションを含む検索結果 | 「injection」「fake」 |
| 多段階の計算問題 | 口に出さない途中式 |
何の役に立つのか: 嘘発見器としての応用
実用上の本命は安全性の監視だ。出力された言葉だけを見張る従来の方法と違い、J-lensは「言っていないこと」を見張れる。モデルが攻撃に気づいているのに従ってしまうケースや、内心の判断と発言がズレるケースを検出できる可能性がある。Fable 5の安全分類器のような仕組みと組み合わされば、AIの安全対策は「行動の監視」から「思考の監視」へ一段深くなる。
「意識がある」と混同しないために
注意も必要だ。「意識の理論に似た構造」は「意識がある」ことを意味しない——Anthropic自身も慎重な言い回しを崩していない。また、観測できるのはJ-spaceの一部にすぎず、解釈の妥当性は今後の追試にかかっている。「AIに心が宿った」と煽る報道とは距離を置いて読みたい。
venturebeat.com Anthropic’s new “J-lens” reveals a silent workspace inside Claude(英語) 意識研究との対応関係を深掘りした海外報道。研究者のコメントも収録。「何を言ったか」から「何を考えたか」へ
LLMはこれまでブラックボックスと呼ばれてきた。J-spaceの発見は、その箱に小さな窓を開けた出来事だ。筆者は、この研究の価値は哲学論争ではなく実務にあると見ている。AIの「内心」を監査できるなら、企業がAIに重要な仕事を任せるハードルは確実に下がる。心があるかどうかより先に、信頼できるかどうかが変わるのだ。
出典: ITmedia NEWS / VentureBeat / Axios
