大規模言語モデル(LLMs)の心的理論能力はどのように発達するか？

大規模言語モデル(LLMs)の心的理論能力と状況モデリング能力が発達する経路を追跡

元記事タイトル: トランスフォーマー言語モデルにおける状況モデリングと心的理論の発達経路

arXiv cs.CL 2026年06月30日

査読未完了の可能性があります。完成した査読済み論文としてではなく、研究コミュニティ向けの早期共有として読んでください。

RESEARCH 研究論文 / Preprint

Field Note 読む前に確認

3行まとめ

大規模言語モデル(LLMs)は文書で記述されたエージェントの信念状態に敏感である
FBT性能はモデルサイズと十分なトレーニング量に依存している
SFTやDPOなどの後処理介入により、特に偽信念条件下でのFBT性能が向上

こんな人に関係ある話

AI研究者言語モデル開発者人工知能技術者

信頼度メモ

プレプリント論文（査読前の可能性あり）

記事の読み解き Reading

元記事を材料に、要点、編集視点、良い点と懸念点を読みやすい順に整理しています。

この研究では、大規模言語モデル(LLMs)が文書で記述されたエージェントの信念状態に敏感であることを示す一方で、構造妥当性に関する懸念も指摘されています。著者らは発達的な視点から、Olmo2とPythia言語モデルスイートにおける訓練段階を追跡し、心的理論行動のパターンやその前提条件を探求しています。研究結果では、FBT（偽信念タスク）の上位性能がモデルサイズと十分なトレーニング量に依存すること、SFTやDPOなどの後処理介入により改善されることなどが明らかになっています。

編集部コメント

この研究は大規模言語モデル(LLMs)における心的理論と状況モデリング能力の発達経路を詳細に追跡しています。特に、FBT性能がどのように改善されるかについての洞察は、LLM開発における重要な指標となる可能性があります。

評価ポイント Assessment

良い点

大規模言語モデル(LLMs)が文書で記述されたエージェントの信念状態を理解する能力があることが示されている
FBT性能はモデルサイズと十分なトレーニング量に依存している
SFTやDPOなどの後処理介入により、特に偽信念条件下でのFBT性能が向上することが確認された

懸念点

構造妥当性に関する懸念がある
非事実的動詞の使用は真の信念条件下でも偽信念属性を増加させる可能性がある

業界・社会への影響 Impact

この研究は、大規模言語モデル(LLMs)の心的理論能力と状況モデリング能力の発達経路に関する理解を深め、これらのモデルが人間のような思考プロセスを模倣するための重要な指標となる可能性があります。

参照元 Sources

元記事と、深堀りで参照した情報源です。コミュニティ投稿やプレプリントでは、ここから根拠を確認できます。

トランスフォーマー言語モデルにおける状況モデリングと心的理論の発達経路

arXiv cs.CL

https://arxiv.org/abs/2606.28524

この記事の見取り図

読む前に確認
記事の読み解き
参照元
AI要約について
関連記事

キーワード

大規模言語モデル心的理論状況モデリング Olmo2 Pythia SFT DPO

AI要約について

本記事の要約・分類・読み解きにはAIを使用しています。内容確認に努めていますが、誤訳・解釈違い・元記事更新の反映漏れを含む可能性があります。重要な判断を行う場合は、必ず元記事もご確認ください。

速報について — 速報は追加調査や本文抽出の結果で内容が更新される場合があります。初期要約には誤りや不足が含まれる可能性があります。

記事データ

Source	プレプリント
Category	研究論文
Status	速報
出典	arXiv cs.CL
公開日	2026-06-30

元記事の説明文

arXiv:2606.28524v1 Announce Type: new Abstract: Recent work suggests that Large Language Models (LLMs) are sensitive to the belief states of agents described by text, as measured by the false belief task (FBT), yet persistent concerns of construct validity remain. We adopt a **developmental perspective**, tracing the pattern of mental state reasoning behavior -- and likely **preconditions** for this behavior -- across multiple training stages in the Olmo2 and Pythia language model suites. We find that above-chance FBT performance depends both on model size and sufficient training volume, emerges relatively late in pretraining, and is most improved by post-training interventions (SFT, DPO) in the condition most diagnostic of mentalizing (False Belief, Implicit). However, FBT performance is fragile: consistent with past work, the use of non-factive verbs (e.g., thinks) increases false belief attributions even in the True Belief condition. To contextualize these findings, we track the emergence of **situation modeling**: the ability to report on basic factual properties of a described scene. Situation modeling accuracy generally precedes and exceeds FBT accuracy, yet situational representations also prove surprisingly incoherent in certain respects: when asked about the knowledge states of the Antagonist agent -- who always knows the item's true location -- Olmo2 13b is consistently influenced both by the Target agent's knowledge state and the presence of non-factive verbs. Together, these results suggest that larger, sufficiently trained models build partially coherent situation models in a developmentally appropriate sequence, yet display surprising fragility -- highlighting the value of developmental and stress-testing approaches for evaluating LLM capabilities.