「AIに任せておけば効率的に判断できる」「LLM（大規模言語モデル、ChatGPT や Claude 等の対話型 AI）が高性能になったから、意思決定の自動化も進むはず」——そう期待して業務に導入したものの、なぜか肝心なところで期待外れの結果が返ってくる、という経験をされた経営者の方も多いのではないでしょうか。
私（筆者）は先日、ある海外のボードゲームの自動対戦のプログラムを競うコンペティション（競技）に参加し、 3 週間ほど自律型 LLM に任せる実験を行いました。
ゴールは明確、評価も客観的な数字で下される、という AI には本来「得意」なはずの環境でした。ところがいくらAIを使用し改善を試みても、しばらくの間、参加者全体の下位 5% という状態が続きました。
この失敗の記録を丹念に振り返ることで見えてきたのは、LLM には構造的に自分では解決できない「あるもの」があるという事実です。以前の記事で扱ったメタ認知（一歩引いた視点を持たせる方法）の話に続き、本記事ではその実体験から得た知見を経営者の視点で整理し、AI とどう付き合うべきかを提案いたします。
AIにできないこと──LLMの3つの構造的限界
当該コンペティションの詳しい内容は割愛しますが、自律型AI開発ツールである「Claude Code」を使用し対戦するプログラムを開発し、継続的に勝ち続けるよう改善を繰り返し行わせていくようなミッションを担わせました。
しかし、その結果、下位5%にとどまり続け、それ以上一向に改善せず、3週間の間無駄とも思える時間を過ごすことになりました。つまりその間、AIだけの力ではその状態に気付き、そして打開するための方向転換をすることができませんでした。
現在はそこから脱することができましたが、この観察を通じてLLM の限界といったものも見えました。
それは、大きく次の 3 つに分類できます。
① 閉じたループ問題 — 自分の推論を、自分の推論で検証してしまう
LLM は自身が出した中間結論を、また自分自身で検証します。
しかし同じモデル、同じ思考傾向、同じ盲点を共有した「検証者」と「被検証者」が同一人物（同じClaude Code同士）のため、盲点がそのまま再生産されます。
「もっとよく考えてほしい」「もっと客観的に判断してほしい」と指示しても、内省の階層が 1 つ増えるだけで、閉じたループの内側にとどまり続けるのです。つまり、「メタ認知」を意識するように指示しても構造的にそのループ（輪）の外へ軌道修正するということができませんでした。
② 局所最適への固執 — 「どう作るか」は得意、だが「そもそも作るべきか」を問えない
LLM は、与えられた枠組みの中の作業（実装・調整・網羅的な検証）は驚くほど得意です。
しかし「その枠組み自体が間違っているのではないか」「別の方向を検討すべきではないか」という問いは、自発的にはほとんど立てられません。目の前の細部に誠実であるほど、大局的な方向のずれに鈍感になっていく。実体験でも、AI は谷の底で微細な状況の変化は捉え丁寧に分析した上で改善を繰り返しましたが、山そのものの選び直しまではできませんでした。
③ 違和感センサーの欠如 — 「これはおかしい」が湧かない
人間なら「これだけ努力して最下位付近なら、根本的にどこかがおかしい」と自然に感じます。
LLM はこの直感を持ちません。個々の分析はどれも誠実である一方、全体の異常には気づかない。実体験で大局的な軌道修正の起点となったのは、ほぼ例外なく人間の一言でした。
AI が自らゴールに疑問を持つことは、一度もありませんでした。
経営者が AI 時代に担うべき、人間の3つの役割
これらの限界を踏まえると、AI を組織に導入する際に経営者・責任者が担うべき役割が明確になります。
「AI に細部を任せて人間は楽をする」ではなく、役割を器官のように分離するという発想が鍵となります。
① 外部の物差しに縛る役割 — 内部指標の独り歩きを防ぐ
AI が出す「精度○%」「シミュレーション上は改善」といった内部指標だけで意思決定してはいけません。
実際の顧客反応、実売上、現場の実測データという「外部の事実」に、必ず定期的に接続させることです。
経営でいえば、机上の KPI（重要業績評価指標）だけでなく、顧客ヒアリング・実売上・現場観察という一次情報での照合を仕組み化するイメージです。これは、中小企業 DXといった一般的な現場でも重要な視点です。
② 敵対的検証者を配置する役割 — 独立した反証を機械的に
重要な意思決定の前に、「別の視点でこの結論を潰しに行く」プロセスを制度化します。
同じ AI に反省させるのではなく、別の AI、別の担当者、外部専門家など、独立した検証者にぶつけるのです。
実体験でも、当初AIが提起した仮説を鵜呑みにせず、役割ごとに疑似的なAIチームを組んで「敵対的検証」を行わせた結果、20件中17件の仮説が却下されるということがありました。
つまり、このような仕組みを用意することは、人間による指示で行う必要があります。
③ 違和感の番人としての大局レビュー — 節目ごとに枠組みを問い直す
経営者や責任者が「そもそもこの方向で合っているか」「これだけやって成果が出ないのは根本がおかしいのでは」を定例で問い直す役割を担います。これは AI が構造的に検知できない、最も重要な人間の役割です。
気づいたら介入するのではなく、月次・四半期など節目ごとに「大局レビュー」を制度として組み込むことがポイントです。生産性向上や経営改善の取り組みで挫折する組織の多くは、この節目レビューを持たずに走り続けています。
人間もまた「独り」では限界がある — コミュニティが視野を広げる
ここまで「人間の役割」を強調してきましたが、実は人間もまた閉じたループに陥ります。
経営者が自分 1 人で考え続けると、自分の思考傾向・過去の成功体験・組織内の常識に縛られ、同じ盲点を再生産する構造は、LLM と本質的にまったく同じです。「うちの業界では」「過去も上手くいったから」という言葉が続くとき、閉じたループはすでに始まっています。
だからこそ、経営者にも「外部の視点」が必要です。
同業の経営者仲間、業種横断のコミュニティ、経営者向け勉強会、公的支援機関の相談窓口（中小企業庁のミラサポ plusや、都道府県のよろず支援拠点等）、専門家（中小企業診断士・税理士等）からのフィードバック——これらは単に情報収集の場ではなく、自分の閉じたループを断ち切る「独立した検証者」としての役割を果たします。
AI 活用でも、経営全般でも、原理は同じです。
1 人（または 1 つの知能）で考え抜こうとすると、必ず盲点が生まれます。
視野を広げる方法は、「もっと深く内省する」ではなく、意図的に外部の視点を制度として組み込むことです。
まとめ — AI 時代こそ「違和感の番人」が主役になる
LLM の性能が上がり、自律性が高まるほど、実は人間による大局レビューと外部接続の重要性はむしろ高まります。長時間、外部の物差しに触れずに内部の推論だけで走れてしまうとき、AI の局所最適といった視野の狭さは、より静かに、より長く進行するからです。AIによる自律性の向上は、逆にAIによる方向転換をしにくくします。そのため、人間の役割が減って喜ぶのではなく、むしろ人間は気づきを与える重要な役割として必要となります。
日本では、高齢化・生産性向上・食料自給率向上といった構造的な課題に対して、AI 活用や中小企業 DX の推進が不可欠になっています。しかし、AI を盲信して細部の判断まで委ねる組織と、人間が違和感と方向づけを担い、AI を実行と網羅の器官として使い分ける組織とでは、5 年後・10 年後に大きな差が生まれることに繋がります。
このように近視眼となった AI には、違和感をチェックする人の視点（言わば、違和感の番人）が要ります。
そしてその番人役は、経営者ご自身と、そこに繋がるコミュニティで担うことがよりその効果を高めることになります。
当方は、中小企業の IT・AI 活用と経営改善のご支援を通じて、日本の活性化に貢献したいと考えております。
AI 導入の設計や、経営判断の外部視点として、ご相談も歓迎いたします。
よくある質問
Q. LLM の限界を踏まえると、業務に AI を導入しない方がよいのでしょうか?
A. いいえ、逆です。限界を理解した上で「実行・網羅」に強みを発揮させ、大局的な判断や違和感の察知は人間が担う分業設計をすれば、AI 導入の効果は最大化されます。導入自体を避けるのは、むしろ機会損失につながります。
Q. 「敵対的検証」を組織に組み込むには具体的にどうすればよいですか?
A. 意思決定前に別部門や外部専門家に「この結論を潰してほしい」と依頼する仕組みを定例化することが第一歩です。同じチーム内での自己レビューだけでは、閉じたループを断ち切ることは困難です。
Q. 経営者コミュニティの選び方に基準はありますか?
A. 自分と異なる業種・規模・地域の経営者が混在していることが重要です。同質のメンバーばかりでは、共有される盲点が増えてしまいます。中小企業診断協会やよろず支援拠点なども、独立した視点を提供する選択肢の一つです。
Q. AI 活用の初期段階で、まず何から始めるべきですか?
A. 議事録作成や文書ドラフト等の小さな業務で「AI の得意・不得意」を体感することをおすすめします。その上で、必ず「人間が最終確認する」プロセスを制度として残してください。
投稿者
onda.masashi@gmail.com
関連投稿
