プロンプトをパンクさせない3層システム設計:System Prompt・RAG・リアルタイムAPIの住み分け

,
【連載】中小企業のための「AI社長」実践導入ガイド(全12回) | 今回は 第6回 です | 前の記事:第5回 | 次の記事:第7回

会社のルール、マニュアル、過去の判断基準をすべてプロンプト(指示文)に貼り付けていませんか?

すべてのナレッジをひとつのプロンプトに詰め込むと、AIの処理上限(トークン上限)を圧迫するだけでなく、指示が競合して回答の精度が著しく低下します。また、今日の売上や空室情報のような「リアルタイムに変わる情報」に対応できません。

システム設計上、最も重要なのが「情報を3つの階層に分けて持たせること」です。本記事では、AI社長を破綻させずに賢く動かす「3層システムアーキテクチャ」と推奨フォルダ構成を解説します。

全部をプロンプトに入れてはいけない理由

最新のLLM(大規模言語モデル)は100万トークン以上の長大なテキストを扱えるようになりました。しかし、「入るからといって全部入れる」のはアンチパターンです。

プロンプト詰め込みによって起きる3つの障害

  • レスポンス速度の低下:プロンプトが長大になるほど、AIが推論を開始するまでの時間が遅くなり、現場の待ち時間がストレスになる。
  • コストの爆発:毎回の質問・回答ごとに大量のトークンを消費するため、API従量課金が数十倍に跳ね上がる。
  • 指示の無視・回答の劣化:情報過多により、AIが肝心の「社長判断基準」や「禁止事項」を読み飛ばす確率が高まる。

実用化の鍵を握る「3層情報アーキテクチャ」

AI社長のナレッジは、以下の3つの役割に完全に分離して設計します。

層(レイヤー) 格納する情報 実装手法
A. 常にAIへ渡す情報 経営理念、AI社長の役割、社長の基本判断基準、禁止事項、回答トーン・フォーマット System Prompt(固定プロンプト)
B. 必要なときだけ引く情報 業務マニュアル、社内規程、経営会議議事録、過去の判断Q&A、商品資料、失敗事例 RAG(ベクトル検索/セマンティック検索)
C. 常に変化する情報 本日の売上、現在の空室数、問い合わせ件数、案件進捗、本日の社員スケジュール リアルタイムAPI / DB / スプレッドシート連携

A層:System Prompt(人格と行動規範)

AI社長の「脳の根本原則」です。社員からどんな質問が来ても必ず適用されるべき基本方針(理念、値下げ確認、禁止事項)のみをコンパクト(2,000〜4,000文字程度)に記述します。

B層:RAG(社内の知恵袋・ライブラリ)

何百ページもある業務マニュアルや社内FAQは、プロンプトには入れず外部のデータベース(RAG)に保管します。社員が「鍵の紛失時はどうする?」と聞いたときだけ、関連する規程を自動検索してAIへ渡します。

C層:リアルタイムAPI/DB(現場の今)

「今日の売上は?」「現在の空室率は?」といったリアルタイムな数字は、固定文章にしてはいけません。Googleスプレッドシートや基幹システムのAPIを呼び出し、最新の数字を動的に取得してAIに解釈させます。

将来の拡張に耐える推奨ナレッジフォルダ構成

ナレッジファイルを管理する際は、最初から以下のようなナンバリングフォルダを作っておくと、後からRAG(検索システム)に接続する際も非常にスムーズです。

AI社長ナレッジ/
├─ 01_会社基本情報/
│   ├─ 会社概要.md
│   ├─ 経営理念.md
│   └─ 事業内容.md
├─ 02_社長/
│   ├─ 社長判断基準.md
│   ├─ 社長100問.md
│   └─ 社長発言集.md
├─ 03_組織/
│   ├─ 組織図.md
│   ├─ 担当業務.md
│   └─ 権限表.md
├─ 04_社内ルール/
│   ├─ 社内規程.md
│   ├─ 承認ルール.md
│   └─ 決裁ルール.md
├─ 05_業務マニュアル/
│   ├─ 営業.md
│   ├─ 管理.md
│   ├─ 経理.md
│   └─ IT.md
├─ 06_KPI/
│   ├─ KPI定義.md
│   └─ KPI目標値.md
├─ 07_事例/
│   ├─ 成功事例.md
│   └─ 失敗事例.md
├─ 08_会議/
│   └─ 経営会議議事録/
├─ 09_FAQ/
│   └─ 社内FAQ.md
└─ 10_AIルール/
    ├─ AI社長禁止事項.md
    └─ AI社長権限.md

まとめと次回予告

「System Prompt(心棒)」「RAG(記憶庫)」「リアルタイムAPI(目と耳)」の3層を綺麗に分離することで、AI社長は軽快に動作し、正確でコストパフォーマンスの高いシステムになります。

次回からは、いよいよ現場の社員が毎日使うインターフェースである「LINE連携」の設計と実装に入ります。

次回予告:第7回

次回(Part 7)は、導入戦略として「なぜLINE WORKSではなく『個人LINE+公式アカウント』なのか?」を取り上げます。
小規模組織での導入ハードルを下げる工夫と、LINE公式アカウントの特性を踏まえた「実質社内限定運用」の設計論を解説します。

【全12回連載目次】中小企業のための「AI社長」実践導入ガイド

  1. 第1回:なぜ会社の情報を全部入れてはいけないのか?4つの情報分類と成功の骨格
  2. 第2回:普通のAIと「AI社長」を分けるもの:最重要ナレッジ「社長の判断基準」の言語化
  3. 第3回:思考と価値観を抽出する「社長への100問」:判断基準ファイルの作り方と実践質問集
  4. 第4回:組織図と役割分担の設計:AI社長が「誰に頼めばよいか」を迷わず案内する仕組み
  5. 第5回:失敗事例の蓄積と「禁止事項」:AI社長の経験値と絶対に譲れない境界線
  6. 第6回:プロンプトをパンクさせない3層システム設計:System Prompt・RAG・リアルタイムAPIの住み分け 現在の記事
  7. 第7回:なぜ「個人LINE+公式アカウント」なのか?中小企業の導入ハードルを下げる構成論
  8. 第8回:社内限定運用のセキュリティ設計:LINE User ID制限と社員認証コードによるアクセス制御
  9. 第9回:Pythonで作るLINE AI社長:Messaging APIとLLMをつなぐバックエンド実装
  10. 第10回:現場に定着するリッチメニューUIと、会社と共に育つナレッジ更新サイクル
  11. 第11回:ナレッジの保管場所とデータ管理術:GoogleスプレッドシートとGoogleドライブをAI社長の「記憶庫」にする方法
  12. 第12回:Googleスプレッドシート×Python連携実装:ナレッジをリアルタイムに読み込むバックエンド構築

eguchi.netをもっと見る

購読すると最新の投稿がメールで送信されます。