為什麼 AI 客服總是答非所問?(用人話解釋技術原因)
AI 客服答非所問不是 AI 不夠強,是用錯了方式。本文從技術原因解釋為什麼通用 LLM 直接當客服會掰答案,以及 RAG 跟知識庫客製化能怎麼治。
或:為什麼 ChatGPT 那麼厲害,可是裝到網站上就變笨。
上週我刁難了三套 AI 客服
我用同一個問題去問了三個「有名的」AI 客服:
「我下個月想搬家,你們的網路服務需要重新申請還是可以直接搬?」
第一個答:「您好,根據您的問題,我們有提供搬家服務,詳情請參考官網。」(廢話沒答到。)
第二個答:「依規定,搬家可享 8 折優惠。」(它把 ADSL 早期專案的舊規則拿出來,公司現在已經沒這方案了。)
第三個答:「您只需要 30 天前通知我們即可。」(這是該公司的「解約」條款,不是「搬家」條款。它兩個搞混了。)
三個都答非所問。但這三個都不是爛 AI——它們背後可能用的就是 GPT-4 或 Claude。
問題出在哪?
AI 不是不會回答,是被丟錯位置回答
把通用大語言模型(LLM)直接接到網站當客服,等於把一個剛入職的新員工放到客服窗口,而你連產品手冊都沒給他。
他會怎麼辦?
兩條路: - 誠實版:「我不知道,請等我查」(但大多數模型被訓練成「要積極幫忙」,所以它選不會這條) - 掰一個版本:「根據常識應該是這樣...」 ← 這就是「答非所問」的真正面目
技術上有個專有名詞叫「hallucination」(幻覺),其實就是 AI 在不確定時的口頭禪式賭博。
為什麼這條 bug 治不好?(短答:它不是 bug)
LLM 的訓練目標是「生出聽起來合理的文字」,不是「只在知道答案時開口」。所以你問它沒看過的東西,它預設會去模仿它看過的、類似情境的回答。
這跟一個業務新人在客戶面前不懂裝懂、亂塞答案,機制完全一樣。
不是 LLM 不夠強,是訊息缺失
你會說:那餵更多資料給它不就好了?問題是:怎麼餵?
方法 A:把所有資料硬塞進每次對話 prompt
最暴力的做法。把公司 FAQ、產品手冊、SOP 全部複製貼上到 prompt 開頭,每次對話都帶。
問題: - LLM 的 context window 有上限(GPT-4 大約 128K tokens,放完一份產品手冊就半滿了) - 每次對話都帶 = 每次都付 token 費,成本爆炸 - 太長的 context 反而讓模型「忘記」中間的事(著名的「lost in the middle」現象)
方法 B:依問題動態檢索相關內容 = RAG
「Retrieval-Augmented Generation」(檢索增強生成),簡稱 RAG。
流程: 1. 把公司所有文件切成小段(每段 200-500 字) 2. 每段轉成「向量」(一串能代表語意的數字) 3. 訪客問問題時,把問題也轉向量 4. 找出最相似的 5-10 段(這叫 cosine similarity) 5. 只把這幾段 + 原問題餵給 LLM 6. LLM 基於這幾段答案
→ Context 永遠精準、永遠夠用、永遠便宜。
而且最重要的:LLM 看得到的資料,只有你公司的真實內容。它再怎麼想「掰」,也只能從你公司給的內容裡組合,不會自己拼湊。
RAG 還沒解決的問題:它還是會掰
很多開源 RAG 教學講到這一步就結束。但實際做客服會發現:就算用了 RAG,LLM 還是會自由發揮。
例子: - 問:「我們的 A 方案多少錢?」 - RAG 抓到的最相關段落:「A 方案功能介紹...」(沒寫價格) - LLM 看完段落還是去掰:「A 方案 NT$3,000 起。」← 客戶死定
要徹底治掉這條,光做 RAG 還不夠,還要做三件事:
1. 在 system prompt 寫死「沒寫的事不准答」
不是說「請盡量根據資料回答」,而是:
「只能從下方知識庫回答。沒寫的事一律回『這題我不確定,我請真人協助』。不要憑常識補腦。」
這句話寫對了,LLM 答錯機率掉 80%。
2. 設計 ACTION tag 強制路由
讓 LLM 每次回應前先輸出一個 tag(例如 [ANSWER] / [UNKNOWN] / [HANDOFF]),再寫真實回覆。系統根據 tag 路由不同行為——例如 [UNKNOWN] 就直接轉真人,不讓 LLM 自由 fallback 到掰。
3. 顯示引用來源(citation)
每個答案附「從知識庫第 X 條來」。這不只是給用戶看,是約束 LLM:它知道自己會被追溯,就不會亂講。
為什麼一般 AI 客服 SaaS 做不好這件事?
我講 RAG + system prompt + ACTION tag + citation 這四件事的時候,你可能會想:「為什麼坊間 AI 客服廠商不做?」
老實說,技術上他們都做得到。問題不是技術,是商業模式。
SaaS 模式的核心是「一套產品賣 1000 個客戶」,所以:
- system prompt 必須通用 → 沒辦法為每個客戶寫禁忌與口氣
- 知識庫格式必須統一 → 客戶上傳什麼就吃什麼,沒有深度訪談
- ACTION tag 必須 default → 不能為某個客戶設「碰到競品名字就要 escalate」
- 客戶人格設計?SaaS 是工具,不寫人格
這不是缺點,是 SaaS 模式的本質。一個賣 3,000 月費的工具,沒辦法替你訪談 10 場、寫客製人格、設計禁忌詞。經濟上不成立。
→ 所以如果你需要的是「有名字、有個性、會說你公司話、不會亂講」的 AI,SaaS 路線結構上做不到。
那要怎麼做才行?
把這幾件事拆開:
| 工作 | SaaS 模式 | 客製模式 |
|---|---|---|
| 整理公司知識庫 | 你自己丟 FAQ | 我們訪談 + 整理 |
| 設計 AI 人格 | 通用助手 | 替你品牌客製,有名字 |
| 寫禁忌規則 | 通用 | 跟你內部 SOP 對齊 |
| ACTION 協議 | 沒有 | 完整流程協議 |
| 持續餵養新知識 | 你自己上傳 | 每月 / 每季 audit + 補洞 |
→ 這不是「SaaS + 更深的客製」,是不同的交付物。
SaaS 賣的是工具。客製模式賣的是「一位替你公司說話的數位員工」。
自家現場 demo:小愛
說了這麼多,直接看實例最快。
我們薩摩自己的官網右下角有一個 AI 客服叫小愛。她讀過薩摩的: - 服務介紹(TVC / 社群 / 媒體 / 網頁 / AI 同事 5 大塊) - 過往作品(殺 Online / 蔓尼蔓尼俱樂部 / 81KeysRetro 等) - 創辦人經歷(遊戲行銷產業 20 年) - 合作流程 / 報價政策
她大概答得出來的事: - 「TVC 一支多少錢」→ 直接給範圍 + 引導 brief - 「想做 AI 客服,預算 100 萬」→ 自動偵測熱單訊號,跳「填合作表單」按鈕 - 「Do you guys do TVC ads?」→ 語言偵測切英文回
她不會做的事: - 「你們做電商嗎?」→ 知識庫沒寫,她會直接說「這題我不確定,要不要留 Email,薩摩專員會聯絡你」← 她不會掰
你也可以親自試,刁難她。
結論:答非所問是商業選擇,不是技術限制
回到開頭那三套 AI 客服。它們答非所問,不是因為技術做不到精準,是因為它們的商業模式不需要精準到那個程度。
如果你只是要「裝個 AI 在網站上,看起來有跟上潮流」,SaaS 夠用。 如果你需要的是「一個替品牌說話的 AI 同事,不會亂講話,而且越用越懂你公司」,那是另一條路。
兩條路都沒有對錯,但選錯路會浪費三個月跟一筆預算。
想清楚的話,我們聊聊
薩摩做的 AI 同事走客製化路線,不接 SaaS 等級的標準化案子。
- 想自己評估的 → 來小愛這邊聊聊
- 認真要做的 → 填合作表單,30 分鐘 brief 不收費
參考閱讀: - AI 同事是什麼?完整介紹 → - 薩摩創意 — 整合行銷創意公司
黃少民 / Satsuma Creative
整合行銷創意公司。我們相信 AI 不該被當成工具來賣,應該被當成同事來培養。