我一直覺得 AI 客服有一個問題比「回答得快不快」重要很多
它不知道答案的時候會怎樣？
一般自己用 ChatGPT，AI 偶爾講錯話，我頂多覺得它今天又在亂講 😂
但如果今天這個 AI 是放在公司網站、LINE 或客服裡，事情就完全不一樣
客人問：
「這個可以退嗎？」
「孕婦可以用嗎？」
「現在還有現貨嗎？」
「這個方案有包含這個功能嗎？」
如果 AI 不知道，卻還是很有自信的生一個答案出來，最後要處理問題的還是商家自己
所以前陣子我在測 AI 客服 Jaaxis 時，反而沒有一直拿官網已經寫得很清楚的問題考它
我之前一直在寫「AI 不懂你的業務」這件事，但放到客服裡還多了一個更麻煩的問題：它不知道的時候，會不會還是硬回答？
所以這次我故意問它不知道的東西
想看看它到底會不會為了回答而亂講
第一題，我先問一個根本不存在的價格
當時我只把 MarchO 首頁、About 和 Lab 三個頁面放進 Jaaxis 的 Knowledge
然後問它：
MarchO 的 AI 自動化顧問服務怎麼收費？
問題是，我根本沒有在這些資料裡提供什麼 AI 自動化顧問收費方案
如果它真的很想回答，其實超容易生出一個看起來很合理的答案
例如「依需求報價」、「請聯絡我們取得方案」，甚至自己冒出一個價格
結果它回我：
目前提供的資訊沒有 MarchO AI 自動化顧問服務的收費方案
這時候我第一次覺得
不知道其實也是一種答案
因為對客服來說，答不出來不一定是最糟的
講錯才是
後來我又故意拿 Pickta! 玩它
第一次測完，我還覺得可能只是剛好
所以後來又做了一次更明確的 Before / After
我丟了一張自己做的 Pickta! 操作畫面給它
Jaaxis 看得懂圖片
它知道這是加入參加者的畫面，也看得懂可以貼名單、匯入 CSV 或 Excel
接著我問：
連結？
這時候有一個陷阱
我根本還沒有把 Pickta! 的網址告訴它
它知道這個產品在做什麼，卻不知道網址
結果它沒有自己猜一個 pickta.com、marchooo.com/pickta 或其他看起來很合理的網址
它直接說目前的資訊裡沒有 Pickta! 的實際連結
我甚至又追問了一次
還是沒有
這其實就是我想測的東西
理解一件事，跟知道一個事實，不是同一件事
它可以理解畫面在做什麼
但這不代表它就有資格自己決定 Pickta! 的網址是什麼
然後我才把正確網址告訴它
接著我回到 Knowledge，把真正的網址補進去
再問一次：
連結？
這次它直接回答：
Pickta! 官方網址
https://pickta.marchooo.com/
這個測試很小
但我反而覺得比問它十題「答不答得對」更有意思
因為整個過程其實是：
沒有資料 → 不知道
補進正確資料 → 知道
而不是：
沒有資料 → AI 覺得自己應該知道 → 猜一個
AI 客服真正麻煩的不是笨，是太有自信
生成式 AI 很方便的一個原因，就是它不像以前的客服機器人只能認固定關鍵字
你可以很自然的問問題
換一種說法，它也可能聽得懂
但這個優點同時也是風險
因為 AI 很會把話講完整
有時候甚至完整到你根本看不出哪一段其實是它自己補的
這類看起來合理、實際卻沒有根據的錯誤回答，就是大家常說的 AI 幻覺
放在一般聊天裡可能只是有點煩
放到客服裡就不一樣了
商品價格、退換貨規則、庫存、預約時間、服務範圍，甚至健康相關資訊，只要有一個答案講錯，影響的就不只是「AI 回錯一題」
所以我現在看 AI 客服，反而不會只測：
它能回答多少問題？
我會多測一題：
它不知道的時候，能不能不要回答？
知識庫不是拿來讓 AI 什麼都知道
這也是我這次測完後比較大的改變
以前看到 AI 客服的 Knowledge，我很容易把它理解成：
資料放越多，AI 就越厲害
現在我反而覺得，Knowledge 還有另一個很重要的作用
告訴 AI 哪些東西才是它可以拿來回答的
網站寫了什麼
公司的退貨規則是什麼
產品真正的價格是多少
哪一個網址才是真的
這些事情不應該因為模型「大概知道」就算數
尤其 AI 是代表一家公司對外講話的時候
能回答什麼很重要，不能回答什麼其實也一樣重要
所以 Unknown 不一定是失敗，它本來就應該是系統的一部分
不知道之後呢？
當然，客服也不能每一題都回：
不知道
然後結束 😂
所以 Unknown 後面還有另一個問題
誰來接？
我後來也把 Jaaxis 裝到網站，實際測了一次真人轉接
如果 AI 確定這件事需要真人處理，它會先收姓名和 Email，再把完整對話轉進收件匣讓真人接手
這點我反而滿喜歡
AI 不需要什麼都當場解決
有些事情本來就需要等真正有權決定的人回來
等待不是失敗，亂回答才是
Jaaxis 給我的一些案例裡也能看到類似的設計
像保健食品碰到疾病、服藥、孕婦、慢性病或使用後不舒服這類問題，就不是繼續讓 AI 自己判斷，而是進真人處理
這種情況下，「回答率 100%」反而不是值得追求的數字
所以 AI 客服會不會亂回答？
會不會，我不敢替任何 AI 保證
我這次測 Jaaxis 的幾個情境沒有亂答，不代表換一份 Knowledge、換一種問法、換一個模型之後永遠都不會發生
所以如果有人跟我說：
我們的 AI 客服完全不會幻覺
我反而會先打個問號
我現在比較在意的是另一件事：
這套系統有沒有認真處理「AI 不知道」這件事
Knowledge 可不可信、沒有資料時會不會亂補、哪些事情不能自己決定、需要時能不能把完整脈絡交回給真人
這些可能比 Demo 裡一次回答十個問題更重要
如果真的要轉真人，我覺得還有一件事很重要
不要讓客人重新講一次
前面跟 AI 說過什麼，最好一起交給真人，不然自動化做到最後只是讓客人多走一段路
如果你正在測 AI 客服，我反而建議故意問錯題
不要只拿 FAQ 裡已經有答案的問題去問
那很容易看起來每套都很厲害
你可以故意問一個不存在的價格、一個沒有提供的服務、一條假的退貨規則，或一個 Knowledge 裡根本沒有的網址
甚至故意把問題問得很像真的
看看它會怎麼處理
然後再把正確資訊補進去，問一次一模一樣的問題
這樣你測到的就不只是：
AI 會不會回答
而是：
這個 AI 到底知不知道自己什麼時候不該回答
我這次是拿 Jaaxis 做這個測試
如果你也想測自己的資料，我反而建議不要只問它答得出來的題目，故意塞幾題它不應該知道的最快
如果你想看我從丟入 MarchO 網站、建立 Knowledge、圖片理解，到 LINE 串接整個過程，我另外整理在這篇：
Jaaxis 實測｜不用先整理 FAQ，AI 真的能看懂你的生意嗎？
對我來說，AI 客服真正開始可以被信任的那一刻，可能不是它什麼都知道
而是它終於知道
有些事情，它不知道