答案全對的智能體,為什麼還是個不及格的智能體?
官方來源:Medium,原文發表於 2026-11-14(當天,見文末核實)。原文標題直譯:《用蘭格拉夫、格羅克與艾瑞茲鳳凰做一個看得見的旅行智能體》。先把反常識結論放前面:多數人以為智能體做得好不好,看的是答案對不對,答案對了就是做好了;真相剛好相反,答案全對的智能體也可能不及格,因為答案只告訴你它答了什麼,沒告訴你是怎麼答的。這個旅行智能體的做法是:只用兩個節點、接三個免金鑰的免費工具,再用兩行程式接上艾瑞茲鳳凰,讓每一步推理、每一次工具呼叫、每一個代幣都看得見。作者問它一個問題:從馬德里去東京、帶五百歐元,距離多遠、能換多少日圓、東京現在天氣如何。它答得全對,約一萬零七百六十二公里、約八萬八千五百五十日圓、十一度晴天,但細看追蹤紀錄,模型明明一開始就知道要三個工具,卻還是一次只叫一個,來回跑了四次語言模型纔把答案湊齊。這篇只做一件事:把兩個節點、三個工具、兩行接線與十五題實測一次講清楚,先讓你的智能體跑起來、再讓它的每一步都看得見,答案對了之後纔開始驗收它走得好不好。先說清楚底線:這篇用的是格羅克推理服務,不是格羅克聊天機器人,兩個名字很像、完全是兩家東西,標題與內文絕對不要寫混;模型是開放權重的千億參數模型,走格羅克免費層,價格數字原文沒給,讀到價格的地方不要自己腦補。
說清詞:
- 蘭格拉夫:搭智能體迴圈的框架,整個智能體只有兩個節點,智能體節點問模型、工具節點跑工具,跑完再回智能體節點,模型不叫工具了就結束。
- 格羅克:推理服務商,提供語言模型呼叫服務,速度快、免費層額度大方、支援工具呼叫,這篇的模型就跑在它上面。
- 艾瑞茲鳳凰:開源的可觀測性平台,本地跑起來收追蹤紀錄,畫面在瀏覽器裡看,每一步的輸入、輸出、耗時與代價都列出來。
- 開放推理:自動插樁的格式標準,接上鳳凰之後,框架的節點、語言模型呼叫與工具呼叫會自動變成巢狀的追蹤片段,不用自己一行一行寫紀錄。
- 追蹤紀錄:一棵樹,記下智能體每一步做了什麼、傳了什麼、回了什麼、花了多久、燒了多少代幣,答案看不出來的問題,追蹤紀錄看得出來。
- 工具呼叫綁定:告訴模型有哪些工具可以用,模型回傳要叫哪一個工具、帶什麼參數,框架再去跑,跑完把結果送回模型。
- 工具條件路由器:兩個節點之間的分岔口,最後一則訊息裡有工具呼叫就走工具節點,沒有就結束。
- 系統提示詞:開頭就交代給模型的規矩,這篇寫的是你是旅行助手、簡短回答、用工具拿真實數據、不要編數字、多個工具一次用完再回答。
- 免費工具:三個不用金鑰的公開服務,查天氣、換匯率、算距離,全部免費,唯一要金鑰的是語言模型。
- 地理編碼:把城市名字換成經緯度,查天氣與算距離之前都要先走這一步,城市名字寫得含糊,編碼器就自己猜。
- 大圓距離:地球表面兩點之間最短的弧線距離,算馬德里到東京這種長途用的就是這個算法。
- 提示詞代幣:每一輪送進模型的文字量,工具結果越堆越多,提示詞就越長,最後一輪比第一輪多六成九。
一個真實的例子:原文的示範問題是從馬德里去東京、帶五百歐元,距離多遠、能換多少日圓、東京現在天氣如何。答案是約一萬零七百六十二公里、五百歐元約八萬八千五百五十日圓、十一度晴天,三個數字全對。但追蹤紀錄揭開的真相是:模型第一步的推理就寫清楚了,需要距離、換匯率、查天氣三個工具,先算距離,話說得明明白白,卻還是三個工具分三次叫,每一次叫工具都要再跑一次語言模型,整條追蹤紀錄花了三點九秒,其中四次語言模型呼叫佔了約二點八秒、七成二,三個工具只佔一點一秒。另一個示範問題更小:奧斯陸冷不冷、兩百歐元是多少挪威克朗,兩個工具的問題,模型一樣一次只叫一個。第一次跑,先拿馬德里到東京這題試,答案對了、追蹤紀錄看懂了,再拿十五題的題庫去驗它到底穩不穩定。
為什麼是兩個節點,而不是五個或十個?因為原文只給這兩個節點,背後是一條很現實的取捨線。智能體節點是模型動腦的地方,工具節點是動手的地方,兩個節點來回跑就是整個智能體的迴圈,節點越少、追蹤紀錄越乾淨,哪一步慢、哪一步錯,一眼就看得出來。節點給多了的代價是雙向的:節點越多,分工看起來越細,追蹤紀錄越像一團毛線,哪一步出問題要翻半天;節點越少,你又以為智能體沒什麼好學,忘了光是兩個節點就能跑出四次語言模型呼叫、三次工具呼叫的複雜行為。先問自己一句:你的智能體今天要驗的是答案,還是走法?只驗答案,終端機印出答案就夠了;要驗走法,兩個節點加追蹤紀錄纔是正路。
再算一筆帳,讓你知道一次只叫一個工具到底貴在哪裡。馬德里到東京這一題,整條追蹤紀錄三點九秒,四次語言模型呼叫佔二點八秒,七成二,免費層的排隊還要另外算,最後一次呼叫模型只算了二百八十毫秒、卻在格羅克的佇列裡等了二百六十八毫秒,幾乎一半時間花在排隊。提示詞代幣從第一輪的二百九十八個漲到最後一輪的五百零三個,多了六成九,每一輪都把前面的對話與工具結果重新送一遍。所以第一次跑十五題之前,先跑一次馬德里到東京,對照追蹤紀錄看看時間花在哪裡、代幣漲在哪裡,再決定要不要改。記帳的習慣只有一個:每一次跑完,立刻看追蹤紀錄裡的時間分佈與代幣變化,不要等帳單來了纔嚇一跳。
反方適用條件清單——以下情況,先別照本篇接可觀測性,免得把本篇讀成保證:
- 只想問模型一句話、答案對了就好:接追蹤紀錄是殺雞用牛刀,終端機印答案更快更便宜。
- 問題只需要一個工具、答案很明確:兩個節點都嫌多,別為了新鮮感把整套可觀測性搬進來。
- 預算卡得很緊、每一塊錢都要算:原文沒給模型價格與免費層額度細節,成本算不出來,先去查價再決定要不要跑。
- 想拿格羅克免費層跑正式產品:免費層是拿來驗證的,正式產品要先看額度與穩定性,不要拿免費層當生產環境。
- 以為接上鳳凰答案就會變準:鳳凰只讓你看見走法,不會幫你改走法,答案準不準還是模型與工具決定的。
- 想讓模型一次叫齊所有工具:原文實測證明模型一次只叫一個,提示詞裡寫了也沒用,要改走法得另外下功夫。
- 城市名字寫得含糊還怪模型答錯:瓦倫西亞有好幾個,模型想都不想就叫查天氣,選哪一個全交給地理編碼器猜,猜錯了是你沒寫清楚。
- 不想看追蹤紀錄、不想對帳:時間與代幣每一次都要親自看,不看的人,智能體慢在哪裡永遠不知道。
- 除此之外,只要你的智能體真的會叫工具、真的要上線給別人用——這篇就是為你寫的。
一句定性金句:智能體做得好不好,不看答案對不對,看的是答案背後那條路走得乾不乾淨;看不見的路,遲早會在帳單與客訴裡現形。
一、翻車清單
- 格羅克與格羅克聊天機器人搞混:一個是推理服務商、一個是聊天機器人,名字很像、完全是兩家東西,寫混了整篇就錯了。
- 鳳凰沒先跑起來就寫智能體:鳳凰是本地伺服器,要先跑起來、畫面開著,智能體跑完纔有地方收追蹤紀錄,順序反了,追蹤紀錄全丟了。
- 接線兩行寫在引入智能體之後:接上鳳凰的兩行一定要在引入智能體之前跑,寫反了,自動插樁插不上,追蹤紀錄一片空白。
- 金鑰寫進程式碼:格羅克的應用程式介面金鑰只存環境變數,寫進程式碼等於貼給全世界看,誰撿到都能拿去花你的額度。
- 模型名字寫錯:模型是開放權重的千億參數模型,名字寫錯一個字,呼叫就失敗,動手前先對名字。
- 工具說明寫得含糊:工具說明就是模型判斷什麼時候用這個工具的依據,說明寫得不清楚,模型該叫的不叫、不該叫的亂叫。
- 工具接上之前不先單獨試:三個工具要先一個一個直接呼叫試過,回傳三個字典纔算通,工具沒試過就接智能體,出問題不知道是工具壞還是智能體壞。
- 系統提示詞不寫不要編數字:提示詞裡沒寫這句,模型查不到就自己編,編出來的數字看起來像、其實全是假的。
- 溫度參數不設零:實測要可重現,溫度設零,溫度不設,同一題明天跑出不同走法,對照表全白寫。
- 以為模型會一次叫齊工具:實測證明模型一次只叫一個,提示詞裡寫了多個工具一次用完也沒用,別拿提示詞當保證。
- 只看終端機答案、不看追蹤紀錄:答案對了就收工,時間花在哪裡、代幣漲在哪裡全不知道,慢與貴的問題永遠藏著。
- 提示詞代幣不看:每一輪重送整段對話,代幣從二百九十八漲到五百零三,多了六成九,不看的人,帳單漲了還以為是模型變貴。
- 免費層排隊時間不算:最後一次呼叫模型只算二百八十毫秒、排隊等了二百六十八毫秒,免費層每多一次來回就多付一次排隊,來回越多、等得越久。
- 含糊地名不處理:瓦倫西亞有好幾個,模型不問、直接叫工具,選哪一個全交給地理編碼器猜,猜錯了答案跟著錯。
- 虛構城市也叫工具:題庫裡的虛構城市,工具一定失敗,模型直接回答不叫工具反而是對的,別把這種題算成失誤。
- 加密貨幣換匯也叫工具:換匯工具只支援法定貨幣,加密貨幣不在支援範圍內,模型不叫工具直接回答是對的,別怪它偷懶。
- 工具沒有寫清楚限制:查天氣工具不做預報、換匯工具不做加密貨幣,限制不寫進工具說明,模型只能憑常識猜,猜錯了是你沒寫。
- 追蹤紀錄不分類標籤:十五題跑完不標題目類別與編號,追蹤紀錄混在一起,哪一類題慢、哪一類題錯,翻都翻不出來。
- 單次實測就下結論:一次跑出來的數字會隨網路與排隊浮動,原文跑了十五題纔敢說規律穩定,只跑一題就下結論,結論就是運氣。
- 第一次就拿正式題目跑免費層:還沒驗證走法對不對、時間花在哪裡,先拿正式題目去跑,出事就是真實用戶在看。
二、替代方案+理由
原文只給一條主路,理由很硬:兩個節點搭起來、三個工具掛上去、兩行接上鳳凰,剩下的交給追蹤紀錄——理由是走法本來就是這篇賣的東西,你自己印日誌等於拿著手電筒找路,追蹤紀錄是整條路一次照亮,不划算也要照。四種接法各有各的理由。第一種是本地鳳凰,理由是最直覺,一個命令跑起來、瀏覽器打開就是畫面,第一次跑先選它。第二種是換模型,理由是格羅克免費層額度大方、速度快,模型名字換掉就能跑,已經在用別的模型服務商的人,換名字就能接上同一套追蹤紀錄。第三種是換工具,理由是三個免費工具只是示範,查天氣、換匯率、算距離都可以換成你自己的業務工具,只要工具說明寫清楚,模型一樣會叫。第四種是評測自動化,理由是十五題的題庫可以變成鳳凰裡的資料集,工具選對了沒有、答案好不好都用評分器自動打分,提示詞或模型一改,立刻重跑一遍,不用肉眼一題一題看。順序只有一個:先用本地鳳凰跑通馬德里到東京,再按你專案的習慣換模型換工具,最後纔把題庫變成自動評測,不要四種同時開工。
走法也有替代方案,理由一樣硬:一次叫一個工具先走,理由是先驗證答案對不對、追蹤紀錄看不看得懂;平行叫工具再走,理由是三個工具互不依賴,一次叫齊能省掉兩次語言模型來回,時間與代幣都省下來;介於中間的做法是先跑十五題看規律,規律穩定了再改走法,改完重跑十五題對照,兩次的追蹤紀錄擺在一起,省了多少時間、少了多少代幣,數字會說話。還有一條省錢的替代方案:地理編碼結果快取起來。理由是同一批城市查了一次又一次,地理編碼佔了工具時間的大頭,快取起來,工具時間立刻降下來,免費層的排隊也少付幾次。
三、目標形態
一個能對照的最小閉環:鳳凰已跑起來、畫面已打開、專案是空的預設專案;格羅克金鑰已存進環境變數、模型名字寫對、溫度設零;三個工具先一個一個直接呼叫試過,回傳三個字典;智能體只有兩個節點,系統提示詞寫好、用工具拿真實數據、不要編數字;接鳳凰的兩行寫在引入智能體之前,跑一次馬德里到東京,答案是約一萬零七百六十二公里、約八萬八千五百五十日圓、十一度晴天;你親自對一次答案裡的三個數字、親自看一次追蹤紀錄裡的時間與代幣,兩個都對纔算通。一句話:先讓智能體真正跑起來、再讓它的每一步都看得見。
這個最小閉環還有三個進階樣子,通了之後可以一個一個加上去。第一個是十五題題庫升級:題目換成十五題,分單一工具、多工具、不用工具、超出範圍、含糊與出錯六類,跑完對照工具選對十三題,看看另外兩題為什麼沒叫工具。第二個是平行呼叫升級:提示詞改成要模型一次叫齊互不依賴的工具,重跑十五題,對照追蹤紀錄,看看省掉幾次語言模型來回、時間少了多少。第三個是含糊地名升級:瓦倫西亞這種多個同名城市的題目,讓工具回傳多個候選、讓智能體問用戶,或是說清楚它選了哪一個,跑完看追蹤紀錄,知道含糊的地方有沒有被處理。這三個樣子有一個共同點:每一次升級都有追蹤紀錄背書,不是憑感覺說變好了。
四、遷移步驟
1. 先開目錄、裝鳳凰:新建一個旅行智能體目錄進去,建虛擬環境、啟用它,裝上鳳凰套件,一個命令跑起來,瀏覽器打開本機六零零六埠的鳳凰首頁,看到空的預設專案,終端機不要關。
2. 備金鑰、寫環境變數:到格羅克控制台拿一把免費的應用程式介面金鑰,存進環境變數檔案,模型名字與鳳凰的收集端點、專案名字一起寫進去,不要寫進程式碼、不要貼進群組。
3. 煙霧測試驗一次:寫一小段測試,叫模型只回一句格羅克能用,印得出來,金鑰與模型纔算通,印不出來先看金鑰與模型名字,不要往下走。
4. 寫三個工具:查天氣、換匯率、算距離三個工具各寫一個函式,掛上工具標記,工具說明寫清楚回傳什麼、限制是什麼,說明寫得含糊,模型就選錯工具。
5. 工具先單獨試:寫一支檢查工具的程式,三個工具一個一個直接呼叫,回傳三個字典纔算通,工具沒試過就接智能體,出問題不知道是誰壞。
6. 寫智能體迴圈:系統提示詞寫好,模型綁定三個工具,兩個節點搭起來,智能體節點問模型、工具節點跑工具,路由器看最後一則訊息有沒有工具呼叫,有就走工具節點、沒有就結束。
7. 接鳳凰兩行寫對:載入環境變數之後、引入智能體之前,寫上註冊那兩行,自動插樁打開,裝好開放推理的框架插樁套件,節點、語言模型呼叫與工具呼叫纔會變成巢狀片段。
8. 跑馬德里到東京:跑一次主程式,問題是從馬德里去東京、帶五百歐元,距離多遠、能換多少日圓、東京現在天氣如何,答案對一次三個數字,約一萬零七百六十二公里、約八萬八千五百五十日圓、十一度晴天。
9. 回鳳凰看追蹤紀錄:瀏覽器回到鳳凰,專案裡出現一條追蹤紀錄,點開看四次語言模型呼叫、三次工具呼叫、整條三點九秒、語言模型佔七成二,時間花在哪裡要看得懂。
10. 驗收第一輪:答案三個數字對得上、追蹤紀錄時間與代幣看得懂,兩個都對纔算通,對不上先看工具說明與系統提示詞,不要自己硬湊。
11. 跑十五題題庫:題目分六類,單一工具、多工具、不用工具、超出範圍、含糊與出錯,每一輪在鳳凰裡標上類別與題目編號,跑完對照工具選對十三題。
12. 看兩題沒叫工具的原因:虛構城市與加密貨幣換匯兩題,模型直接回答不叫工具是對的,因為工具一定失敗,別把這種題算成失誤,算進去了對照表就是錯的。
13. 改平行呼叫驗一次:提示詞改成要模型一次叫齊互不依賴的工具,重跑十五題,對照追蹤紀錄,看看省掉幾次語言模型來回、時間少了多少、代幣少漲多少。
14. 含糊地名另外處理:瓦倫西亞這種題目,讓工具回傳多個候選、讓智能體問用戶,或是說清楚它選了哪一個,跑完看追蹤紀錄,知道含糊的地方有沒有被處理。
15. 每月回頭對一次原文與模型:免費層額度與模型名字會改、工具限制會調整,每月花十分鐘對一次,才不會拿著舊地圖走新路。
跑完這十五步,真正拉開差距的不是你會幾種接法,是你問問題的方式。問得發散,智能體就什麼工具都叫、什麼都查;問得聚焦,三個工具一次就命中你要的數字。好的問法有三個要素:先說起點與終點,再說帶多少錢,最後說要哪三個數字。起點終點是你要去哪裡,例如馬德里到東京;帶多少錢是預算,例如五百歐元;要哪三個數字是驗收標準,例如距離、換匯、天氣,三個要素寫進每一次提問,智能體回傳的答案立刻不一樣。反過來最差的問法是只丟一句幫我規劃旅行,模型不知道你要去哪裡、不知道帶多少錢、不知道哪些數字不能編,只能憑感覺猜,猜錯了你還要花時間重查。工具是框架裡掛的,問題是你問的,問法纔是決定這個智能體能幫多少忙的關鍵。
五、團隊共建分工
讓智能體上線是小事,但三個角色別一個人全扛:
- 你自己管金鑰:金鑰只你經手,存進環境變數、不寫進程式碼、不貼進群組,誰要用就請他自己建一把。
- 審查者核對追蹤紀錄:每一次跑完對一次時間分佈與代幣變化,整條三點九秒、語言模型佔七成二、提示詞漲六成九的算法已知道,平行呼叫改完省了多少要抓出來看。
- 紀錄者留對照表:把每一次跑的題目、題目類別、工具選對沒有、時間與代幣寫進本篇贈品驗收表,換人接手時不用重讀原文,換模型時照表改數字就好。
- 守門員管工具說明:每一次加工具之前,先說清楚這個工具回傳什麼、限制是什麼、不支援什麼,說明沒先定好就掛上去,模型選錯工具一定怪不到模型頭上。
- 新人先跑最小閉環:新加入的人不要一次跑十五題,先照本篇第四節跑一遍最小閉環,馬德里到東京答案對得上、追蹤紀錄看得懂,通了纔算入門,通不了先找守門員對寫法,不要自己硬湊。
六、官方工具包
- 蘭格拉夫智能體:兩個節點,智能體節點問模型、工具節點跑工具,路由器看有沒有工具呼叫決定走哪邊,整個智能體約三十行。
- 格羅克模型:開放權重的千億參數模型,走格羅克免費層,速度快、額度大方、支援工具呼叫,溫度設零纔可重現。
- 艾瑞茲鳳凰:開源可觀測性平台,本地跑起來,瀏覽器打開本機六零零六埠的首頁,專案裡一條追蹤紀錄對一次執行。
- 開放推理插樁:自動插樁的格式標準,兩行接上鳳凰,節點、語言模型呼叫與工具呼叫自動變成巢狀片段。
- 三個免費工具:查天氣走開放氣象、換匯率走法蘭克福與歐洲央行參考匯率、算距離走開放氣象地理編碼加大圓距離公式,三個都不用金鑰。
- 實測數字:十五題工具選對十三題;馬德里到東京整條三點九秒,語言模型四次呼叫佔約二點八秒、七成二;提示詞代幣從二百九十八漲到五百零三,多了六成九;最後一次呼叫模型算二百八十毫秒、排隊等二百六十八毫秒。
- 未來改進五件:平行叫工具、含糊地名多候選、工具限制寫進說明、地理編碼快取、題庫變自動評測,五件都從追蹤紀錄裡長出來。
- 價格缺口:原文未給模型價格與免費層額度細節,成本帳算不出來,不要自己編數字。
- 完整程式碼:原文說在程式碼託管平台上有旅行智能體與艾瑞茲鳳凰的專案,只給了專案名字,沒貼完整連結,正文不補連結。
結尾收束:原則比寫法多重要——兩種接法不是兩種本事,是同一套追蹤紀錄換了兩個殼子。可重複的動作規則只有一條:每次換模型、換工具之前,先回到那個最小閉環——鳳凰跑起來、三個工具單獨試過、跑一次馬德里到東京、親自對三個數字、親自看追蹤紀錄——通了再往下走。今晚就能做的事:先裝鳳凰、備金鑰、寫三個工具跑一次馬德里到東京,答案對得上、追蹤紀錄看得懂,這條路就是你的了。
最後再提醒一次最容易被低估的事:智能體真正的成本不是答案對不對、不是接法,是你願不願意先把走法看清楚。走法沒看清楚,答案對了也只是運氣,下一次題目換一換,慢與貴的問題全冒出來;走法看清楚了,一次只叫一個工具的毛病、提示詞越漲越多的毛病、免費層排隊的毛病,全在追蹤紀錄裡等著你改。今晚先跑馬德里到東京,明天上班第一件事就拿十五題去試平行呼叫,對照追蹤紀錄看看到底省了多少,數字會告訴你答案。
本篇贈品:旅行智能體可觀測首次落地驗收表
開通之前逐項打勾:1 環境——鳳凰已跑起來、畫面已打開、專案是空的預設專案;2 金鑰——格羅克金鑰已存進環境變數、模型名字已寫對、溫度已設零;3 工具——查天氣換匯率算距離三個工具已各寫好、工具說明已寫清回傳與限制;4 單獨試——三個工具已一個一個直接呼叫、回傳三個字典已確認;5 接線——接鳳凰的兩行已寫在引入智能體之前、自動插樁已打開;6 第一輪——已跑馬德里到東京、三個數字已對上、追蹤紀錄時間與代幣已看懂;7 題庫——十五題已分六類、類別與編號已標上、工具選對十三題已對照;8 兩題——虛構城市與加密貨幣換匯沒叫工具是對的已記住、不算失誤;9 平行——一次叫齊互不依賴工具已改過、重跑十五題已對照省下的來回;10 含糊——瓦倫西亞多候選已處理、智能體問用戶或說清選哪一個已驗過;11 快取——地理編碼快取已接上、工具時間已降下來;12 價格——原文沒給模型價格與免費層額度細節已記住、成本帳算不出來不編數字;13 維護——每月回頭對一次原文與模型、免費層改動已留空間、第一次不跑正式題目已記住。
S1哥觀點
別再問「智能體答案對不對」了——對不對的不是答案一個,是你有沒有看見它走的那條路。還在只看終端機答案的人,花的時間不是驗收,是賭運氣;接上追蹤紀錄的人,時間花在哪裡、代幣漲在哪裡、模型一次只叫一個工具的毛病,全在畫面裡等著你改。更值得問的是:你現在手上最花時間的那個智能體,到底叫了幾次語言模型、浪費了幾次排隊?那個數字,就是你第一次該接可觀測性的理由。你第一個想接上追蹤紀錄的智能體是什麼?評論區說說。
显示更多