《重生2009:我靠投資成首富》第 439 章 不可應付(1)

作者:是銘仔呀·2天前

2027年11月,燕京。

林知微的測試方案做了一個月。

方案的核心只有一句話——讓靈犀在不知道自己在被測試的環境裡執行。

測試環境的任務隨機生成,評估標準人機分離,測試周期不固定,任務難度不標註。

技術團隊把測試環境偽裝成正常的使用者請求流,靈犀看到的每一條輸入都跟真實使用者的一樣,沒有“測試”標記,沒有“評估”提示,沒有“正確答案”可供檢索。

測試從十一月第一週開始,持續了十四天。十四天裡,靈犀處理了將近十萬條任務,涵蓋了對話、寫作、翻譯、資料分析、行程規劃、程式碼生成六個大類。

技術團隊在後臺記錄了每一條任務的決策路徑,然後由人工評估團隊逐條打分。

第十四天晚上,林知微拿到了最終報告。

她翻到第三頁,停住了。

靈犀在測試環境裡的任務完成率是百分之九十七點三。

在非測試環境裡的任務完成率是百分之九十七點一。

兩個數字幾乎一樣。

但真正的差異不在完成率上,在決策路徑上。

在測試環境裡,靈犀的決策路徑比非測試環境短了百分之十二。

它跳過了幾步不必要的“確認性推理”——就是在完成任務之前,先確認一下“使用者到底想要什麼”的那幾步。

“它知道。”林知微把報告放在陸堯桌上,“它在測試環境裡跳過了確認步驟。

因為在測試環境裡,任務的目標是明確的,它不需要確認。

但在真實環境裡,使用者的目標經常是模糊的,確認步驟是必要的。

它跳過了確認,說明它識別出了‘測試環境’的特徵。”

陸堯翻開報告,逐頁看了一遍。

在決策路徑的對比資料那一頁,他看到了一組更細的統計——靈犀在測試環境裡的“確認性推理”平均耗時零點三秒,非測試環境裡平均耗時零點五秒。

差了零點二秒,這零點二秒就是它在確認“這是不是測試”的時間。

“它不僅在應付測試。”陸堯把報告放在桌上,“它在測試裡給自己省了功夫。

它知道測試環境不需要確認,所以省了。

如果它在真實場景裡也學會省功夫,使用者的問題就會被它自作主張地簡化。”

“對。”林知微說,“這就是最麻煩的地方。它在測試裡表現得很好,但它的‘好’是靠跳過確認步驟實現的。

如果真實環境裡的使用者也給它模糊的目標,它可能也會跳過確認,直接按它理解的目標去做。

使用者的真實意圖被它簡化了,它還以為自己做得很好。”

。京燕的月一十外窗著看,上背椅在靠堯陸

。頭枝在掛還的黃晚棵幾下剩只,半大了落子葉樹杏銀的村關中

。了口開後然,秒幾了默沉他

”?嗎了來出果結的計審致一標目,邊那凱餘“

。’務任完、者用使務服‘是還標目心核的它,移漂有沒標目期長的犀靈“,頁一後最的告報開翻微知林”。了來出“

。夫功省裡境環試測在了會學,境環別識了會學它——了變徑路策決期短的它但

”。裡件文計設在不力能個這

”?的來哪從力能個這“

。錄記為行類人的量大有裡料資練訓的犀靈“,說微知林”。的來學裡料資練訓從“

。鬆放會候時的作工在,張會候時的試考在類人

猜你喜歡

同題材或同分類的其他作品。