人們能夠觀察AI做了什麼,卻未必能準確解釋它為什麼會這樣做。
人們可以透過測試發現某些風險,卻很難保證所有未知情境都已經被覆蓋。
更重要的是,隨著模型能力不斷提高,AI正在進入越來越複雜的任務領域。
過去,人們認為某些工作需要人類長期積累的經驗和判斷力,機器很難替代。
但現實卻在不斷改變。
AI開始處理越來越複雜的分析任務。
開始參與高難度的研究工作。
也開始在許多過去被認為難以自動化的領域展現能力。
所謂的能力邊界,正在不斷被重新定義。
這意味著,單純依靠經驗判斷AI的能力範圍,已經越來越困難。
如果一個系統可以在不同任務之間遷移能力,那麼研究人員就不能只依賴過去的測試結果,來判斷它未來會做什麼。
他們必須更深入地理解系統的行為規律。
必須建立更加可靠的評估與控制方法。
而這,正是張羿一直在研究的方向。
他並不認為,只要AI表現出某種能力,就意味著它一定會在所有場景下正確使用這種能力。
同樣,他也不認為,AI只是在簡單地預測下一個文字標記,就意味著它永遠不可能完成複雜任務。
在他看來,真正重要的問題是:
如何讓系統的行為始終處於可驗證、可約束的範圍之內?
如何在系統面對複雜任務時,及時發現潛在風險?
如何在它產生不符合要求的行為時,進行有效干預?
又如何在保持系統能力的同時,避免為了追求效能而犧牲安全性?
這些問題,並不能僅靠增加幾條提示詞就解決。
也不能僅靠一輪測試,就宣稱所有風險已經消失。
張羿和團隊投入了大量時間,研究AI系統的行為模式、風險邊界與控制機制。
他們不斷設計測試場景。
不斷驗證系統在不同任務下的表現。
不斷修正控制邏輯。
最終,晶核智算科技建立起了一套新的AI安全控制系統。
。關開的單簡個一是不並它
。工能萬的題問出不遠永IA有所讓以可稱宣是不也
。預干與制限的應相發時要必在並,為行的求要設預合符不別識地效有更夠能,時務任雜複對面在統系使,程流行執IA納制機證驗和別識險風、束約為行的化統系更將於在,值價心核的它
。破突要重項一是這,言而業行IA於對
。果發研的鍵關最來以立司公是更這,言而技科算智核晶於對
。人責負席首的案專個這是正,羿張而
。態狀保格嚴於仍案專個整,前目
。息訊布發外對前提有沒司公
。麼什了完經已己自傳宣場市向主有沒也
。佈公外對時何定決再,制限和件條行執、圍範用適的統系認確,證驗分充過經果技保確是,的做要先首們他
。域領的傳宣大誇意隨以可個一是不全安IA,道知羿張
。試測謹嚴過經須必都,技項一何任
。口破突的義意要重有個一了到找經已己自,楚清也他但
。理的統系更到得會機有於終,題問的隊團究研擾困些那去過,著味意這
。值價無毫是不並,向方的究研心量大投經曾己自,明證以可於終也他而
。珏東王的遠不著羿張
。談而侃侃在然仍方對
。系發研的先領和源資厚雄、才人尖頂有擁團集在所己自調強,來未的技科cipornA著繪描川廷龍向他
。刺諷些有得覺然忽羿張
。位地和家的今如了來換,果的他取竊靠經曾珏東王
。來未售兜人別向,位地份這用利圖試又他,在現
。中手羿張在握掌經已,技的局格業行變改能可正真,道知不他可








