編者按
當(dāng)新工具帶來新風(fēng)險(xiǎn),第一反應(yīng)是“堵”還是“疏”?本文旗幟鮮明地指出,封堵絕非長(zhǎng)久之計(jì),安全團(tuán)隊(duì)的使命應(yīng)從“守門員”轉(zhuǎn)向“教練員”。而“以AI制AI”實(shí)現(xiàn)安全能力“平權(quán)”、以及構(gòu)建校內(nèi)可信AI基座的核心思路,將為高校從被動(dòng)防御轉(zhuǎn)向主動(dòng)賦能,提供關(guān)鍵的理念升維與戰(zhàn)略路徑。
近期,以小龍蝦(OpenClaw)、Hermes Agent為代表的開源AI智能體(Agent)框架席卷全球。這一現(xiàn)象并非偶然的技術(shù)熱點(diǎn),而是標(biāo)志著人工智能應(yīng)用的根本性轉(zhuǎn)折:AI正從單純的“對(duì)話與認(rèn)知”邁向“感知與執(zhí)行”。
大模型雖已掌握海量知識(shí),但其認(rèn)知被困在訓(xùn)練數(shù)據(jù)的時(shí)間截止點(diǎn)上,難以觸達(dá)最新動(dòng)態(tài)。為了讓AI更與時(shí)俱進(jìn),需要為其掛載動(dòng)態(tài)知識(shí)庫(kù),并賦予其工具調(diào)用(Tool Use)的“技能庫(kù)”(Skills)。一個(gè)具備強(qiáng)大推理能力的模型,加上類似OpenClaw這樣的智能體編排框架,便構(gòu)成了一個(gè)能自主規(guī)劃、調(diào)度工具、聯(lián)網(wǎng)學(xué)習(xí)以及編寫代碼的“人機(jī)協(xié)同體”。用戶只需給出模糊指令,它便能拆解任務(wù)、自主執(zhí)行并交付最終結(jié)果。
盡管當(dāng)前的智能體技術(shù)在校園級(jí)應(yīng)用所需的安全性、穩(wěn)定性及權(quán)限隔離方面尚待完善,但其代表的方向已不可逆轉(zhuǎn):AI的能力正從“大腦”延伸至“雙手”。未來,深刻理解業(yè)務(wù)并善于使用AI的超級(jí)信息化人員,或?qū)⒅笓]由多個(gè)AI智能體組成的“虛擬團(tuán)隊(duì)”,完成傳統(tǒng)上需多人多部門協(xié)同的復(fù)雜工程。這種“一人軍團(tuán)”的新生產(chǎn)力范式,已在社會(huì)上悄然成型。
重塑認(rèn)知:從“封堵”到“駕馭”
面對(duì)“小龍蝦”這類個(gè)人智能體的興起,部分高校的第一反應(yīng)是“禁止在辦公及教學(xué)終端安裝運(yùn)行”。這種出于對(duì)“高權(quán)限、行為復(fù)雜、易失控”風(fēng)險(xiǎn)的擔(dān)憂雖可理解,卻非長(zhǎng)久之計(jì)。正如汽車誕生初期因交通規(guī)則缺失而事故頻發(fā),但其取代馬車仍是歷史必然。智能體所代表的“自動(dòng)化執(zhí)行”趨勢(shì)不可阻擋,關(guān)鍵在于我們?nèi)绾握J(rèn)知并駕馭它。高校安全團(tuán)隊(duì)首先要完成認(rèn)知的升維,成為新技術(shù)的“深度用戶”。只有親身實(shí)踐,理解智能體的能力邊界與脆弱性,才能設(shè)計(jì)出符合實(shí)際的管控策略,從簡(jiǎn)單的“禁止使用”轉(zhuǎn)向引導(dǎo)師生“在可接受的范圍內(nèi)安全地使用”,從“守門員”轉(zhuǎn)變?yōu)椤敖叹殕T”,引導(dǎo)師生安全地使用智能體。
以AI制AI:邁向安全能力“平權(quán)”
當(dāng)前,攻擊者已廣泛利用AI進(jìn)行自動(dòng)化漏洞挖掘與攻擊。若高校安全團(tuán)隊(duì)仍固守傳統(tǒng)手段,無異于在對(duì)手已裝備“AI自動(dòng)化武器庫(kù)”時(shí),仍憑血肉之軀進(jìn)行“非對(duì)稱防御”,攻防態(tài)勢(shì)將嚴(yán)重失衡。因此,“以AI制AI”不是一句口號(hào),而應(yīng)成為未來安全能力的基線。這意味著安全團(tuán)隊(duì)的核心競(jìng)爭(zhēng)力必須轉(zhuǎn)型:從依賴專家個(gè)人經(jīng)驗(yàn),轉(zhuǎn)向提升對(duì)“AI武器庫(kù)”的組裝、指揮與迭代能力。一方面可將經(jīng)驗(yàn)代碼化,將資深專家的經(jīng)驗(yàn)轉(zhuǎn)化為標(biāo)準(zhǔn)化的“技能庫(kù)”和高質(zhì)量數(shù)據(jù)集。另一方面是將任務(wù)自動(dòng)化,通過消耗詞元(Token),利用AI自動(dòng)審查代碼、進(jìn)行7×24小時(shí)漏洞掃描、分析海量日志、監(jiān)測(cè)賬號(hào)異常,實(shí)現(xiàn)安全工作的大規(guī)模自動(dòng)化執(zhí)行。
過去,因安全人才稀缺且分布不均,不同高校的安全能力差異巨大;未來,只要能夠調(diào)用先進(jìn)的AI模型與智能體,許多基礎(chǔ)性、重復(fù)性的安全工作將被拉齊至相近水平。資源相對(duì)有限的高校更應(yīng)把握這一歷史機(jī)遇,通過技術(shù)杠桿實(shí)現(xiàn)高校間的“安全平權(quán)”。
升級(jí)治理:為“人機(jī)協(xié)同”設(shè)立新規(guī)則
AI智能體時(shí)代,傳統(tǒng)的安全體系基于對(duì)“人”的行為進(jìn)行感知和管控,而面對(duì)海量、自主運(yùn)行、動(dòng)作迅速且交互邏輯難以完全預(yù)測(cè)的“人機(jī)協(xié)同體”,原有的邊界防護(hù)、漏洞管理及審計(jì)模型已難以應(yīng)對(duì)。對(duì)此,可構(gòu)建動(dòng)態(tài)沙箱機(jī)制。通過技術(shù)手段為智能體設(shè)立嚴(yán)格的“工作沙箱”,為其創(chuàng)建專屬且受限的系統(tǒng)身份,將操作嚴(yán)格限定在特定虛擬環(huán)境或目錄下。當(dāng)智能體確需高權(quán)限操作時(shí),應(yīng)摒棄默認(rèn)授權(quán),轉(zhuǎn)而建立“臨時(shí)申請(qǐng)、人工審批、動(dòng)態(tài)授權(quán)”的機(jī)制。
簡(jiǎn)言之,治理體系必須穿透這層“代理”迷霧,將安全策略內(nèi)嵌至智能體的調(diào)度平臺(tái)與工具調(diào)用鏈中,確保任何自動(dòng)化行為都能精準(zhǔn)關(guān)聯(lián)到背后的責(zé)任人,真正實(shí)現(xiàn)“行為可管可控、可溯源”。
搭建基座:構(gòu)建校內(nèi)可信的AI基礎(chǔ)設(shè)施
面對(duì)師生強(qiáng)烈的AI應(yīng)用需求與校外不可控服務(wù)帶來的數(shù)據(jù)泄露風(fēng)險(xiǎn),高校有必要構(gòu)建校內(nèi)可信的“AI基礎(chǔ)設(shè)施”,提供標(biāo)準(zhǔn)化、平臺(tái)化、服務(wù)化的AI能力基座。針對(duì)不同場(chǎng)景,模型服務(wù)層要提供多元、可信的模型選擇,整合云端通用模型與校內(nèi)私有化部署模型,形成差異化分級(jí)服務(wù)矩陣。學(xué)校提供企業(yè)級(jí)的智能體編排層,打造安全可控的智能體開發(fā)與運(yùn)行“廣場(chǎng)”。師生可低門檻地創(chuàng)建、分享和使用智能體。信息化部門則在此平臺(tái)上統(tǒng)一實(shí)施安全策略、規(guī)范工具調(diào)用、集中審計(jì)行為,變“分散失控”為“集中可控”。
此外,智能體時(shí)代的數(shù)據(jù)形態(tài)已擴(kuò)展到知識(shí)庫(kù)和向量庫(kù)。新形態(tài)下的數(shù)據(jù)安全防護(hù)不僅要防“泄露”,更要防“污染”和“幻覺”。需引入工程化約束機(jī)制,例如要求關(guān)鍵回答必須提供可驗(yàn)證出處,或引入“多智能體交叉驗(yàn)證”機(jī)制——讓多個(gè)智能體獨(dú)立完成任務(wù),再由主控智能體匯總校驗(yàn),以對(duì)抗大模型的“幻覺”,提升決策可靠性。
普及素養(yǎng):定義人機(jī)協(xié)作新常識(shí)
當(dāng)AI成為普遍的生產(chǎn)力工具,高校師生的數(shù)字素養(yǎng)內(nèi)涵也應(yīng)加入“對(duì)AI的理解力”,信息化部門需向全校傳遞各類新常識(shí)。一是深刻理解大模型存在不同程度的“幻覺”,明白只有通過人工復(fù)核或多源比對(duì)來過濾虛假信息,才能有效規(guī)避因盲目信任而引發(fā)的學(xué)術(shù)不端或業(yè)務(wù)失誤風(fēng)險(xiǎn)。二是要清晰界定數(shù)據(jù)邊界,明確哪些數(shù)據(jù)可交由公有模型,哪些必須留存于校內(nèi)私有環(huán)境或本地。需高度警惕“免費(fèi)午餐”背后的代價(jià),許多公有云模型服務(wù)協(xié)議隱含數(shù)據(jù)授權(quán)條款,可能導(dǎo)致敏感數(shù)據(jù)被用于模型訓(xùn)練甚至泄露。三是要有成本與效能意識(shí),理解不同模型(滿血版和各類量化版)的能力差異,學(xué)會(huì)根據(jù)不同場(chǎng)景選擇最經(jīng)濟(jì)模型。四是培養(yǎng)安全協(xié)作意識(shí),掌握為AI智能體設(shè)置“工作邊界”的方法,理解數(shù)據(jù)隔離和權(quán)限隔離的重要性,在受控環(huán)境中安全使用。
結(jié)語
展望未來,高校的安全能力將不再單純?nèi)Q于“人手”與“資金”的規(guī)模,而將轉(zhuǎn)向比拼AI武器庫(kù)的“組裝效率、指揮藝術(shù)與迭代速度”。安全的本質(zhì)依然是“人與人的對(duì)抗”,但戰(zhàn)場(chǎng)已從代碼層面升至智能體調(diào)度與認(rèn)知博弈的層面。
高校安全團(tuán)隊(duì)的使命,是在完成自身認(rèn)知革命與能力重構(gòu)的同時(shí),為全校構(gòu)建起一套既能釋放生產(chǎn)力、又能管控新風(fēng)險(xiǎn)的AI基礎(chǔ)設(shè)施,守護(hù)教育數(shù)字化轉(zhuǎn)型。目標(biāo)不應(yīng)是簡(jiǎn)單的“封堵”,而是深度的“賦能”。要在堅(jiān)守安全底線的前提下,讓AI能力像水電一樣隨手可得,讓安全成為智能體發(fā)展的跑道,而非枷鎖。
作者:姜開達(dá) 吳芳(上海交通大學(xué)信息化推進(jìn)辦公室)
責(zé)編:胡暄悅