2025年2月7日，法國國家網(wǎng)絡(luò)安全局（ANSSI）聯(lián)合其他18個(gè)國家的安全機(jī)構(gòu)共同簽署《通過基于網(wǎng)絡(luò)安全的方法構(gòu)建可信AI》，圍繞基于網(wǎng)絡(luò)風(fēng)險(xiǎn)的方法構(gòu)建對人工智能的信任展開，分析了人工智能相關(guān)的網(wǎng)絡(luò)風(fēng)險(xiǎn)、攻擊場景，為不同主體提供了指導(dǎo)方針，并給出了安全實(shí)施人工智能系統(tǒng)的建議和參考資料。

一、人工智能發(fā)展現(xiàn)狀與風(fēng)險(xiǎn)分析必要性

人工智能的發(fā)展現(xiàn)狀：人工智能是一項(xiàng)自20世紀(jì)50年代就開始發(fā)展的變革性技術(shù)，如今其應(yīng)用幾乎滲透到從國防、能源到健康、金融等各個(gè)領(lǐng)域。像大語言模型（LLM）這類人工智能技術(shù)的快速普及，使得各利益相關(guān)方對人工智能的依賴程度日益加深。這種廣泛且迅速的應(yīng)用，標(biāo)志著人工智能已成為現(xiàn)代社會和經(jīng)濟(jì)發(fā)展中不可或缺的一部分。

存在的風(fēng)險(xiǎn)：盡管人工智能發(fā)展迅猛，但用戶往往傾向于低估與人工智能相關(guān)的網(wǎng)絡(luò)風(fēng)險(xiǎn)。在缺乏足夠應(yīng)對措施的情況下，惡意行為者有可能利用人工智能系統(tǒng)存在的漏洞來達(dá)成不良目的。由于人工智能系統(tǒng)作為軟件系統(tǒng)本身就存在脆弱性，其數(shù)據(jù)在保密性和完整性方面面臨獨(dú)特挑戰(zhàn)，且與其他系統(tǒng)的互聯(lián)增加了風(fēng)險(xiǎn)擴(kuò)散的可能性，這些都為惡意攻擊提供了可乘之機(jī)。

風(fēng)險(xiǎn)分析的必要性：對人工智能相關(guān)風(fēng)險(xiǎn)進(jìn)行分析十分關(guān)鍵。一方面，只有深入了解這些風(fēng)險(xiǎn)，才能采取有效的措施進(jìn)行緩解，從而推動人工智能在可信的環(huán)境中發(fā)展。另一方面，全面的風(fēng)險(xiǎn)分析有助于充分挖掘人工智能技術(shù)帶來的各種機(jī)遇。若忽視風(fēng)險(xiǎn)，可能會出現(xiàn)惡意行為者利用系統(tǒng)漏洞破壞人工智能技術(shù)應(yīng)用的情況，進(jìn)而阻礙人工智能的進(jìn)一步發(fā)展和應(yīng)用，無法實(shí)現(xiàn)其潛在價(jià)值。

二、人工智能系統(tǒng)面臨的風(fēng)險(xiǎn)

1、面臨的威脅種類

共性與特性威脅：人工智能系統(tǒng)作為軟件系統(tǒng)，存在固有脆弱性，需借助成熟的網(wǎng)絡(luò)安全實(shí)踐，從開發(fā)到漏洞管理等多環(huán)節(jié)保障其安全性。它不僅面臨與其他信息系統(tǒng)相似的網(wǎng)絡(luò)威脅，如來自托管基礎(chǔ)設(shè)施的風(fēng)險(xiǎn)，還因數(shù)據(jù)在系統(tǒng)中的核心地位，在保密性和完整性方面面臨特殊挑戰(zhàn)。

惡意人工智能的威脅：惡意使用人工智能的情況呈增長態(tài)勢且手段愈發(fā)復(fù)雜。人工智能降低了攻擊門檻，擴(kuò)大了攻擊規(guī)模和效率，在諸如網(wǎng)絡(luò)釣魚、漏洞掃描及惡意代碼開發(fā)等領(lǐng)域表現(xiàn)明顯。先進(jìn)的生成式人工智能甚至可能引發(fā)貫穿整個(gè)網(wǎng)絡(luò)殺傷鏈的大規(guī)模低成本攻擊。

2、風(fēng)險(xiǎn)場景

基礎(chǔ)設(shè)施受損風(fēng)險(xiǎn)：惡意行為者可利用技術(shù)、組織或人為層面的常見漏洞，對人工智能系統(tǒng)的托管和管理基礎(chǔ)設(shè)施發(fā)起攻擊，影響系統(tǒng)的保密性、完整性和可用性，這一風(fēng)險(xiǎn)在系統(tǒng)全生命周期都需重點(diǎn)防范。

供應(yīng)鏈攻擊風(fēng)險(xiǎn)：攻擊者可能利用供應(yīng)鏈中軟件庫、預(yù)訓(xùn)練模型提供商或服務(wù)提供商等環(huán)節(jié)的漏洞發(fā)起攻擊。以開源庫為例，因其在人工智能系統(tǒng)開發(fā)中廣泛應(yīng)用且常集成到更大框架，一旦遭受攻擊，會危及整個(gè)系統(tǒng)安全。

系統(tǒng)互聯(lián)風(fēng)險(xiǎn)：人工智能系統(tǒng)常與其他信息系統(tǒng)互聯(lián)以實(shí)現(xiàn)通信和數(shù)據(jù)整合，但這也帶來新風(fēng)險(xiǎn)。如間接提示注入攻擊，攻擊者借此遠(yuǎn)程提取敏感信息或執(zhí)行惡意命令，尤其當(dāng)人工智能系統(tǒng)與工業(yè)系統(tǒng)互聯(lián)時(shí)，風(fēng)險(xiǎn)會因工業(yè)系統(tǒng)對物理世界的直接影響而放大。

人為和組織風(fēng)險(xiǎn)：人員培訓(xùn)不足會導(dǎo)致過度依賴自動化，難以察覺人工智能系統(tǒng)的異常行為。此外，未經(jīng)組織 IT 部門批準(zhǔn)使用的影子人工智能，可能引發(fā)數(shù)據(jù)泄露、違規(guī)及聲譽(yù)受損等問題。長期來看，在關(guān)鍵活動中過度使用人工智能，可能導(dǎo)致技術(shù)依賴，一旦系統(tǒng)故障，人力難以替代其功能。

系統(tǒng)響應(yīng)故障風(fēng)險(xiǎn)：攻擊者若篡改用于訓(xùn)練人工智能模型的數(shù)據(jù)庫，會使模型在生產(chǎn)環(huán)境中給出錯(cuò)誤響應(yīng)。盡管開發(fā)者不斷增強(qiáng)模型對訓(xùn)練數(shù)據(jù)中毒攻擊的抵御能力，但在涉及數(shù)據(jù)分類的關(guān)鍵場景（如醫(yī)療、安防圖像識別）中，此類攻擊仍極具危險(xiǎn)性。

三、應(yīng)對風(fēng)險(xiǎn)的指導(dǎo)方針

1、用戶、運(yùn)營商和開發(fā)者指南

用例敏感性分析：在考慮使用AI系統(tǒng)時(shí)，第一步是分析用例的敏感性，確保AI系統(tǒng)的復(fù)雜性、網(wǎng)絡(luò)安全成熟度、可審計(jì)性和可解釋性與特定用例的網(wǎng)絡(luò)安全和數(shù)據(jù)隱私要求相匹配。這有助于選擇合適的 AI 系統(tǒng)，避免因系統(tǒng)特性與應(yīng)用場景不匹配而產(chǎn)生風(fēng)險(xiǎn)。

多方面實(shí)踐建議：在開發(fā)、部署或使用AI解決方案時(shí)，除遵循常規(guī)網(wǎng)絡(luò)建議外，還需采取一系列特定的良好實(shí)踐。如根據(jù)風(fēng)險(xiǎn)分析、業(yè)務(wù)需求和行動的關(guān)鍵性調(diào)整AI系統(tǒng)的自主水平，并在必要時(shí)集成人工驗(yàn)證，以應(yīng)對網(wǎng)絡(luò)風(fēng)險(xiǎn)和AI模型的可靠性問題；繪制AI供應(yīng)鏈地圖，涵蓋AI組件、其他軟硬件組件和數(shù)據(jù)集，以減輕數(shù)據(jù)投毒風(fēng)險(xiǎn)并評估數(shù)據(jù)提取風(fēng)險(xiǎn)的影響；跟蹤AI系統(tǒng)與其他信息系統(tǒng)的互連情況，減少攻擊路徑；持續(xù)監(jiān)控和維護(hù)AI系統(tǒng)，降低“黑箱”性質(zhì)帶來的風(fēng)險(xiǎn)；預(yù)測重大技術(shù)和監(jiān)管變化，識別潛在新威脅，調(diào)整策略；對內(nèi)部人員進(jìn)行AI挑戰(zhàn)和風(fēng)險(xiǎn)的培訓(xùn)，提高全員安全意識。

2、政策制定者指南

支持研究與能力建設(shè)：政策制定者應(yīng)支持與AI風(fēng)險(xiǎn)相關(guān)的研究，包括對抗機(jī)器學(xué)習(xí)、隱私保護(hù)計(jì)算和新興的AI攻擊性應(yīng)用等領(lǐng)域，以加深對AI風(fēng)險(xiǎn)的理解和應(yīng)對能力。同時(shí)，要支持基于共享標(biāo)準(zhǔn)的安全評估和認(rèn)證能力的發(fā)展，增強(qiáng)對AI模型、應(yīng)用程序、數(shù)據(jù)和基礎(chǔ)設(shè)施的信任。

推廣最佳實(shí)踐與促進(jìn)合作：繼續(xù)推廣最佳網(wǎng)絡(luò)安全實(shí)踐，明確指導(dǎo)方針，確保AI系統(tǒng)的安全部署和托管。根據(jù)風(fēng)險(xiǎn)水平調(diào)整安全要求，并分享反饋，幫助組織避免常見錯(cuò)誤，優(yōu)化AI在運(yùn)營中的集成。促進(jìn)網(wǎng)絡(luò)和AI領(lǐng)域參與者之間的對話，特別是網(wǎng)絡(luò)安全機(jī)構(gòu)和AI安全機(jī)構(gòu)之間的對話，明確各自的職責(zé)范圍，共同應(yīng)對AI系統(tǒng)的網(wǎng)絡(luò)挑戰(zhàn)，重點(diǎn)是共享新興威脅信息和協(xié)同保護(hù)關(guān)鍵系統(tǒng)。

持續(xù)對話與國際合作：在AI峰會之后繼續(xù)保持對話，持續(xù)監(jiān)測AI系統(tǒng)面臨的不斷演變的威脅，在國際層面開展討論與合作，確定更好地保障AI價(jià)值鏈安全的指導(dǎo)方針，從而增強(qiáng)對AI的信任。

四、附錄內(nèi)容

附錄 1

圍繞人工智能系統(tǒng)安全實(shí)施展開，提供了全面的建議，涵蓋自我評估和推薦行動清單兩大部分，旨在幫助人工智能用戶、運(yùn)營商和開發(fā)者建立系統(tǒng)安全意識，規(guī)范操作流程，降低安全風(fēng)險(xiǎn)。

1、推薦的自我評估

系統(tǒng)全生命周期安全考量：著重審視AI系統(tǒng)生命周期各階段是否具備安全基礎(chǔ)，涵蓋指導(dǎo)原則、最佳實(shí)踐基準(zhǔn)及架構(gòu)規(guī)劃等方面，確保安全貫穿始終。從設(shè)計(jì)階段開始，就應(yīng)明確并記錄系統(tǒng)的合法目的，為后續(xù)開發(fā)和使用提供清晰方向，便于追溯和審查。

數(shù)據(jù)與模型保護(hù)：針對AI模型，需評估其保密性需求和對組織的價(jià)值，確定是否需要特殊保護(hù)措施。同時(shí)，將合規(guī)因素融入設(shè)計(jì)思維，嚴(yán)格核查AI系統(tǒng)的數(shù)據(jù)處理操作是否符合法律法規(guī)，保障系統(tǒng)合法運(yùn)行。對于涉及個(gè)人數(shù)據(jù)的情況，必須采用 “隱私設(shè)計(jì)” 理念，全面保護(hù)數(shù)據(jù)和元數(shù)據(jù)，以及AI系統(tǒng)模型，防止數(shù)據(jù)泄露和濫用。

訪問權(quán)限管理：明確AI系統(tǒng)在不同階段的訪問人員，遵循最小權(quán)限原則分配權(quán)限，嚴(yán)格限制人員對系統(tǒng)資源的訪問范圍，最大程度保障AI系統(tǒng)的安全性和完整性，降低因權(quán)限濫用導(dǎo)致的安全風(fēng)險(xiǎn)。

2、推薦行動清單

通用建議：梳理AI系統(tǒng)的依賴鏈，清晰掌握系統(tǒng)運(yùn)行所依賴的各個(gè)環(huán)節(jié)，對供應(yīng)商進(jìn)行全面評估，包括聲譽(yù)和財(cái)務(wù)狀況，確保供應(yīng)鏈穩(wěn)定可靠。要求數(shù)據(jù)和軟件供應(yīng)商符合網(wǎng)絡(luò)安全標(biāo)準(zhǔn)，對AI系統(tǒng)進(jìn)行全面風(fēng)險(xiǎn)分析，綜合考慮組織內(nèi)外部環(huán)境因素，評估系統(tǒng)故障可能帶來的多方面影響。在考慮采用云解決方案時(shí)，進(jìn)行全局風(fēng)險(xiǎn)評估，權(quán)衡數(shù)據(jù)保護(hù)、性能等多方面利弊，并在服務(wù)協(xié)議中設(shè)置可逆條款，保障數(shù)據(jù)安全和操作的可追溯性。

基礎(chǔ)設(shè)施和架構(gòu)建議：詳細(xì)規(guī)劃AI系統(tǒng)的使用方式和融入決策流程的方法，特別是在自動化場景下，確保系統(tǒng)運(yùn)行符合業(yè)務(wù)需求和安全規(guī)范。根據(jù)實(shí)際情況，應(yīng)用針對云環(huán)境、外包服務(wù)的安全措施，實(shí)施AI系統(tǒng)的安全管理策略，利用訪問控制系統(tǒng)嚴(yán)格限制對關(guān)鍵組件的訪問。精心設(shè)計(jì)部署計(jì)劃和架構(gòu)，確保系統(tǒng)在擴(kuò)展時(shí)安全性能不受影響，全面貫徹DevSecOps原則，將安全融入開發(fā)、運(yùn)維全過程。從設(shè)計(jì)源頭遵循隱私設(shè)計(jì)理念，保護(hù)數(shù)據(jù)機(jī)密性，必要時(shí)對數(shù)據(jù)進(jìn)行假名化或匿名化處理，同時(shí)考慮數(shù)據(jù)訪問的必要性，減少數(shù)據(jù)泄露風(fēng)險(xiǎn)。

資源與數(shù)據(jù)管理建議：采用安全格式獲取、存儲和分發(fā)AI模型，在模型加載前實(shí)施完整性驗(yàn)證機(jī)制，防止模型被篡改。評估AI系統(tǒng)中使用的庫和插件的可信度，確保外部數(shù)據(jù)的質(zhì)量和可信度，對AI系統(tǒng)的操作進(jìn)行全程追溯，保證數(shù)據(jù)收集過程公平、符合倫理道德，避免數(shù)據(jù)偏見和不當(dāng)使用。

學(xué)習(xí)過程安全建議：制定嚴(yán)格的數(shù)據(jù)訪問策略，限制AI系統(tǒng)對敏感數(shù)據(jù)的訪問。保障訓(xùn)練數(shù)據(jù)的存儲和訪問安全，評估學(xué)習(xí)和再學(xué)習(xí)方法的安全性，對提取的數(shù)據(jù)、元數(shù)據(jù)等進(jìn)行清理、篩選，必要時(shí)進(jìn)行假名化或匿名化防止處理，數(shù)據(jù)泄露和惡意攻擊影響模型訓(xùn)練結(jié)果。

應(yīng)用可靠性建議：為AI系統(tǒng)的管理任務(wù)實(shí)施多因素身份驗(yàn)證，強(qiáng)化身份認(rèn)證的安全性。保障輸入輸出數(shù)據(jù)的保密性和完整性，設(shè)置安全過濾器檢測惡意指令，及時(shí)更新數(shù)據(jù)、元數(shù)據(jù)和注釋，持續(xù)評估模型的準(zhǔn)確性和性能，確保AI系統(tǒng)穩(wěn)定可靠運(yùn)行。

組織策略建議：記錄AI系統(tǒng)的設(shè)計(jì)選擇，便于后續(xù)審查和維護(hù)。監(jiān)督系統(tǒng)運(yùn)行，明確關(guān)鍵人員職責(zé)，管理分包商使用。制定風(fēng)險(xiǎn)管理策略，規(guī)劃無AI系統(tǒng)時(shí)的降級運(yùn)行模式，根據(jù)組織敏感性制定生成式AI使用政策，監(jiān)測AI系統(tǒng)特定漏洞，關(guān)注技術(shù)發(fā)展趨勢，實(shí)施數(shù)據(jù)管理系統(tǒng)，采用安全的數(shù)據(jù)刪除方法，記錄產(chǎn)品中使用的數(shù)據(jù)集，便于管理和降低數(shù)據(jù)使用風(fēng)險(xiǎn)。

預(yù)防措施：定期組織員工進(jìn)行AI安全風(fēng)險(xiǎn)培訓(xùn)，提高員工安全意識和應(yīng)對能力。定期開展AI系統(tǒng)安全審計(jì)，及時(shí)發(fā)現(xiàn)和修復(fù)潛在安全問題。提前預(yù)測與訓(xùn)練數(shù)據(jù)或模型相關(guān)的知識產(chǎn)權(quán)和數(shù)據(jù)保護(hù)等權(quán)利問題，避免法律糾紛和安全隱患。

附錄 2

列舉了與人工智能相關(guān)的各類參考資料，為深入研究人工智能開發(fā)、應(yīng)用、安全以及風(fēng)險(xiǎn)管理等方面提供了豐富的信息資源，涵蓋了從技術(shù)規(guī)范到法規(guī)政策等多個(gè)維度。

人工智能開發(fā)：包含多個(gè)組織發(fā)布的開發(fā)指南。AIVD強(qiáng)調(diào)安全開發(fā)AI系統(tǒng)；G7制定了針對開發(fā)先進(jìn)AI系統(tǒng)組織的行為準(zhǔn)則和指導(dǎo)原則；NCSC-UK與CISA聯(lián)合發(fā)布的安全AI系統(tǒng)開發(fā)指南，為開發(fā)者提供了系統(tǒng)的開發(fā)規(guī)范，這些資料為AI開發(fā)過程中的技術(shù)實(shí)現(xiàn)、道德規(guī)范等提供了重要參考。

人工智能用例：有ANSSI提出的生成式 AI 系統(tǒng)安全建議，以及 BSI、ANSSI 關(guān)于AI編碼助手的相關(guān)內(nèi)容，還有BSI對生成式AI模型在工業(yè)和政府領(lǐng)域的機(jī)遇與風(fēng)險(xiǎn)分析。這些用例從不同應(yīng)用場景出發(fā)，為各行業(yè)應(yīng)用 AI 技術(shù)時(shí)評估風(fēng)險(xiǎn)、采取安全措施提供了實(shí)際操作層面的指引。

人工智能漏洞與安全：CSA新加坡發(fā)布了AI系統(tǒng)安全指南及相關(guān)討論文件，強(qiáng)調(diào)保障AI安全是集體責(zé)任。CERT-In提供了軟件物料清單（SBOM）技術(shù)指南和API安全相關(guān)資料。此外，還有多篇學(xué)術(shù)研究，如關(guān)于AI在相關(guān)法案中的網(wǎng)絡(luò)安全、對抗機(jī)器學(xué)習(xí)的分類和術(shù)語等內(nèi)容。這些資料全面涵蓋了AI系統(tǒng)在漏洞發(fā)現(xiàn)、安全防護(hù)以及應(yīng)對攻擊等方面的知識。

風(fēng)險(xiǎn)管理：NIST的AI風(fēng)險(xiǎn)管理框架和OECD關(guān)于推進(jìn)AI問責(zé)制的資料，為建立完善的AI風(fēng)險(xiǎn)管理體系提供了理論依據(jù)和實(shí)踐框架，有助于組織在AI應(yīng)用過程中全面評估、管理風(fēng)險(xiǎn)，確保AI系統(tǒng)的可靠運(yùn)行。

術(shù)語：ISO/IEC 22989:2022和OECD分別對人工智能相關(guān)概念、術(shù)語以及AI事件相關(guān)術(shù)語進(jìn)行了定義。統(tǒng)一規(guī)范的術(shù)語有助于不同人員在交流、研究和實(shí)踐中準(zhǔn)確理解和運(yùn)用相關(guān)概念，避免因術(shù)語歧義產(chǎn)生誤解。

法規(guī)示例：歐盟的《人工智能法案》和《網(wǎng)絡(luò)彈性法案》為AI技術(shù)的應(yīng)用和網(wǎng)絡(luò)安全保障提供了法律層面的規(guī)范和約束。這些法規(guī)明確了AI開發(fā)、使用過程中的責(zé)任、義務(wù)和安全標(biāo)準(zhǔn)，為政策制定者、企業(yè)和開發(fā)者提供了法律遵循的依據(jù)。

轉(zhuǎn)載鏈接：https://www.tbtguide.com/c/mypt/gwxw/592483.jhtml

關(guān)注“廣東技術(shù)性貿(mào)易措施”，獲取更多服務(wù)。