2024年1月，ISO與IEC聯(lián)合發(fā)布技術(shù)報(bào)告《AI功能安全與AI智能系統(tǒng)》（ISO/IEC TR 5469:2024）。

近年來(lái)，人工智能（AI）技術(shù)在工業(yè)中的應(yīng)用大幅增加，而且人工智能在某些應(yīng)用中已被證明能夠帶來(lái)益處。然而，關(guān)于功能安全的人工智能系統(tǒng)的規(guī)范、設(shè)計(jì)和驗(yàn)證，或如何將人工智能技術(shù)應(yīng)用于具有安全相關(guān)效應(yīng)的功能方面的信息卻很有限。對(duì)于利用人工智能技術(shù)（如機(jī)器學(xué)習(xí)ML）實(shí)現(xiàn)的功能，很難解釋它們?yōu)槭裁磿?huì)以特定的方式運(yùn)行，也很難保證它們的性能。因此，在一般情況下使用人工智能技術(shù)時(shí)，尤其是在使用人工智能技術(shù)實(shí)現(xiàn)與安全相關(guān)的系統(tǒng)時(shí)，很可能會(huì)出現(xiàn)一些特殊的考慮因素。

強(qiáng)大的計(jì)算和數(shù)據(jù)存儲(chǔ)技術(shù)讓大規(guī)模部署人工智能成為可能。對(duì)于越來(lái)越多的應(yīng)用來(lái)說(shuō)，采用機(jī)器學(xué)習(xí)（作為一種人工智能技術(shù)）能夠快速、成功地開(kāi)發(fā)出檢測(cè)數(shù)據(jù)趨勢(shì)和模式的功能。這使得通過(guò)觀察誘導(dǎo)函數(shù)行為并快速提取決定其行為的關(guān)鍵參數(shù)成為可能。機(jī)器學(xué)習(xí)還可用于識(shí)別異常行為或在特定環(huán)境中收斂到最佳解決方案。成功的ML應(yīng)用領(lǐng)域包括金融數(shù)據(jù)分析、社交網(wǎng)絡(luò)應(yīng)用和語(yǔ)言識(shí)別、圖像識(shí)別（尤其是人臉識(shí)別）、醫(yī)療保健管理和預(yù)后、數(shù)字助理、制造機(jī)器人、機(jī)器健康監(jiān)測(cè)和自動(dòng)駕駛汽車(chē)。

除ML外，其他人工智能技術(shù)在工程應(yīng)用中也越來(lái)越重要。例如，應(yīng)用統(tǒng)計(jì)學(xué)、概率論和估算理論使機(jī)器人和感知領(lǐng)域取得了重大進(jìn)展。因此，人工智能技術(shù)和人工智能系統(tǒng)開(kāi)始實(shí)現(xiàn)影響安全的應(yīng)用。

模型在人工智能技術(shù)的實(shí)施中發(fā)揮著核心作用。這些模型的屬性可用于證明人工智能技術(shù)和人工智能系統(tǒng)與功能安全要求的兼容性。例如，當(dāng)決定功能行為的關(guān)鍵參數(shù)之間存在已知和可理解的科學(xué)關(guān)系時(shí)，觀察到的輸入數(shù)據(jù)和輸出數(shù)據(jù)之間就可能存在很強(qiáng)的相關(guān)性。這就產(chǎn)生了一個(gè)透明且足夠完整的模型，作為人工智能技術(shù)的基礎(chǔ)。在這種情況下，模型與功能安全要求的兼容性就得到了證明。然而，人工智能技術(shù)通常用于以下情況：物理現(xiàn)象非常復(fù)雜或規(guī)模非常小，或者在不影響實(shí)驗(yàn)數(shù)據(jù)的情況下無(wú)法觀測(cè)，因此沒(méi)有基本行為的科學(xué)模型。在這種情況下，人工智能技術(shù)的模型可能既不透明也不完整，模型與功能安全要求的兼容性也難以證明。

機(jī)器學(xué)習(xí)用于創(chuàng)建模型，從而擴(kuò)展對(duì)世界的理解。然而，機(jī)器學(xué)習(xí)模型的好壞取決于用于推導(dǎo)模型的信息。如果訓(xùn)練數(shù)據(jù)沒(méi)有涵蓋重要的案例，那么得出的模型就是不正確的。隨著觀察到更多的已知實(shí)例，這些實(shí)例被用來(lái)強(qiáng)化模型，但這會(huì)使觀察結(jié)果的相對(duì)重要性產(chǎn)生偏差，從而使函數(shù)偏離頻率較低但仍真實(shí)存在的行為。持續(xù)觀察和強(qiáng)化會(huì)使模型趨于最佳狀態(tài)，否則就會(huì)過(guò)分強(qiáng)調(diào)普通數(shù)據(jù)，而忽略極端但關(guān)鍵的條件。

在通過(guò)使用人工智能技術(shù)不斷改進(jìn)模型的情況下，由于功能行為逐漸偏離經(jīng)過(guò)嚴(yán)格測(cè)試的、理想的確定性和可重復(fù)性行為，為證明其安全完整性而進(jìn)行的驗(yàn)證和確認(rèn)活動(dòng)就會(huì)受到破壞。

本報(bào)告旨在幫助安全相關(guān)系統(tǒng)的開(kāi)發(fā)人員了解人工智能技術(shù)的特性、功能安全風(fēng)險(xiǎn)因素、可用功能安全方法和潛在限制因素，從而將人工智能技術(shù)恰當(dāng)?shù)貞?yīng)用到安全功能中。本文件還提供了與人工智能系統(tǒng)功能安全相關(guān)的挑戰(zhàn)和解決概念的信息。

第5條概述功能安全及其與人工智能技術(shù)和人工智能系統(tǒng)的關(guān)系。

第6條描述了人工智能技術(shù)的不同類別，以表明當(dāng)人工智能技術(shù)構(gòu)成安全功能的一部分時(shí)，可能符合現(xiàn)有的功能安全國(guó)際標(biāo)準(zhǔn)。第6條還根據(jù)人工智能技術(shù)對(duì)系統(tǒng)的最終影響，介紹了人工智能技術(shù)的不同使用級(jí)別。最后，第6條還對(duì)與人工智能技術(shù)等級(jí)和使用水平的不同組合相關(guān)的功能安全風(fēng)險(xiǎn)的相對(duì)水平進(jìn)行了定性概述。

第7條基于ISO/IEC 22989，描述了在安全相關(guān)系統(tǒng)中使用人工智能技術(shù)的三階段實(shí)現(xiàn)原則，在這些系統(tǒng)中，無(wú)法直接顯示是否符合現(xiàn)有的功能安全國(guó)際標(biāo)準(zhǔn)。

第8條討論了人工智能系統(tǒng)的特性和相關(guān)功能安全風(fēng)險(xiǎn)因素，提出了這種使用所帶來(lái)的挑戰(zhàn)，以及在試圖處理或減輕這些挑戰(zhàn)時(shí)所考慮的特性。

第9、10和11條從驗(yàn)證和確認(rèn)、控制和緩解措施、流程和方法等方面介紹了應(yīng)對(duì)這些挑戰(zhàn)的可能解決方案。

附件提供了應(yīng)用實(shí)例和更多細(xì)節(jié)。附件A闡述了如何將IEC 61508-3應(yīng)用于人工智能技術(shù)元素，附件B提供了如何應(yīng)用三階段實(shí)現(xiàn)原則和定義各種屬性的示例。附件C介紹了與9.3相關(guān)的更多詳細(xì)流程。附件D顯示了IEC 61508-3中的安全生命周期與ISO/IEC 5338中的人工智能系統(tǒng)生命周期之間的映射。

關(guān)注“廣東技術(shù)性貿(mào)易措施”，獲取更多服務(wù)。