編者按

作為全球首部全面規(guī)制人工智能的重點(diǎn)法律，歐盟《人工智能法》的重要性不言而喻。一方面，它具有域外效力，將對包括在歐盟以外運(yùn)營、開發(fā)和使用 AI 系統(tǒng)或模型的企業(yè)產(chǎn)生重大影響；另一方面，我國已將“人工智能立法”提上日程，歐盟《人工智能法》在AI監(jiān)管領(lǐng)域的先行探索，或?qū)⒂绊懳爷鋰⒎ǖ谋O(jiān)管路徑。

《互聯(lián)網(wǎng)法律評論》本次刊登北京航空航天大學(xué)法學(xué)院副教授王天凡的文章《人工智能監(jiān)管的路徑選擇——?dú)W盟人工智能法的范式、爭議及影響》（經(jīng)作者授權(quán)，轉(zhuǎn)載自《歐洲研究》2024年第3期）。該文對歐盟《人工智能法》進(jìn)行了?cè)娼馕?，篇幅較長，本文將分為三個(gè)主題進(jìn)行刊載。今日刊載第一部分——?dú)W盟《人工智能法》背景及進(jìn)程。

作者王天凡認(rèn)為，這一突破性主要體現(xiàn)在“橫向監(jiān)管體系”和“基于風(fēng)險(xiǎn)的方法”在法規(guī)中的具體應(yīng)用，可以看出歐盟在努力兼顧法規(guī)的確定性和靈活性，以便能在保證歐洲境內(nèi)AI“可信度”的基礎(chǔ)上，保證該行業(yè)足夠的發(fā)展空間。

此外，今日《互聯(lián)網(wǎng)法律評論》二條繼續(xù)提供2份關(guān)于歐盟《人工智能法》的資料（iapp整理），一是歐盟《人工智能法》的開創(chuàng)性圖表，可以幫助讀者進(jìn)一步理解今日頭條文章的“突破性”觀點(diǎn)；二是《人工智能法》的合規(guī)目錄，將AI價(jià)值鏈上不同義務(wù)主體所應(yīng)當(dāng)遵守的具體條款做成概覽表，方便相關(guān)公司制定合規(guī)體系。

【往期回顧】

人工智能監(jiān)管的路徑選擇（一）——?dú)W盟《人工智能法》背景及進(jìn)程

四、歐盟《人工智能法》的監(jiān)管范式

從技術(shù)上看，一方面，《人工智能法》制定了一個(gè)強(qiáng)大的法律框架：它根據(jù)“基于風(fēng)險(xiǎn)的方法”構(gòu)建相應(yīng)的“橫向”監(jiān)管體系，在調(diào)整對象“廣泛性”的基礎(chǔ)上，盡力實(shí)現(xiàn)“確定”而“適度”的監(jiān)管；另一方面，它的基本監(jiān)管選擇又必須是面向未來的，包括人工智能系統(tǒng)應(yīng)遵守的原則性要求，必須盡力使規(guī)制具有“靈活性”，為技術(shù)的發(fā)展留足空間。

（一）“橫向監(jiān)管”——規(guī)制對象的廣泛性

《人工智能法》是有史以來首次嘗試對人工智能進(jìn)行橫向監(jiān)管的法規(guī)，適用于在歐盟市場上投放或使用的幾乎所有的人工智能系統(tǒng)。

在《人工智能法》正式形成之前，歐盟委員會(huì)曾擁有四種不同程度的監(jiān)管干預(yù)的政策選擇方案，其中方案二是建議采取部門性的“臨時(shí)”（ad-hoc）方法，即“縱向”（vertical）的監(jiān)管思路，通過“定制”方式，針對不同的人工智能應(yīng)用或類型分別制定法規(guī)。這種思路最終被歐盟立法者拋棄，輕而采取了橫向監(jiān)管的立法工具。

這兩種立法模式各有優(yōu)劣，歐盟的選擇更多考慮的其實(shí)是作為聯(lián)盟層面立法的目標(biāo)和現(xiàn)實(shí)需求。與其他歐盟層面數(shù)字立法相同，歐盟《人工智能法》的基本訴求之一是促進(jìn)合法、安全和可信的人工智能應(yīng)用單一市場的發(fā)展，防止市場分散和各國分別立法導(dǎo)致的法律碎片化。在構(gòu)建統(tǒng)一化規(guī)則這一點(diǎn)上，橫向立法具有絕對的優(yōu)勢。同時(shí)，對于歐盟而言，實(shí)際的問題是其立法商談成本畸高，采取行業(yè)或部門立法型的縱向立法模式并不現(xiàn)實(shí)。歐盟的立法者無法像一個(gè)主權(quán)國家的立法者那樣，及時(shí)關(guān)注各類型（包括新出現(xiàn)的）人工智能應(yīng)用并做出響應(yīng)，制定相應(yīng)的垂直法規(guī)。采取橫向監(jiān)管的方法，意味著在某種程度上節(jié)約了立法的成本，而將更實(shí)質(zhì)和具體的工作，?cè)鐦?biāo)準(zhǔn)制定等，留給了各相關(guān)標(biāo)準(zhǔn)制定者、具體監(jiān)管機(jī)構(gòu)和法院等。

作為歐盟《人工智能法》橫向監(jiān)管的核心要素，“人工智能”的定義直接決定了該法調(diào)整對象的范圍。條例中界定的“人工智能系統(tǒng)”是指一種基于機(jī)器的、被設(shè)計(jì)為以不同程度的自主方式運(yùn)行的系統(tǒng)，在部署后可表現(xiàn)出適應(yīng)性，并且出于明確或隱含的目標(biāo)，從其收到的輸入信息中推斷出如何生成輸出，?cè)缈梢杂绊懳锢砘蛱摂M環(huán)境下的預(yù)測、內(nèi)容、建議或決策。這一定義與原草案相比有三個(gè)最明顯的修改：

第一，強(qiáng)調(diào)人工智能系統(tǒng)必須具有“不同程度的自主性”，這意味著人工智能系統(tǒng)至少在一定程度上獨(dú)立于人類控制，能夠在沒有人類干預(yù)的情況下運(yùn)行。所謂“自主性”強(qiáng)調(diào)須排除僅基于自然人定義的規(guī)則而自動(dòng)執(zhí)行操作的系統(tǒng)。在原草案公布后，?cè)斯ぶ悄艿亩x條款遭到猛烈抨擊。學(xué)者認(rèn)為，這一定義十分不專業(yè)，過于寬泛，未能觸及人工智能技術(shù)與其他一般技術(shù)之間的核心區(qū)別，據(jù)此，智能電表和其他基于人定規(guī)則的系統(tǒng)等幾乎所有軟件都可能被包括在內(nèi)。修改后加入的這一限縮條件顯著縮小了定義的范圍。

第二，增加了“在部署后可表現(xiàn)出適應(yīng)性”要件。人工智能系統(tǒng)在部署后表現(xiàn)出的適應(yīng)性是指自我學(xué)習(xí)能力，允許系統(tǒng)在使用過程中發(fā)生變化。這是針對一讀修正案中“人工智能”概念所受到最大批評的回應(yīng)。學(xué)者尖銳地指出，其未能體現(xiàn)核心要素：“學(xué)習(xí)”及“適應(yīng)新環(huán)境”的能力。否則，電動(dòng)牙刷的系統(tǒng)也可能被歸屬于定義中的“自主”系統(tǒng)，而其實(shí)際上距離人工智能還很遠(yuǎn)；若不加入這一要素對概念進(jìn)行限制，《人工智能法》將成為“軟件法案”。

第三，明確人工智能系統(tǒng)具有“推理”功能。條例鑒于條款中（第12條）特別說明，?cè)斯ぶ悄芟到y(tǒng)的概念應(yīng)該基于該系統(tǒng)的關(guān)鍵特征，以區(qū)別于更簡單的傳統(tǒng)軟件系統(tǒng)或編程方法，而人工智能系統(tǒng)的一個(gè)關(guān)鍵特征是它們的推理能力。這種推理能力是指獲取可能影響物理和虛擬環(huán)境的輸出（如預(yù)測、內(nèi)容、建議或決策）的過程，以及人工智能系統(tǒng)從輸入或數(shù)據(jù)中推導(dǎo)出模型或算法的能力。人工智能系統(tǒng)的推理能力超越了基本的數(shù)據(jù)處理，可以進(jìn)行學(xué)習(xí)、推理或建模。

除此之外，條例的另一個(gè)重要修正是刪除了原草案中對人工智能技術(shù)和方法進(jìn)行補(bǔ)充界定的附件一。這也是對批評意見的回應(yīng)，即認(rèn)為附件一不適當(dāng)?shù)財(cái)U(kuò)大了?cè)斯ぶ悄芟到y(tǒng)的定義，使得傳統(tǒng)的非智能軟件（如Excel電子表格中的簡單程序）也被涵蓋在人工智能系統(tǒng)的概念范疇，因?yàn)槠淇梢浴霸谝欢ǔ潭壬稀弊灾鬟\(yùn)行。相對的，條例最終淡化了對人工智能技術(shù)和方法的強(qiáng)調(diào)，僅在鑒于條款提及，?cè)斯ぶ悄芟到y(tǒng)實(shí)現(xiàn)推理的技術(shù)包括從數(shù)據(jù)中學(xué)習(xí)如何實(shí)現(xiàn)某些目標(biāo)的機(jī)器學(xué)習(xí)方法，以及從待解決任務(wù)的編碼知識(shí)或符號(hào)表示中進(jìn)行推理的基于邏輯和知識(shí)的方法。

對“人工智能系統(tǒng)”這一核心概念的界定，直接關(guān)系到橫向立法模式下歐盟《人工智能法》的調(diào)整范圍和規(guī)制對象的問題。當(dāng)然，基于其抽象性和概括性的表述，歐盟《人工智能法》對“人工智能系統(tǒng)”規(guī)定的構(gòu)成要件也是相對靈活的，這在一定程度上緩解了純粹橫向框架的廣泛性帶來的關(guān)鍵精度挑戰(zhàn)，使得合規(guī)策略能夠在跨部門和技術(shù)發(fā)展的過程中保持適當(dāng)?shù)撵`活性。

（二）“基于風(fēng)險(xiǎn)”的方法——確定性與靈活性

《人工智能法》最突出的特點(diǎn)，即其“基于風(fēng)險(xiǎn)”的監(jiān)管方法（RBR）對現(xiàn)有人工智能系統(tǒng)進(jìn)行分類，并據(jù)此“精確”規(guī)定不同的要求和義務(wù)，使干預(yù)措施與風(fēng)險(xiǎn)水平成正比。條例在肯定人工智能系統(tǒng)的技術(shù)中立的基礎(chǔ)上，依據(jù)所涉及的權(quán)利和利益的不同，區(qū)分了四個(gè)不同的風(fēng)險(xiǎn)級(jí)別，相對應(yīng)的監(jiān)管也分為四級(jí)，采取逐步降級(jí)的干預(yù)措施，從完全禁止到自由放任。

四個(gè)風(fēng)險(xiǎn)級(jí)別具體如下：

（1）具有不可接受風(fēng)險(xiǎn)的被禁止的人工智能系統(tǒng)；

（2）受詳細(xì)規(guī)則約束的高風(fēng)險(xiǎn)人工智能系統(tǒng)；

（3）僅受某些透明度要求約束的低風(fēng)險(xiǎn)人工智能系統(tǒng)；

（4）以及從一讀修正案開始作為一個(gè)新的風(fēng)險(xiǎn)級(jí)別被引入的通用人工智能，包括生成式人工智能模型，例如ChatGPT。

實(shí)際上，歐盟委員會(huì)在本條例制定之初尚有其他替代政策選擇，除了上述提及的縱向部門性“臨時(shí)”方案之外，還包括自愿標(biāo)簽計(jì)劃及對所有人工智能系統(tǒng)提出強(qiáng)制性要求的橫向方法。為何歐盟委員會(huì)最終確立“基于風(fēng)險(xiǎn)”的監(jiān)管路徑？如果我們稍作回顧，會(huì)發(fā)現(xiàn)這種規(guī)制模式在歐盟立法中并不鮮見。從早期針對食品安全、醫(yī)療設(shè)備和藥品等領(lǐng)域的規(guī)制，到近年來的《數(shù)字服務(wù)法》等數(shù)字領(lǐng)域立法，均采用了此類監(jiān)管路徑。歐盟委員會(huì)在確立首選方案之前對每個(gè)政策選項(xiàng)都根據(jù)經(jīng)濟(jì)和社會(huì)影響進(jìn)行了評估，最終確定首選方案是“方案3+”，即僅針對高風(fēng)險(xiǎn)人工智能系統(tǒng)設(shè)置強(qiáng)制性義務(wù)及監(jiān)管措施，而非高風(fēng)險(xiǎn)人工智能系統(tǒng)的提供者僅需遵守一定行為準(zhǔn)則。該首選方案被認(rèn)為無論從基本價(jià)值、社會(huì)成本還是從歐盟戰(zhàn)略需求上看，均是以最適合、最有效的方式實(shí)現(xiàn)《人工智能法》之目標(biāo)。

但學(xué)者對這一規(guī)制路徑的爭議與質(zhì)疑從未停止。雖然有學(xué)者認(rèn)為，在監(jiān)管機(jī)構(gòu)面臨技術(shù)創(chuàng)新和風(fēng)險(xiǎn)控制之間的權(quán)衡時(shí)，風(fēng)險(xiǎn)分析是理性解決問題的工具。但有學(xué)者針鋒相對地提出，《人工智能法》草案只是表面上滿足了部分“基于風(fēng)險(xiǎn)”方法所要求的理性解決問題的期望，其“從任何科學(xué)角度上看都是不系統(tǒng)的”，倒不如說是歐盟立法者高層對不可接受的人工智能系統(tǒng)范圍劃定的政治決定和對高風(fēng)險(xiǎn)人工智能的基于“經(jīng)驗(yàn)法則”的分類。這種政治決定背后，更深層的是歐盟立法者選擇的“話語策略”，使其作為一種科學(xué)工具出現(xiàn)，并使之合理化，有助于將高度政治化的監(jiān)管決策正當(dāng)化為客觀的和可信的。而這種監(jiān)管決策在很大程度上是基于建立歐盟共同人工智能市場的愿景，以及歐盟立法者希望通過其話語和監(jiān)管選擇來實(shí)現(xiàn)這一愿景的意愿。一言以蔽之，“基于風(fēng)險(xiǎn)”的方法并非“基于科學(xué)”，而是政治決策的包裝。

通過對不可接受的人工智能系統(tǒng)風(fēng)險(xiǎn)進(jìn)行定義和禁止，歐盟立法者重申了其基本價(jià)值觀，將歐盟人工智能共同市場描繪為堅(jiān)定致力于基本權(quán)利保護(hù)的空間，開啟“濾網(wǎng)效應(yīng)”，將不符合歐盟價(jià)值觀的全球人工智能市場上的其他大型企業(yè)及其應(yīng)用排除在歐盟市場之外。

在高風(fēng)險(xiǎn)領(lǐng)域，《人工智能法》的風(fēng)險(xiǎn)界定和監(jiān)管措施在規(guī)范上均盡可能明確具體，是整個(gè)條例中規(guī)則最為集中和密集的領(lǐng)域，除盡可能減少侵犯個(gè)人權(quán)利的責(zé)任風(fēng)險(xiǎn)之外，更著力于提供法律確定性，為相關(guān)人工智能系統(tǒng)的提供者和部署者提供明確的行為要求和可預(yù)測性。

在低風(fēng)險(xiǎn)和無風(fēng)險(xiǎn)的領(lǐng)域，監(jiān)管較為寬松，僅針對低風(fēng)險(xiǎn)有少量非強(qiáng)制性行為規(guī)范。歐盟立法者認(rèn)為，在不可接受的風(fēng)險(xiǎn)和高風(fēng)險(xiǎn)兩者已經(jīng)確立嚴(yán)格規(guī)則的前提下，歐盟人工智能市場的“可信度”已經(jīng)建立。因此，余下空間被立法者保留為“創(chuàng)新”和小微人工智能企業(yè)成長的空間。

通過風(fēng)險(xiǎn)界定和分級(jí)的框架，并且允許監(jiān)管機(jī)構(gòu)隨著人工智能用途的發(fā)展將新的應(yīng)用領(lǐng)域納入現(xiàn)有風(fēng)險(xiǎn)類別，歐盟《人工智能法》試圖在法律可預(yù)測性和為人工智能發(fā)展保留空間的雙重要求之間，即規(guī)則的確定性和靈活性之間保持平衡。

五、“不可接受的風(fēng)險(xiǎn)”——禁止的人工智能系統(tǒng)

《人工智能法》第二章第五條規(guī)定了應(yīng)被禁止的人工智能，主要包括八大類型。

針對實(shí)質(zhì)性地扭曲自然人的行為，并造成或可能造成該人或他人的重大傷害的人工智能系統(tǒng)，條例規(guī)定了兩類禁止：第一類禁止采用超越個(gè)人意識(shí)的潛意識(shí)技術(shù)，或有目的的操縱或欺騙技術(shù)，明顯損害個(gè)人或群體作出知情的決定的能力，實(shí)質(zhì)性地扭曲他們的行為，從而導(dǎo)致其作出本來不會(huì)作出的決定；第二類禁止利用個(gè)人或特定人群因其年齡、殘疾或特定社會(huì)或經(jīng)濟(jì)狀況而存在的弱點(diǎn)，實(shí)質(zhì)性地扭曲該人或與該群體有關(guān)的人的行為。

與草案相比，議會(huì)通過版最重要的修訂在于，上述兩項(xiàng)禁令均不再僅適用于人工智能技術(shù)對人們造成身體或心理傷害，而是只需“重大損害”就足夠了，這意味著僅造成財(cái)產(chǎn)損失也滿足條件。并且，此類人工智能技術(shù)的提供者或部署者并不必須具有主觀故意，只需損害是由人工智能操縱或剝削性做法所造成的即可。

第三類禁止主要針對“社會(huì)評分”（social scoring）人工智能系統(tǒng)。若此類人工智能系統(tǒng)在與最初生成或收集數(shù)據(jù)的背景無關(guān)的社會(huì)環(huán)境中，導(dǎo)致對該人或群體的有害或不利待遇，或者該有害或不利待遇，與其社會(huì)行為或其嚴(yán)重性不合理或不相稱，則也被禁止。因?yàn)榇祟愊到y(tǒng)可能導(dǎo)致歧視性結(jié)果和排斥某些群體，侵犯了?cè)酥饑?yán)和不受歧視的權(quán)利以及平等和公正的價(jià)值觀。且依據(jù)條例，該項(xiàng)禁令的行為主體不再局限于“公共當(dāng)局或代表公共當(dāng)局”。

第四類禁止主要針對為執(zhí)法目的在公共場所使用“實(shí)時(shí)”遠(yuǎn)程生物識(shí)別系統(tǒng)，?cè)绻镒R(shí)別數(shù)據(jù)的捕獲、比較和識(shí)別都在沒有顯著延遲的情況下發(fā)生，此類遠(yuǎn)程生物識(shí)別系統(tǒng)將被禁止。對此，在原草案中規(guī)定了?cè)罄?，在一讀修正案中被全部刪除，但到議會(huì)的通過版中又再度“復(fù)活”，并進(jìn)行了補(bǔ)充修正。

除此之外，第五至第八類禁止的人工智能系統(tǒng)為：僅根據(jù)自然人畫像（profiling）或?qū)ζ鋫€(gè)性特征和特點(diǎn)的評估，以評估或預(yù)測其實(shí)施刑事犯罪可能性的人工智能系統(tǒng)；通過無針對性地從互聯(lián)網(wǎng)或閉路電視錄像中抓取面部圖像，來創(chuàng)建或擴(kuò)展面部識(shí)別數(shù)據(jù)庫的人工智能系統(tǒng)；在工作場所和教育機(jī)構(gòu)用以推斷自然人的情緒的人工智能系統(tǒng)（出于醫(yī)療或安全原因的除外）；根據(jù)自然人的生物識(shí)別數(shù)據(jù)對自然人進(jìn)行分類，以推斷其種族、政治觀點(diǎn)、工會(huì)成員身份、宗教或哲學(xué)信仰、性生活或性取向的生物信息分類系統(tǒng)。

可見，歐洲議會(huì)總體上對涉及倫理的復(fù)雜問題仍持保守態(tài)度。例如，對于刑事犯罪等可能導(dǎo)致基本權(quán)利受到嚴(yán)重侵犯的重要決定，歐洲議會(huì)否定了完全依賴人工智能系統(tǒng)，由其依據(jù)統(tǒng)計(jì)相關(guān)性和歸納法作出決策的可能性。

六、高風(fēng)險(xiǎn)人工智能系統(tǒng)

在歐盟《人工智能法》中，監(jiān)管的核心是所謂的高風(fēng)險(xiǎn)人工智能系統(tǒng)，條例對高風(fēng)險(xiǎn)人工智能監(jiān)管的規(guī)則數(shù)量最多，內(nèi)容上也是細(xì)節(jié)最密集的。無論從風(fēng)險(xiǎn)級(jí)別劃定到監(jiān)管措施的設(shè)置，歐盟立法者都盡力追求監(jiān)管的“合比例性”。

（一）高風(fēng)險(xiǎn)人工智能系統(tǒng)的范圍

根據(jù)《人工智能法》的規(guī)定，高風(fēng)險(xiǎn)人工智能系統(tǒng)的范圍主要包括兩個(gè)部分：

其一，?cè)绻斯ぶ悄芟到y(tǒng)作為產(chǎn)品或產(chǎn)品的安全組件，為附件一所列歐盟協(xié)調(diào)立法所涵蓋，且必須接受第三方合格評估，才能根據(jù)該協(xié)調(diào)立法將該產(chǎn)品投放市場或投入使用，則這一人工智能系統(tǒng)應(yīng)被視為高風(fēng)險(xiǎn)人工智能系統(tǒng)。只要同時(shí)滿足這兩個(gè)條件，無論人工智能系統(tǒng)是否獨(dú)立于上述產(chǎn)品投放市場或投入使用，該人工智能系統(tǒng)都應(yīng)被視為高風(fēng)險(xiǎn)系統(tǒng)。其中比較重要的包括機(jī)械、玩具、無線電設(shè)備、醫(yī)療設(shè)備、體外診斷設(shè)備、 車輛、民航安全、鐵路系統(tǒng)等。

其二，條例附件三所指的人工智能系統(tǒng)被歸屬于高風(fēng)險(xiǎn)。它主要包括：

（1）生物識(shí)別的系統(tǒng)；

（2）關(guān)鍵基礎(chǔ)設(shè)施；

（3）教育和職業(yè)培訓(xùn)；

（4）就業(yè)、員工管理與自營職業(yè)；

（5）獲得和享受基本私人服務(wù)和基本公共服務(wù)及福利；

（6）執(zhí)法；

（7）移民、庇護(hù)和邊境管制管理；

（8）司法和民主進(jìn)程。

條例同時(shí)指出，?cè)绻斯ぶ悄芟到y(tǒng)不對自然人的健康、安全或基本權(quán)利構(gòu)成重大損害風(fēng)險(xiǎn)，不對決策結(jié)果產(chǎn)生實(shí)質(zhì)性影響，則不應(yīng)被視為高風(fēng)險(xiǎn)。條例第6條第3款列明了不影響決策結(jié)果的人工智能系統(tǒng)適用的四種情形，作為例外的例外，附件三所涵蓋的人工智能系統(tǒng)在對自然人進(jìn)行特征分析時(shí)，應(yīng)始終被視為高風(fēng)險(xiǎn)系統(tǒng)。條例要求歐盟委員會(huì)在咨詢歐洲人工智能委員會(huì)后，不遲于2026年2月2日提供具體說明本條實(shí)際實(shí)施的指南，以及高風(fēng)險(xiǎn)和非高風(fēng)險(xiǎn)人工智能系統(tǒng)用例的實(shí)例清單。

上述范圍的劃定并非一成不變，滿足特定條件時(shí)歐盟委員會(huì)有權(quán)通過授權(quán)法案，修改、增加或刪除不再視為高風(fēng)險(xiǎn)人工智能系統(tǒng)的條件。但是，?cè)魏涡薷木坏媒档蜌W盟對健康、安全和基本權(quán)利的總體保護(hù)水平。委員會(huì)也可以通過授權(quán)法案增加或修改附件三中所列高風(fēng)險(xiǎn)人工智能系統(tǒng)及其用例，只要該人工智能系統(tǒng)擬用于附件三所列的任何領(lǐng)域，并且對健康與安全構(gòu)成損害風(fēng)險(xiǎn)，或?qū)緳?quán)利產(chǎn)生不利影響，且該風(fēng)險(xiǎn)等于或大于附件三中已提及的高風(fēng)險(xiǎn)人工智能系統(tǒng)造成的傷害或不利影響的風(fēng)險(xiǎn)。委員會(huì)應(yīng)確保兩類授權(quán)法案保持一致，并應(yīng)考慮市場和技術(shù)的發(fā)展。

如果提供者認(rèn)為附件三中提及的人工智能系統(tǒng)不是高風(fēng)險(xiǎn)的，則應(yīng)在該系統(tǒng)投放市場或投入使用之前記錄其評估結(jié)果，但其仍應(yīng)遵守條例規(guī)定的注冊義務(wù)，并應(yīng)國家主管當(dāng)局的要求提供評估文件。

（二）對高風(fēng)險(xiǎn)人工智能系統(tǒng)的要求

條例對高風(fēng)險(xiǎn)人工系統(tǒng)提出了明確的合規(guī)要求，首先是建立、實(shí)施、記錄與維護(hù)風(fēng)險(xiǎn)管理體系的義務(wù)。條例明確指出，風(fēng)險(xiǎn)管理系統(tǒng)應(yīng)該貫穿高風(fēng)險(xiǎn)人工智能系統(tǒng)的整個(gè)生命周期，包括其持續(xù)迭代過程，并應(yīng)當(dāng)定期進(jìn)行系統(tǒng)審查和更新。對高風(fēng)險(xiǎn)人工智能系統(tǒng)應(yīng)進(jìn)行測試，以確定最合適和最有針對性的風(fēng)險(xiǎn)管理措施，使與每種危害相關(guān)的殘余風(fēng)險(xiǎn)及總體殘余風(fēng)險(xiǎn)控制在可接受范圍內(nèi)。條例特別強(qiáng)調(diào)，在實(shí)施風(fēng)險(xiǎn)管理系統(tǒng)時(shí)，提供者應(yīng)考慮高風(fēng)險(xiǎn)人工智能系統(tǒng)的預(yù)期目的是否可能對未成年人和其他弱勢群體產(chǎn)生不利影響。

在數(shù)據(jù)集與數(shù)據(jù)治理方面，條例規(guī)定了相應(yīng)數(shù)據(jù)集的最低質(zhì)量標(biāo)準(zhǔn)。使用涉及用數(shù)據(jù)訓(xùn)練模型技術(shù)的高風(fēng)險(xiǎn)人工智能系統(tǒng)，其功能主要取決于所使用的用于訓(xùn)練、驗(yàn)證和測試的數(shù)據(jù)集。需要強(qiáng)調(diào)的是，議會(huì)通過版中對數(shù)據(jù)集可能存在偏見的情形做出補(bǔ)充規(guī)定，明確了所謂“歧視風(fēng)險(xiǎn)”。將此內(nèi)容加入法案，足見歐盟立法者對算法監(jiān)管的重視：包括訓(xùn)練、驗(yàn)證和測試數(shù)據(jù)集的偏見審查義務(wù)和采取措施的義務(wù)，特別是針對“反饋回路”等問題，以及例外地處理特殊類別個(gè)人數(shù)據(jù)的條件及義務(wù)。

在透明度和可解釋性方面，條例規(guī)定了高風(fēng)險(xiǎn)人工智能提供者的透明度義務(wù)和向部署者提供信息的義務(wù)。高風(fēng)險(xiǎn)人工智能系統(tǒng)的設(shè)計(jì)和開發(fā)應(yīng)確保其運(yùn)行足夠透明，使部署人員能夠解釋系統(tǒng)的輸出并適當(dāng)使用。透明度的類型和程度，應(yīng)使提供者和部署者能夠遵守條例規(guī)定的相關(guān)義務(wù)。條例要求高風(fēng)險(xiǎn)人工智能系統(tǒng)附有數(shù)字形式或其他形式的使用說明，其中包括與部署人員相關(guān)、可訪問和理解的簡潔、完整、正確和清晰的信息。但與先前草案一樣，“可解釋”這一概念仍然是極為模糊、缺乏標(biāo)準(zhǔn)的，并未明確可解釋的范圍和程度。

“人工監(jiān)督”的規(guī)定是條例的創(chuàng)新點(diǎn)之一，“反向”體現(xiàn)了歐盟建立“以人為本”的人工智能環(huán)境的期望。條例要求，高風(fēng)險(xiǎn)人工智能系統(tǒng)的設(shè)計(jì)和開發(fā)應(yīng)包括適當(dāng)?shù)娜藱C(jī)界面工具，以便在使用期間能夠受到自然人的有效監(jiān)督。人工監(jiān)督的措施應(yīng)與高風(fēng)險(xiǎn)人工智能系統(tǒng)的風(fēng)險(xiǎn)、自主程度和使用環(huán)境相適應(yīng)。

針對高風(fēng)險(xiǎn)人工智能系統(tǒng)進(jìn)入歐盟市場可能呈現(xiàn)出的復(fù)雜樣態(tài)，條例系統(tǒng)性地規(guī)定了價(jià)值鏈參與者義務(wù)。與其他數(shù)字領(lǐng)域的條例相比，《人工智能法》規(guī)定的監(jiān)管措施總體呈現(xiàn)出一個(gè)重要特點(diǎn)：義務(wù)主體的廣泛性。條例第三章的第三節(jié)專門針對各類主體規(guī)定了各自義務(wù)，雖然其主要約束對象是人工智能系統(tǒng)的提供者，但義務(wù)主體涵蓋了?cè)斯ぶ悄芟到y(tǒng)價(jià)值鏈中幾乎所有的參與者。在某些情況下，經(jīng)營者可以同時(shí)扮演一個(gè)以上的角色，因此應(yīng)累計(jì)履行與這些主體相關(guān)的所有義務(wù)。例如，運(yùn)營商可以同時(shí)充當(dāng)分銷商和進(jìn)口商。并且，符合條件時(shí)主體可能發(fā)生“身份轉(zhuǎn)換”。此時(shí)，最初將人工智能系統(tǒng)投放市場或投入使用的提供者將不再被視為該特定人工智能系統(tǒng)的提供者。此外，?cè)绻唢L(fēng)險(xiǎn)人工智能系統(tǒng)是特定歐盟協(xié)調(diào)立法所涵蓋產(chǎn)品的安全組件，則產(chǎn)品制造商符合條件時(shí)應(yīng)被視為提供者而承擔(dān)義務(wù)。

一讀修正案引入了基本權(quán)利影響評估制度，并被條例最終采納。在部署條例附件三所涵蓋的高風(fēng)險(xiǎn)人工智能系統(tǒng)（除關(guān)鍵基礎(chǔ)設(shè)施之外）之前，部署者有義務(wù)就該系統(tǒng)對基本權(quán)利的潛在影響進(jìn)行全面評估。一讀修正案中“對基本權(quán)利的可合理預(yù)見的影響”曾引發(fā)了較多批評，因部署者面臨一定的調(diào)查難度，特別是由于許多人工智能系統(tǒng)缺乏透明度，不過這一困難由于限定在“可合理預(yù)見”的范圍而得以緩和。但在最終版中，這一限定卻被刪除，僅保留“可能對基本權(quán)利產(chǎn)生的影響”，對部署者而言更為嚴(yán)格。

根據(jù)條例規(guī)定，高風(fēng)險(xiǎn)人工智能系統(tǒng)在投放市場或投入使用之前應(yīng)確保經(jīng)過相關(guān)合規(guī)評估程序，并且在發(fā)生重大修改時(shí)，應(yīng)進(jìn)行重新評估。條例規(guī)定了兩類合規(guī)評估程序：自評估和第三方評估。第三方合規(guī)評估的范圍多限于與產(chǎn)品有關(guān)的高風(fēng)險(xiǎn)人工智能系統(tǒng)，一般情況下，提供者可以選擇任何公告機(jī)構(gòu)進(jìn)行評估。在法律適用方面，《人工智能法》對高風(fēng)險(xiǎn)人工智能系統(tǒng)的要求應(yīng)作為相關(guān)領(lǐng)域立法合規(guī)要求的一部分。根據(jù)條例規(guī)定，合規(guī)評估的首要義務(wù)人是高風(fēng)險(xiǎn)人工智能系統(tǒng)的提供者。而實(shí)際上部署者、授權(quán)代表及進(jìn)口商等均在其各自價(jià)值鏈功能層面上負(fù)擔(dān)相應(yīng)確保合規(guī)的義務(wù)，這也意味著在義務(wù)違反時(shí)均有責(zé)任承擔(dān)之可能。

條例還要求，高風(fēng)險(xiǎn)人工智能的提供者應(yīng)為每個(gè)高風(fēng)險(xiǎn)人工智能系統(tǒng)起草一份合規(guī)聲明，并在投放市場之前加貼CE標(biāo)志，以表明其符合《人工智能法》的規(guī)定。對于純數(shù)字高風(fēng)險(xiǎn)人工智能系統(tǒng)，應(yīng)使用數(shù)字式CE標(biāo)志。

此外，高風(fēng)險(xiǎn)人工智能系統(tǒng)的設(shè)計(jì)和開發(fā)方式應(yīng)確保在整個(gè)生命周期中達(dá)到適當(dāng)水平的準(zhǔn)確性、魯棒性和網(wǎng)絡(luò)安全性，其技術(shù)文件應(yīng)保持最新，并應(yīng)從技術(shù)上允許在其生命周期內(nèi)自動(dòng)記錄事件（日志）。并且，屬于附件三所規(guī)定的高風(fēng)險(xiǎn)人工智能系統(tǒng)，在投放市場或投入使用之前，其提供者（或其授權(quán)代表）、公共機(jī)關(guān)或根據(jù)《數(shù)據(jù)市場法》被認(rèn)定為看門人企業(yè)的部署者須在歐盟數(shù)據(jù)庫中注冊該系統(tǒng)。

七、其他人工智能系統(tǒng)

對于非高風(fēng)險(xiǎn)人工智能系統(tǒng)，條例僅施加有限的透明度義務(wù)，包括：

其一，?cè)藱C(jī)交互的示明義務(wù)。條例要求，與自然人交互的人工智能系統(tǒng)的設(shè)計(jì)與開發(fā)中須使自然人得知其正在與人工智能系統(tǒng)交互，除非（對自然人而言）是顯而易見的。

其二，?cè)斯ぶ悄苌珊铣梢纛l、圖像、視頻或文本內(nèi)容的標(biāo)記義務(wù)。生成式人工智能的提供者應(yīng)確保其輸出以機(jī)器可讀格式標(biāo)記，并可檢測為人工生成或篡改，且應(yīng)確保技術(shù)方案最新。這一特別規(guī)則是議會(huì)通過版中的新增義務(wù)。

其三，情緒識(shí)別及生物識(shí)別分類系統(tǒng)示明義務(wù)。這些特定類別可能涉及性別、年齡、頭發(fā)顏色、眼睛顏色、紋身、個(gè)人特征、種族血統(tǒng)、個(gè)人喜好和興趣等方面。

其四，“深度偽造”圖片、音視頻的披露義務(wù)。如果內(nèi)容構(gòu)成明顯具有藝術(shù)性、創(chuàng)造性、諷刺性、虛構(gòu)性的作品或節(jié)目的一部分，上述披露義務(wù)僅限于以不妨礙作品展示或欣賞的適當(dāng)方式完成。

此外，為向公眾通報(bào)公共利益問題而發(fā)布的文本，?cè)魹槿斯ぶ悄苌苫虼鄹?，部署者亦需進(jìn)行披露。除非人工智能生成的內(nèi)容經(jīng)過了?cè)斯彶榛蚓庉嬁刂频倪^程，并且自然人或法人對內(nèi)容的發(fā)布負(fù)有編輯責(zé)任。

上述義務(wù)均不適用于經(jīng)法律授權(quán)用于偵查、預(yù)防、調(diào)查和起訴刑事犯罪的人工智能系統(tǒng)。條例要求，上述信息最遲應(yīng)在首次與自然人互動(dòng)或接觸時(shí)提供給該自然人。

（待續(xù)）

相關(guān)閱讀

生效！歐盟《人工智能法案》是紙老虎嗎？

全球AI監(jiān)管丨歐盟《人工智能法案》的通過“不是歐盟AI立法終點(diǎn)”

吳沈括：歐盟《人工智能法案》的出臺(tái)意味著什么？

作者：王天凡

《互聯(lián)網(wǎng)法律評論》特約專家

北京航空航天大學(xué)法學(xué)院副教授

【免責(zé)聲明】此文僅代表作者個(gè)人觀點(diǎn)，與本平臺(tái)無關(guān)。本平臺(tái)對文中陳述、觀點(diǎn)判斷保持中立，不對所包含內(nèi)容的準(zhǔn)確性、完整性或可靠性提供任何明示或暗示的保證。

《互聯(lián)網(wǎng)法律評論》提供業(yè)界解決方案

互聯(lián)網(wǎng)法律國際監(jiān)管動(dòng)態(tài)研究

互聯(lián)網(wǎng)產(chǎn)業(yè)投資和政策監(jiān)管研究

合作聯(lián)系

021yin.com

互聯(lián)網(wǎng)法律評論

《互聯(lián)網(wǎng)法律評論》是一個(gè)全新的法律自媒體平臺(tái)，持續(xù)關(guān)注中國及全球互聯(lián)網(wǎng)科技發(fā)展、產(chǎn)業(yè)發(fā)展和法律監(jiān)管合規(guī)問題，尤其是數(shù)據(jù)安全與個(gè)人隱私保護(hù)、知識(shí)產(chǎn)權(quán)、反壟斷等政策監(jiān)管主題。

該公號(hào)運(yùn)營團(tuán)隊(duì)包括：國際國內(nèi)互聯(lián)網(wǎng)政策和法律研究、財(cái)經(jīng)媒體資深主編、互聯(lián)網(wǎng)企業(yè)公關(guān)戰(zhàn)略和品牌運(yùn)營等不同的專業(yè)人士，致力于打造一個(gè)持續(xù)輸出政策法律前瞻信息研究、且具有傳播優(yōu)勢的精品平臺(tái)。