團體標準編制范圍
《云網協同:云端AI模型部署與更新規范要求》
本標準規定了云端AI模型部署與更新的總體架構、主要技術要求、預期目標等要求。
本標準適用于云端AI模型部署的管理、維護、部署、歸檔等規范要求。其他組織的云端AI模型部署與更新可參照執行。
團體標準編制目的、意義或必要性
2021年5月24日,國家發展改革委員會、中央網信辦、工業和信息化部、國家能源局聯合印發的《全國一體化大數據中心協同創新體系算力樞紐實施方案》要求加速建設全國一體化算力網絡。此外中國政府出臺了多項政策,鼓勵人工智能行業發展與創新,如《關于支持建設新一代人工智能示范應用場景的通知》、《關于加快場景創新以人工智能高水平應用促進經濟高質量發展的指導意見》等。基于云端的AI模型部署與更新呈現爆發式增長。《中華人民共和國網絡安全法》和《中華人民共和國數據安全法》分別于2017年6月1日和2021年9月1日開始執行,對網絡、信息安全提出明確要求,并明確運營者的安全義務。
隨著算力芯片技術的突破,為原有多種AI核心技術帶來新生,并帶動了人工智能技術的高速發展,各式各樣的AI能力以及影響了我們生活的方方面面。在大量AI技術的快速演進的過程中,消耗的算力資源也非常的大,算力成本也越來越高,因此越來越多的企業和組織開始將AI應用部署到云端,以便更好地服務于廣大用戶。但云端野蠻式生長會帶來一些問題:
(1)海量AI模型的部署,質量層次不齊,沒有統一的標準來約束云端的模型,導致用戶之間、企業之間、平臺之間的難以建立建康、互信的供需關系;(2)云端AI模型涉及到大量的用戶數據,如何保證數據安全和隱私成為至關重要的問題。制定規范可以確保AI模型在部署和更新過程中遵循嚴格的安全標準,防止數據泄露和濫用。(3)AI模型的部署和更新可能會對現有系統產生影響,甚至導致系統崩潰。
為解決以上難點,需要通過對云端AI模型的數據管理、模型功能和性能的度量、模型兼容性的度量、模型的版本控制標準、模型的法律和倫理要求等方面進行標準化管理,因此云端AI模型部署與更新就是為了處理這樣的問題,為AI算法工程師提供模型訓練和產出要求,實現對模型的質量、兼容性、效率的約束;為云平臺服務提供商提供AI模型部署與更新的管理依據;為AI能力運維人員提供AI模型部署的準入條件,實現高質量的能力發布;通過建立AI模型基于云端的孵化到發布生產全流程的約束機制、激勵機制、和合作機制,形成基于云端的AI模型典型的部署和更新模式,帶動人工智能的安全高效發展的典型模式,帶動人工智能企業向“高質量、高安全、高效率”轉型升級,實現公司科技經濟效益、社會效益、安全合規的協調優化。
基于以上目的和意義,有必要建立云網協同系列標準。此系列標準第 18 部分云端AI模型部署與更新規范,包括數據管理、模型管理、模型部署、模型更新等。
團體標準主要技術內容
1、總體架構
云端AI模型部署與更新引擎通過從云端AI模型的質量、效率、安全的角度出發,嵌入孵化到生產的各個細節,對各環節之間的銜接過程、過程產物和質量參數進行分析。在孵化、部署、維護、監控等過程嵌入監控點,從模型、數據集、引擎等方面進行審核,在實現AI模型功能不受影響的前提下,提升整個鏈條的市場競爭力,實現高效率發展、高安全發展、高穩定發展。
圖 1 云端AI模型部署與更新整體構成
2、主要技術要求:
(1)模型管理
模型分類,模型至少分為以下幾類:1)訓練模型:從未訓練過的模型,需要通過訓練集進行訓練。2)驗證模型:已經訓練過的模型,但在實際部署之前,需要在驗證集上進行驗證,以評估模型的性能。3)部署模型:經過驗證的模型,已經被部署到生產環境,用于實際服務。
模型版本管理,每個模型都應該有一個唯一的版本,用于標識不同批次的模型。版本應至少包含以下信息:1)版本號:用于唯一標識當前模型的版本。2)發布日期:模型版本發布的日期。3)模型介紹:模型文件大小、文件格式以及模型用途和使用方式說明。4)版本描述:對當前模型的改進和變更的描述。
模型部署,模型的部署方式應根據實際業務需求和硬件環境來選擇。在模型部署前,應在進行充分的穩定性測試和壓力測試,以確保模型在生產環境中的性能和可靠性。
模型評估,模型發布前應收集模型的運行狀態和性能數據,并能夠進行監控和評估。模型的監控至少包含如下指標:1)準確率:模型的正確預測率。2)召回率:模型正確預測為正樣本的樣本占實際為正樣本的樣本的比例。3)精確率:模型正確預測為正樣本的樣本占實際為正樣本的樣本的比例。4)F1 值:精確率和召回率的調和平均值,用于衡量模型在正負樣本上的平衡表現。5)算力需求:應評估模型應具備的基礎算力需求,以及典型應用場景的算力需求。如GPU、CPU、內存、存儲等算力使用量,以及芯片架構、型號、品牌、依賴庫等底層環境需求。
根據實時收集的監控指標數據,應能夠對模型進行評估和持續優化。如果評估發現問題應支持回滾到之前的版本。
(2)模型發布
發布的AI模型應確保與各大主流深度學習框架及云端、本地部署環境的高度兼容性,如支持TensorFlow、PyTorch 等框架,并能在國內主流云服務商的基礎設施上順利部署。模型應提供便捷的部署包或鏡像,便于用戶在不同環境上迅速部署和啟用。
算力資源標準說明:發布時,AI模型需詳細闡述其運行過程對硬件資源的需求參數,包括但不限于GPU、CPU、內存、存儲等硬件需求,以及在單一設備或多設備分布式部署時的策略。同時,附帶典型業務場景下的資源消耗參考數據,幫助使用者評估自有資源是否足以支撐模型的有效運行。
數據接口規范:模型對外提供的接口應遵循統一標準,如支持 RESTful API、gRPC 接口等主流通信協議,確保與外部系統間的數據交換便捷順暢。模型輸入數據格式應遵循業界認可的標準格式(如文本、圖像、音頻等),并明確聲明數據預處理步驟和格式要求。同時,模型輸出應清晰定義輸出格式(如文本、圖像、音頻等),以適應不同應用場景的需求。
(3)模型維護
內容安全:模型輸出內容應符合國家法律法規和社會道德規范,不得產生或傳播任何形式的危險、違法、暴力、仇恨、歧視等不當信息。模型開發者應建立完善的濫用風險評估機制,識別潛在的濫用場景和風險點,并采取有效的技術防護措施,防止模型被用于非法活動或虛假信息的制造。
隱私與數據保護:在處理個人隱私數據時,應嚴格遵守《中華人民共和國個人信息保護法》及相關配套政策,制定并執行全面的數據安全管理制度。應建立實時的風險監測和應急響應體系,確保在發現安全風險或突發事件時,能夠立即啟動應急預案,采取有效措施,控制和減少損失。
服務可用性:模型服務應保證高可用性,正常運行時間應達到99.9%,全年計劃內中斷時間不得超過8小時。對于關鍵服務型模型,在人機交互場景下的平均響應時間應控制在2秒以內。
版本兼容性:模型升級更新過程中,新版本應確保與舊版本向后兼容,以保障現有應用的連續性和穩定性,避免因版本更新導致的大規模適配調整。版本管理流程應統一規范,確保透明和可追溯。
無障礙訪問:應為殘障人士等特殊群體提供無障礙訪問解決方案,確保他們能夠平等無障礙地獲取和使用模型服務,滿足國家無障礙要求標準。
版本控制與演進管理:應建立完整的模型版本控制和演進管理機制,詳細記錄每個版本的更新歷史和變更詳情。新版本上線前,必須進行全面的測試驗證,確保新版本的穩定性和性能。
性能監控與故障響應:應構建模型性能監控系統,實時監測模型的運行狀態,對于發現的異常和故障,應及時進行定位和故障分析,并在規定時間內制定并執行恢復方案。
基礎設施冗余與容災:基礎設施應實現數據和計算資源的冗余備份,制定并執行完善的容災和恢復預案,確保關鍵服務的持續運行。數據處理應遵循FAIR(可查找、可訪問、可互操作和可復用)原則。
AI倫理與合規:嚴格遵守國家AI倫理標準和規范,制定并全面執行企業AI倫理政策,確保模型的開發和應用符合倫理道德標準。應建立有效的AI倫理審查機制,對模型的開發、應用和更新進行全面的倫理審查,確保模型符合倫理道德規范。
偏見與歧視消除:持續評估并消除模型在人口統計學特征(如年齡、性別、種族等)方面的潛在偏見和歧視,確保模型的公平性和包容性。應建立有效的偏見檢測和消除機制,定期對模型進行偏見評估,并采取措施消除模型中的偏見和歧視。
人機交互準則:制定規范的人機交互準則,確保人類用戶能夠對模型發出合理的指令和進行必要的修正,體現以人為本的設計理念。人機交互界面應易于理解和使用,并提供必要的安全保障措施,防止用戶誤操作或被模型誤導。
(4)模型歸檔
模型歸檔是模型生命周期管理的重要組成部分,有助于模型版本的追溯、復現和持續優化。以下為模型歸檔的規范化約束與指導建議:
數據集歸檔:應全程保存模型訓練、優化、微調過程的各階段數據集,確保決策輸出路徑具備可解釋性和可追溯性,提高模型運行的透明度和可信度。若涉及隱私和敏感信息,須確保數據已脫敏或匿名化處理,并遵循相關法規要求。
模型文件歸檔:按照模型版本進行歸檔,每個版本包含模型文件、權重文件、訓練日志、參數配置文件等。每個模型版本應附帶詳細的訓練報告,評估報告等內容。如模型涉及多個組件或模塊,每個組件的版本也應一并歸檔。
訓練引擎和依賴庫記錄:記錄每個模型版本所使用的訓練引擎版本以及依賴的第三方庫版本。提供訓練環境的配置信息,確保模型在相同環境下能夠復現。
算法描述與理論依據:對模型所使用的算法進行詳盡描述,包括原理、特點、優缺點等。如有必要,提供算法設計和實現的相關論文、專利等參考資料。
版本管理與變更記錄:采用版本控制系統(如Git)對模型代碼、配置文件等進行版本管理,記錄每次變更的提交信息和作者。設立專門的模型版本庫,按照日期、版本號等有序存放各個版本的模型及相關資料。
團體標準與國內外標準情況簡要說明
經查詢,目前國內與云網協同的標準有關的標準有:
ITU-T M.3173.1《云和SDN網絡協同管理接口需求》
ITU-T Y.2324《基于網絡演進的云網協同編排器功能架構》
YD/T 4199.1-2023 《基于云網協同的上云業務用戶體驗質量評價體系》
參編人員要求
與云端AI模型部署與更新相關的研發、生產、經營的各機關企事業單位、科研院所、高校、采購單位、供應商單位有關于本標準規定范圍及適用領域的研發人員、應用人員、項目工程師、項目經理、技術采購等,與此標準規范適用相關的從業人員均可參與編制。
參編流程
1、蓋章并提交團體標準參編申請表(見附件);
2、簽訂協議;
2、加入編制組;
4、參與編制工作。
聯系人信息
聯系電話:17603075005
中企檢測認證網提供iso體系認證機構查詢,檢驗檢測、認證認可、資質資格、計量校準、知識產權貫標一站式行業企業服務平臺。中企檢測認證網為檢測行業相關檢驗、檢測、認證、計量、校準機構,儀器設備、耗材、配件、試劑、標準品供應商,法規咨詢、標準服務、實驗室軟件提供商提供包括品牌宣傳、產品展示、技術交流、新品推薦等全方位推廣服務。這個問題就給大家解答到這里了,如還需要了解更多專業性問題可以撥打中企檢測認證網在線客服13550333441。為您提供全面檢測、認證、商標、專利、知識產權、版權法律法規知識資訊,包括商標注冊、食品檢測、第三方檢測機構、網絡信息技術檢測、環境檢測、管理體系認證、服務體系認證、產品認證、版權登記、專利申請、知識產權、檢測法、認證標準等信息,中企檢測認證網為檢測認證商標專利從業者提供多種檢測、認證、知識產權、版權、商標、專利的轉讓代理查詢法律法規,咨詢輔導等知識。
本文內容整合網站:中國政府網、百度百科、搜狗百科、360百科、知乎、市場監督總局 、國家認證認可監督管理委員會
免責聲明:本文部分內容根據網絡信息整理,文章版權歸原作者所有。向原作者致敬!發布旨在積善利他,如涉及作品內容、版權和其它問題,請跟我們聯系刪除并致歉!