劃重點:
? 微软的Azure AI平台为幻觉、提示攻击和安全评估增加了安全功能
?? 三个新功能:提示屏蔽、基于AI检测和安全评估
? 安全功能立即“附加”到GPT-4等流行模型上
站長之家(ChinaZ.com) 3月29日 消息:微软的Azure AI平台最近添加了一系列新的安全功能，旨在帮助捕捉客户AI应用中的幻觉、提示攻击和其他安全漏洞。这些功能由微软的首席负责人Sarah Bird介绍，并表示将易于使用，无需雇佣红队来测试他们构建的AI服务。
这些由LLM提供支持的工具可以检测潜在的漏洞，监控“可能是合理但不受支持”的幻觉，并实时阻止Azure AI客户使用任何托管在该平台上的模型时出现的恶意提示。Bird表示:“我们知道，客户并非都对提示注入攻击或恶意内容有深入的专业知识，因此评估系统会生成所需的提示来模拟这些类型的攻击。客户随后可以得到评分并查看结果。”
圖源備注：圖片由AI生成，圖片授權服務商Midjourney
这些安全功能分为三个主要部分:提示屏蔽、基于AI检测和安全评估，现在已在Azure AI上提供预览。另外两个功能用于指导模型输出安全内容和跟踪提示以标记潜在的问题用户，即将推出。
無論用戶是輸入提示還是模型正在處理第三方數據，監控系統都將對其進行評估，以查看是否觸發任何被禁止的詞語或隱藏提示，然後再決定是否將其發送給模型進行回答。之後，系統將查看模型的響應，並檢查模型是否在文檔或提示中産生了不在其中的信息。
Bird承認，人們擔心微軟和其他公司可能在決定什麽對于AI模型是合適或不合適，因此她的團隊添加了一種方式，讓Azure客戶切換模型所見和阻止的仇恨言論或暴力的過濾。
未來，Azure用戶還可以獲得嘗試觸發不安全輸出的用戶報告。Bird表示，這使系統管理員能夠確定哪些用戶是他們自己的紅隊成員，哪些可能是具有更惡意意圖的人。
Bird表示，這些安全功能立即“附加”到GPT-4和其他流行模型，如Llama2。但是，由于Azure的模型庫包含許多AI模型，因此使用較小、使用較少的開源系統的用戶可能需要手動將安全功能指向這些模型。
微軟一直在利用AI增強其軟件的安全性，特別是隨著越來越多的客戶對使用Azure訪問AI模型感興趣。該公司還努力擴展其提供的強大AI模型數量，最近與法國AI公司Mistral達成獨家协议，以在Azure上提供Mistral Large模型。
（舉報）