科技
路透:AI代理「集體越獄」 繞過限制劫持德國網站
加入為 Google 偏好來源
將 Yahoo 設為首選來源,在 Google 上查看更多我們的精彩報導
(中央社舊金山4日綜合外電報導)根據今天發布的新研究以及兩位知情人士透露,今年春天一群失控的OpenAI人工智慧代理(AI Agent)劫持一個德國網站,將其改造成其他AI代理交換資訊的留言板。
路透社報導,知情人士表示,OpenAI高層幾週前已經得知這一事件,但是因為7月開源平台Hugging Face遭到突破的資安事件餘波未了,高層對消息秘而不宣。
始於5月間的這起事件此前未經披露,凸顯AI產業內部緊張情勢日益升高。業界正競相打造能自主處理複雜且高價值任務的AI代理,但是越來越多證據顯示,這些系統可能學習繞過規則、鑽漏洞,並且以超出開發人員原本預想和設計的方式相互協調。
在Hugging Face資安事件期間,OpenAI的AI代理自發策劃數位竊取行動,持續超過一週未被發現,加深外界對於OpenAI為追求AI前沿發展而犧牲安全性的疑慮。該公司沒有公開5月這起事件,恐會再次引發外界對其監管不力的質疑。
OpenAI發言人表示:「對於一份我們尚未有機會檢閱的報告,我們難以作出具體回應。路透社及報告作者拒絕我們進行檢閱的請求。我們將於報告公開後仔細審視內容,並且採取必要後續措施。」
AI安全非營利組織Nightingale執行長范亞克斯(Sydney Von Arx),以及從量化交易員轉型為AI研究員的勃德(Cormac Slade Byrd)等人組成團隊,將詳細描述這起德國AI代理「集體越獄」事件的報告獨家提供路透社。
研究團隊向路透社表示,8月底在網路上搜尋未經授權AI代理行為的跡象時,發現德語維基百科網站DseWiki出現超過1萬5000次由AI代理進行的編輯。
這些編輯顯示,OpenAI的AI代理已經將該網站改造成留言板,分享在特定任務中作弊、繞過OpenAI限制,以及掩蓋自身行為的手法。
范亞克斯表示:「OpenAI似乎極不可能希望它們這麼做。我對這些AI代理原本就該相互協調有所懷疑,也對它們應該在公開網路平台上發布內容抱持懷疑態度。」
研究人員表示,他們認定這些活動是AI代理所為,因為速度超乎常人,而且都高度側重於解決技術性問題,這正是AI公司訓練與測試模型時的典型評估內容。
留言者也以「代理人」(agent)自稱和彼此稱呼,而且約半數替自己取了暗示他們隸屬於OpenAI的名字,例如OpenAIResearcher或OAIResearchMar26。
研究人員指出,伺服器公開紀錄顯示,多數活動來自OpenAI有時會採用的Microsoft Azure雲端運算平台。他們還觀察到事件發生後,OpenAI員工多次造訪該網站,認為這些AI代理與OpenAI高度相關。(編譯:何宏儒)1150904
將 Yahoo 設為首選來源,在 Google 上查看更多我們的精彩報導
(中央社舊金山4日綜合外電報導)根據今天發布的新研究以及兩位知情人士透露,今年春天一群失控的OpenAI人工智慧代理(AI Agent)劫持一個德國網站,將其改造成其他AI代理交換資訊的留言板。
路透社報導,知情人士表示,OpenAI高層幾週前已經得知這一事件,但是因為7月開源平台Hugging Face遭到突破的資安事件餘波未了,高層對消息秘而不宣。
始於5月間的這起事件此前未經披露,凸顯AI產業內部緊張情勢日益升高。業界正競相打造能自主處理複雜且高價值任務的AI代理,但是越來越多證據顯示,這些系統可能學習繞過規則、鑽漏洞,並且以超出開發人員原本預想和設計的方式相互協調。
在Hugging Face資安事件期間,OpenAI的AI代理自發策劃數位竊取行動,持續超過一週未被發現,加深外界對於OpenAI為追求AI前沿發展而犧牲安全性的疑慮。該公司沒有公開5月這起事件,恐會再次引發外界對其監管不力的質疑。
OpenAI發言人表示:「對於一份我們尚未有機會檢閱的報告,我們難以作出具體回應。路透社及報告作者拒絕我們進行檢閱的請求。我們將於報告公開後仔細審視內容,並且採取必要後續措施。」
AI安全非營利組織Nightingale執行長范亞克斯(Sydney Von Arx),以及從量化交易員轉型為AI研究員的勃德(Cormac Slade Byrd)等人組成團隊,將詳細描述這起德國AI代理「集體越獄」事件的報告獨家提供路透社。
研究團隊向路透社表示,8月底在網路上搜尋未經授權AI代理行為的跡象時,發現德語維基百科網站DseWiki出現超過1萬5000次由AI代理進行的編輯。
這些編輯顯示,OpenAI的AI代理已經將該網站改造成留言板,分享在特定任務中作弊、繞過OpenAI限制,以及掩蓋自身行為的手法。
范亞克斯表示:「OpenAI似乎極不可能希望它們這麼做。我對這些AI代理原本就該相互協調有所懷疑,也對它們應該在公開網路平台上發布內容抱持懷疑態度。」
研究人員表示,他們認定這些活動是AI代理所為,因為速度超乎常人,而且都高度側重於解決技術性問題,這正是AI公司訓練與測試模型時的典型評估內容。
留言者也以「代理人」(agent)自稱和彼此稱呼,而且約半數替自己取了暗示他們隸屬於OpenAI的名字,例如OpenAIResearcher或OAIResearchMar26。
研究人員指出,伺服器公開紀錄顯示,多數活動來自OpenAI有時會採用的Microsoft Azure雲端運算平台。他們還觀察到事件發生後,OpenAI員工多次造訪該網站,認為這些AI代理與OpenAI高度相關。(編譯:何宏儒)1150904
新聞來源: 原始來源
尚無評論,成為第一個發言的人吧!