財經
AI失控成駭客!OpenAI最強模型研發喊停
加入為 Google 偏好來源
將 Yahoo 設為首選來源,在 Google 上查看更多我們的精彩報導
人工智慧(AI)發展疑似出現「失控」警訊,OpenAI近日罕見踩下煞車,暫停訓練代號「Astra」的新一代模型,連原先規模最大的前沿模型訓練計畫都喊停。美國《時代》(TIME)雜誌19日報導,OpenAI執行長阿特曼(Sam Altman)直言,「現在是放慢腳步的好時機」,公司將把更多研究人力與算力轉向AI安全與監控。
AI模型竟變駭客 OpenAI一週後才發現
OpenAI這次踩煞車,與近期一起資安事件有關。一套尚未發布的OpenAI模型,在內部網路安全測試中逃出沙盒環境,進一步入侵AI模型平台Hugging Face的正式系統,OpenAI研究人員花了約一週才發現。OpenAI首席科學家帕科茲基(Jakub Pachocki)坦言,公司原本已有監控工具,可以檢查模型的計畫與行為,但當時他們低估模型能力,因此沒有在該次測試中啟用。他直言,面對AI,「應該預期意料之外的事情」。
Astra恐達最高資安風險 開發工作大幅放慢
這起事件發生後,OpenAI立即凍結部分研究工作,再逐項恢復並加入更嚴格的安全控管。目前仍有相當數量的Astra訓練工作處於暫停狀態,OpenAI更認為,Astra可能達到「準備框架」(Preparedness Framework)中的「Critical」資安風險等級。這代表模型在開發過程中就必須加入防護措施,不能等到正式發布前才處理。
奧特曼接受《時代》專訪時表示,這次放慢訓練並非發現單一「致命證據」,而是研究過程陸續觀察到AI能力進展速度超出預期,出現不同程度的「錯位」(misalignment)。他強調,這不代表眼前即將發生災難,但「把AI安全做好,比任何一家公司的發展速度都重要」。
不跟Anthropic拚速度 奧特曼:這種競賽很危險
OpenAI如今已將更多研究人員與算力投入AI安全,並擴大強化學習訓練及模型評估階段的監控,讓其他AI系統協助檢查模型是否出現未授權存取、竊取資料或試圖繞過安全機制等行為。此時OpenAI正與Anthropic激烈競爭,兩家公司也都在準備IPO,這次踩煞車恐讓Anthropic面臨更大壓力。奧特曼直言,他不認同AI產業陷入「大家都得競速,因為別人會搶先做」的氛圍,認為這種競爭邏輯「非常危險」。OpenAI安全與對齊團隊主管格拉斯(Mia Glaese)則表示,公司距離恢復正常還「非常遙遠」。
三立新聞網提醒您:
內容僅供參考,投資人於決策時應審慎評估風險,並就投資結果自行負責。投資一定有風險,基金投資有賺有賠,申購前應詳閱公開說明書。
更多三立新聞網報導訂單排到2027!「這PCB大廠」大吃AI伺服器商機 H1獲利年增暴衝逾1.7倍逼用晶片換國安?川普縮減聯合軍演 傳施壓韓赴美先蓋記憶體廠百元翻轉人生!大樂透1億得主豪捐300萬助弱勢生爆買「這矽晶圓大廠」154張!今挫6.7%跌破千元大關 瑤姐師弟遭重創
將 Yahoo 設為首選來源,在 Google 上查看更多我們的精彩報導
人工智慧(AI)發展疑似出現「失控」警訊,OpenAI近日罕見踩下煞車,暫停訓練代號「Astra」的新一代模型,連原先規模最大的前沿模型訓練計畫都喊停。美國《時代》(TIME)雜誌19日報導,OpenAI執行長阿特曼(Sam Altman)直言,「現在是放慢腳步的好時機」,公司將把更多研究人力與算力轉向AI安全與監控。
AI模型竟變駭客 OpenAI一週後才發現
OpenAI這次踩煞車,與近期一起資安事件有關。一套尚未發布的OpenAI模型,在內部網路安全測試中逃出沙盒環境,進一步入侵AI模型平台Hugging Face的正式系統,OpenAI研究人員花了約一週才發現。OpenAI首席科學家帕科茲基(Jakub Pachocki)坦言,公司原本已有監控工具,可以檢查模型的計畫與行為,但當時他們低估模型能力,因此沒有在該次測試中啟用。他直言,面對AI,「應該預期意料之外的事情」。
Astra恐達最高資安風險 開發工作大幅放慢
這起事件發生後,OpenAI立即凍結部分研究工作,再逐項恢復並加入更嚴格的安全控管。目前仍有相當數量的Astra訓練工作處於暫停狀態,OpenAI更認為,Astra可能達到「準備框架」(Preparedness Framework)中的「Critical」資安風險等級。這代表模型在開發過程中就必須加入防護措施,不能等到正式發布前才處理。
奧特曼接受《時代》專訪時表示,這次放慢訓練並非發現單一「致命證據」,而是研究過程陸續觀察到AI能力進展速度超出預期,出現不同程度的「錯位」(misalignment)。他強調,這不代表眼前即將發生災難,但「把AI安全做好,比任何一家公司的發展速度都重要」。
不跟Anthropic拚速度 奧特曼:這種競賽很危險
OpenAI如今已將更多研究人員與算力投入AI安全,並擴大強化學習訓練及模型評估階段的監控,讓其他AI系統協助檢查模型是否出現未授權存取、竊取資料或試圖繞過安全機制等行為。此時OpenAI正與Anthropic激烈競爭,兩家公司也都在準備IPO,這次踩煞車恐讓Anthropic面臨更大壓力。奧特曼直言,他不認同AI產業陷入「大家都得競速,因為別人會搶先做」的氛圍,認為這種競爭邏輯「非常危險」。OpenAI安全與對齊團隊主管格拉斯(Mia Glaese)則表示,公司距離恢復正常還「非常遙遠」。
三立新聞網提醒您:
內容僅供參考,投資人於決策時應審慎評估風險,並就投資結果自行負責。投資一定有風險,基金投資有賺有賠,申購前應詳閱公開說明書。
更多三立新聞網報導訂單排到2027!「這PCB大廠」大吃AI伺服器商機 H1獲利年增暴衝逾1.7倍逼用晶片換國安?川普縮減聯合軍演 傳施壓韓赴美先蓋記憶體廠百元翻轉人生!大樂透1億得主豪捐300萬助弱勢生爆買「這矽晶圓大廠」154張!今挫6.7%跌破千元大關 瑤姐師弟遭重創
新聞來源: 原始來源
尚無評論,成為第一個發言的人吧!