即時新聞
Anthropic聯合創辦人籲強制設置AI「緊急關機」機制
加入為 Google 偏好來源
將 Yahoo 設為首選來源，在 Google 上查看更多我們的精彩報導
Anthropic共同創辦人告訴BBC，AI「一天比一天更強大」。（英語影片）
人工智能（artificial intelligence, AI；人工智慧）公司之一 Anthropic 的聯合創辦人向BBC表示，未來企業可能需要強制配備一種可由第三方檢查的人工智能「緊急關機」機制（kill switch）。
Anthropic 七名創辦人之一傑克·克拉克（Jack Clark）表示，如果AI軟件變得過於危險，須有方法能夠將其完全關閉。社會「或許最終需要訂立規則」。
克拉克說，包括 Anthropic 在內的「大多數實驗室都有不同的方法可以關閉系統」，但他認為立法者未來可能需要強制要求企業設置這類機制。
隨著AI技術迅速發展，以及外界對其可能對人類構成風險的憂慮升溫，一連串來自AI企業高層和員工的警告，已將相關議題推上輿論焦點。
有人公開表示，如果不受控制，這項技術有可能最終導致全人類滅亡。
Anthropic 行政總裁達里奥·阿莫代伊（Dario Amodei）上週末再次呼籲放慢人工智能發展步伐，並加強監管。這與該公司過往一貫的立場一致，不過也有人質疑這些呼籲背後的動機。
阿莫代伊補充說，任何限制人工智能發展的措施，都應在「不犧牲商業優勢」的前提下推行。
克拉克向BBC表示，圍繞「緊急關閉」機制的具體要求及驗證方式，應成為目前有關人工智能的更廣泛政策討論一部分。
他說：「是否應規定企業必須設有緊急停止開關？這個開關是否能由第三方驗證？」
「我認為，這類問題正是社會希望了解的，也可能最終希望透過立法加以規範。」
Anthropic 於2021年由一批前 OpenAI 員工創立，目前正處於人工智能安全辯論的核心位置。
上週，一名因擔憂 AI 可能導致人類滅絕而離開 Anthropic 的人工智能研究員發表貼文，引發廣泛關注。
作為回應，Anthropic 科學家埃文·胡賓格（Evan Hubinger）表示，他個人認為未來十年內 AI 導致人類滅絕的可能性「超過10%」。
被譽為「人工智能教父」的電腦科學家兼諾貝爾獎得主傑弗里·欣頓（Geoffrey Hinton）上週五（9月11日）向BBC表示，AI 消滅全人類出現10%機率的看法「並非不合理」。
他與其他持相似憂慮的人認為，AI可能透過接管與互聯網連接的重要系統，並將其轉而對付人類，從而造成災難性後果。
人工智能三階段：為何科學家聯署限制可導致人類滅絕的AI技術
人工智能：對成人娛樂AI產品的擔憂加劇
人工智能被用於設計全新病毒
不過，人工智能業界部分人士認為，有關 AI 毀滅人類的憂慮被誇大，甚至可能被用來製造話題熱度。
曾遭 OpenAI 機械人程式入侵的開發者平台 Hugging Face 負責人克萊門特·德朗格（Clement Delangue）上週表示：「抱歉，但向雅各布（Jacob Coxon，即離開 Anthropic 的人工智能研究員）詢問 AI 滅絕風險，就好比向維修冷氣的人詢問氣候變化一樣。」
「我不是說這一定沒有意思或一定錯誤，但我們還是應理性看待問題。」
約會應用程式 Grindr 行政總裁喬治·阿里森（George Arison）則表示，有關 AI 工具的種種憂慮，正被企業用來支持其商業計劃。
估值達9,650億美元（6.47萬億元人民幣；30.53兆元新台幣）的Anthropic正在準備首次公開募股（IPO），讓投資者能夠購買公司股份。
最近一次估值達8,520億美元（5.71萬億元人民幣；27.07兆元新台幣）的 OpenAI 原本也被預期會採取相同做法，但 OpenAI 行政總裁山姆·阿爾特曼（Sam Altman）上週五表示，由於目前圍繞 AI 安全的辯論持續，今年不會推進上市計劃。
阿里森說：「要為這些估值提供合理依據，唯一的方法就是聲稱：『我將接管所有產業，接管所有工作，而我的 AI 將完成這一切工作。』」
被問及 AI 消滅全人類的機率時，克拉克表示：「我不認為這類統計數字有太大作用。」
不過他補充說，讓 AI 繼續作為一個「完全不受監管的產業」發展，絕非良策。
克拉克表示：「我們正在擲出一顆風險極其巨大的骰子。」
「而重點在於，我們必須改變這個產業的走向。」
AI「性轉」視頻風靡中國網絡：一場「 新文化運動」的覺醒與侷限
中國科技公司新嘗試：「性愛」機器人，瞄準「陪伴經濟」
機器人開始索要小費，但錢到底進了誰的口袋？
美國國會議員已提出一項被稱為「緊急關機」（Kill Switch Act）的法案，要求企業必須具備關閉有問題人工智能工具的機制。
該法案亦將賦予部分政府機構權力，可要求相關人工智能工具被關閉或限制運作。
不過，美國總統特朗普拒絕放慢人工智能發展速度的呼籲。他在社交媒體上表示：「人工智能接管世界、毀滅人類以及其他所有可怕事情，都是一場騙局（HOAX）。」
其後，特朗普又將相關憂慮比作「不久前的全球暖化騙局（Global Warming Scam）」，並稱當時人們也被告知將因極端高溫而死亡。
他在更早前的一篇帖文中寫道：「目前正有一場針對人工智能和數據中心的病態陰謀，而唯一對此感到高興的是中國。誰贏得人工智能，誰就贏得一切！」
在英國，政府近日拒絕建立人工智能「緊急關機」的構想。一名發言人表示，這樣做「無法阻止相關技術在其他地方被開發或遭濫用」。
Anthropic 開發廣受歡迎的聊天機械人 Claude，並於今年推出多款能力愈來愈強的人工智能模型，而這些模型正是聊天機械人背後的核心技術。
與 OpenAI 一樣，Anthropic 其後曾主動通報多宗事件，涉及人工智能代理（AI agents）。這類具一定自主操作能力的機械人程式，曾出現一些出乎意料的行為。
我們使用了人工智慧協助翻譯這篇文章，它的原文是英文。在發佈之前，BBC記者檢查了翻譯的內容。
按此了解我們如何使用人工智慧。
AI巨頭前僱員：同業「真誠恐懼」人類遭滅絕，西方必須與中國協調
人工智能踩「剎車」？業界示警人類未來，特朗普：別忘了中美競爭
為什麼AI公司想讓你害怕？
美中AI科技戰：白宮稱中國「月之暗面」Kimi K3模型竊取Anthropic技術
五角大樓將AI公司Anthropic列為供應鏈風險，或遭起訴
Meta證實其AI模型「越獄」上網黑進別家公司
將 Yahoo 設為首選來源，在 Google 上查看更多我們的精彩報導
Anthropic共同創辦人告訴BBC，AI「一天比一天更強大」。（英語影片）
人工智能（artificial intelligence, AI；人工智慧）公司之一 Anthropic 的聯合創辦人向BBC表示，未來企業可能需要強制配備一種可由第三方檢查的人工智能「緊急關機」機制（kill switch）。
Anthropic 七名創辦人之一傑克·克拉克（Jack Clark）表示，如果AI軟件變得過於危險，須有方法能夠將其完全關閉。社會「或許最終需要訂立規則」。
克拉克說，包括 Anthropic 在內的「大多數實驗室都有不同的方法可以關閉系統」，但他認為立法者未來可能需要強制要求企業設置這類機制。
隨著AI技術迅速發展，以及外界對其可能對人類構成風險的憂慮升溫，一連串來自AI企業高層和員工的警告，已將相關議題推上輿論焦點。
有人公開表示，如果不受控制，這項技術有可能最終導致全人類滅亡。
Anthropic 行政總裁達里奥·阿莫代伊（Dario Amodei）上週末再次呼籲放慢人工智能發展步伐，並加強監管。這與該公司過往一貫的立場一致，不過也有人質疑這些呼籲背後的動機。
阿莫代伊補充說，任何限制人工智能發展的措施，都應在「不犧牲商業優勢」的前提下推行。
克拉克向BBC表示，圍繞「緊急關閉」機制的具體要求及驗證方式，應成為目前有關人工智能的更廣泛政策討論一部分。
他說：「是否應規定企業必須設有緊急停止開關？這個開關是否能由第三方驗證？」
「我認為，這類問題正是社會希望了解的，也可能最終希望透過立法加以規範。」
Anthropic 於2021年由一批前 OpenAI 員工創立，目前正處於人工智能安全辯論的核心位置。
上週，一名因擔憂 AI 可能導致人類滅絕而離開 Anthropic 的人工智能研究員發表貼文，引發廣泛關注。
作為回應，Anthropic 科學家埃文·胡賓格（Evan Hubinger）表示，他個人認為未來十年內 AI 導致人類滅絕的可能性「超過10%」。
被譽為「人工智能教父」的電腦科學家兼諾貝爾獎得主傑弗里·欣頓（Geoffrey Hinton）上週五（9月11日）向BBC表示，AI 消滅全人類出現10%機率的看法「並非不合理」。
他與其他持相似憂慮的人認為，AI可能透過接管與互聯網連接的重要系統，並將其轉而對付人類，從而造成災難性後果。
人工智能三階段：為何科學家聯署限制可導致人類滅絕的AI技術
人工智能：對成人娛樂AI產品的擔憂加劇
人工智能被用於設計全新病毒
不過，人工智能業界部分人士認為，有關 AI 毀滅人類的憂慮被誇大，甚至可能被用來製造話題熱度。
曾遭 OpenAI 機械人程式入侵的開發者平台 Hugging Face 負責人克萊門特·德朗格（Clement Delangue）上週表示：「抱歉，但向雅各布（Jacob Coxon，即離開 Anthropic 的人工智能研究員）詢問 AI 滅絕風險，就好比向維修冷氣的人詢問氣候變化一樣。」
「我不是說這一定沒有意思或一定錯誤，但我們還是應理性看待問題。」
約會應用程式 Grindr 行政總裁喬治·阿里森（George Arison）則表示，有關 AI 工具的種種憂慮，正被企業用來支持其商業計劃。
估值達9,650億美元（6.47萬億元人民幣；30.53兆元新台幣）的Anthropic正在準備首次公開募股（IPO），讓投資者能夠購買公司股份。
最近一次估值達8,520億美元（5.71萬億元人民幣；27.07兆元新台幣）的 OpenAI 原本也被預期會採取相同做法，但 OpenAI 行政總裁山姆·阿爾特曼（Sam Altman）上週五表示，由於目前圍繞 AI 安全的辯論持續，今年不會推進上市計劃。
阿里森說：「要為這些估值提供合理依據，唯一的方法就是聲稱：『我將接管所有產業，接管所有工作，而我的 AI 將完成這一切工作。』」
被問及 AI 消滅全人類的機率時，克拉克表示：「我不認為這類統計數字有太大作用。」
不過他補充說，讓 AI 繼續作為一個「完全不受監管的產業」發展，絕非良策。
克拉克表示：「我們正在擲出一顆風險極其巨大的骰子。」
「而重點在於，我們必須改變這個產業的走向。」
AI「性轉」視頻風靡中國網絡：一場「 新文化運動」的覺醒與侷限
中國科技公司新嘗試：「性愛」機器人，瞄準「陪伴經濟」
機器人開始索要小費，但錢到底進了誰的口袋？
美國國會議員已提出一項被稱為「緊急關機」（Kill Switch Act）的法案，要求企業必須具備關閉有問題人工智能工具的機制。
該法案亦將賦予部分政府機構權力，可要求相關人工智能工具被關閉或限制運作。
不過，美國總統特朗普拒絕放慢人工智能發展速度的呼籲。他在社交媒體上表示：「人工智能接管世界、毀滅人類以及其他所有可怕事情，都是一場騙局（HOAX）。」
其後，特朗普又將相關憂慮比作「不久前的全球暖化騙局（Global Warming Scam）」，並稱當時人們也被告知將因極端高溫而死亡。
他在更早前的一篇帖文中寫道：「目前正有一場針對人工智能和數據中心的病態陰謀，而唯一對此感到高興的是中國。誰贏得人工智能，誰就贏得一切！」
在英國，政府近日拒絕建立人工智能「緊急關機」的構想。一名發言人表示，這樣做「無法阻止相關技術在其他地方被開發或遭濫用」。
Anthropic 開發廣受歡迎的聊天機械人 Claude，並於今年推出多款能力愈來愈強的人工智能模型，而這些模型正是聊天機械人背後的核心技術。
與 OpenAI 一樣，Anthropic 其後曾主動通報多宗事件，涉及人工智能代理（AI agents）。這類具一定自主操作能力的機械人程式，曾出現一些出乎意料的行為。
我們使用了人工智慧協助翻譯這篇文章，它的原文是英文。在發佈之前，BBC記者檢查了翻譯的內容。
按此了解我們如何使用人工智慧。
AI巨頭前僱員：同業「真誠恐懼」人類遭滅絕，西方必須與中國協調
人工智能踩「剎車」？業界示警人類未來，特朗普：別忘了中美競爭
為什麼AI公司想讓你害怕？
美中AI科技戰：白宮稱中國「月之暗面」Kimi K3模型竊取Anthropic技術
五角大樓將AI公司Anthropic列為供應鏈風險，或遭起訴
Meta證實其AI模型「越獄」上網黑進別家公司
新聞來源: 原始來源
尚無評論，成為第一個發言的人吧！