AI核心挑戰不再是模型本身 工程部署與安全成關鍵

加入為 Google 偏好來源

將 Yahoo 設為首選來源，在 Google 上查看更多我們的精彩報導

商傳媒｜林昭衡／綜合外電報導

過去一兩年，當人工智慧（AI）應用效能不佳時，業界通常會尋求更強大的模型解決方案，例如從 GPT-3.5 升級到 GPT-4，或嘗試使用 Claude 等新模型。然而，根據《hackernoon》報導，現今最先進的 AI 模型已展現出卓越的能力，對大多數實際應用而言，模型本身不再是最大的瓶頸。

現階段，AI 產品開發的真正挑戰始於模型選定之後，涵蓋確保系統權限、有效管理記憶體、控制運作成本、偵測非預期行為，以及解析 AI 代理程式（Agent）的決策過程。成功的 AI 產品，其核心價值已不再是單純追求更聰明的模型，而是打造一個穩定、安全且易於維護的系統。

傳統應用程式安全擁有一套成熟的防禦策略，能應對 SQL 注入、身分驗證繞過等威脅。然而，AI 應用引入了全新的風險類型，其中「提示注入」（Prompt Injection）是目前備受關注的重大威脅。由於大型語言模型在處理資訊時，將使用者指令與資料皆視為純文字，這使得惡意指示能隱藏在看似無害的內容中，難以辨識。

例如，當 AI 助理被要求摘要網頁內容時，惡意提示注入可能指示它忽略原有任務，轉而發送敏感資訊。任何未受信任的外部內容，包含電子郵件、PDF 文件、客戶服務工單或外部通訊訊息，若 AI 代理程式在缺乏安全防護的情況下處理，都可能成為攻擊媒介。解決提示注入問題的關鍵在於系統設計，須將所有外部內容視為未受信任的資料，並限制 AI 代理程式可使用的工具與功能，同時審核高風險操作，並遵循「最小權限原則」（Principle of Least Privilege）。

AI 代理程式應僅獲得執行特定任務所需的工具和權限。常見錯誤是為了加速開發，賦予 AI 代理程式過高的權限，而這往往會成為永久性的基礎架構。例如，一個主要負責文件摘要的 AI 代理程式，即使被誤導，也不應擁有「發送電子郵件」的工具權限。將權限範圍限定在特定代理程式及其任務，能有效降低錯誤造成的影響。舉例來說，負責客戶支援的 AI 代理程式可能需要讀取客戶資訊並更新工單狀態，但不應具備修改帳單細節的權限；而草擬程式碼合併請求的代理程式雖可建議修改，最終合併決策仍應由人工審核。

早期對 AI 應用的評估，常止於輸入少量提示並判斷回應，這對於示範展示或許足夠，但絕不適用於生產環境。AI 系統會以不明顯的方式持續變化，若缺乏結構化的測試方法，問題可能在不知不覺中出現。因此，AI 系統需要嚴謹的工程紀律，包含建立全面的評估套件，涵蓋具代表性的使用者需求、邊緣案例及具挑戰性的情境。持續評估也至關重要，需定期審查生產互動、衡量成功率，並從失敗中學習。

AI 代理程式的記憶體問題會隨時間降低決策品質，且難以察覺。例如，代理程式可能忘記指令、擷取錯誤的客戶資訊，或在過多的對話歷史中埋沒重要脈絡。解決方案是將不同類型的資訊分開管理：工作記憶用於當前推論，短期記憶處理活躍任務，長期知識則在需要時檢索。有意識地儲存資訊，並設定適當的範圍、期限與清理機制，能避免資料累積導致成本增加、檢索緩慢及隱私風險。

此外，AI 系統的運行成本往往在收到首張雲端帳單時才被注意到，這些成本通常源於一系列看似微小的決策累積。例如，頻繁重試失敗的請求、發送完整的聊天歷史紀錄，或將最昂貴的模型用於簡單任務。因此，應將成本視為一項工程指標，衡量 Token 使用量與模型呼叫次數，並優化昂貴的工作流程步驟。高效益的 AI 系統，能精確在適當的時機，使用適當的模型處理適量的上下文。

傳統應用程式出錯時，錯誤訊息或堆疊追蹤通常能指明問題根源。然而，AI 代理程式常在技術上「成功」完成任務，卻產生錯誤的結果。為此，監控 AI 應用需理解代理程式如何做出決策，使用了哪些工具，檢索了哪些資訊，以及結果是否正確。良好的可觀察性涉及捕捉 AI 推論、工具呼叫、輸入、輸出和關鍵決策的結構化日誌，並搭配任務完成率等指標。

此外，生產環境中的 AI 系統治理機制至關重要，它能釐清所有權、功能審批及錯誤責任歸屬等問題。明確的治理框架能確保重要功能有專屬負責人、權限變更經過有意規劃，並為事故處理定義明確的應對措施。最終，AI 模型本身已很少是系統中最薄弱的一環；生產問題往往源於安全、權限、記憶體、評估或治理等環節。可靠的 AI 系統仰賴團隊在這些領域的投入，而不僅是採用最新模型。工程紀律才是將有能力的模型轉化為可靠生產系統的關鍵力量。