Community Labs 推開源平台 Cascadia 助 Intel 設備分散式 AI 推理

圖／示意圖 新創公司 Community Labs 近日發表了開源運行時（runtime）平台 Cascadia，旨在將人工智慧（AI）推理工作負載分散至搭載英特爾（Intel）處理器的現有設備上。此舉為企業與個人提供了在不依賴雲端服務或額外專用硬體下運行大型語言模型的替代方案，特別適用於對資料駐留與隱私有嚴格要求的組織。 Cascadia 的核心技術圍繞著智慧模型分片（model sharding）與路由功能，能將 AI 工作負載自動分配到網路中相互連接的裝置。透過這種方式，組織可將現有的英特爾電腦設備轉換為私有基礎架構，以處理大型語言模型。 該平台支援多種部署方式，包括在單一設備上運行模型、將模型複製到多個設備，或將大型模型分割後分散於多台機器上。Community Labs 創辦人 Tate Berenbaum 表示，開發 Cascadia 的初衷是讓使用者不必在雲端 AI 模型與購買專用硬體之間做出選擇，證明利用現有硬體運行高效能模型是可行的。英特爾全球開發者關係與創新資深總監暨總經理 Jinghui Luo（Dennis Luo）也指出，很高興能與 Cascadia 合作，讓…