科技

AMD收購晶片新創Taalas!蘇姿丰為何買下一家「不用HBM」的AI晶片公司?

編輯部 1天前 1 瀏覽
AMD收購晶片新創Taalas!蘇姿丰為何買下一家「不用HBM」的AI晶片公司?
加入為 Google 偏好來源

將 Yahoo 設為首選來源,在 Google 上查看更多我們的精彩報導

當AI晶片產業持續搶HBM、擴大先進封裝產能時,AMD(超微)卻宣布收購一家走不同技術路線的AI晶片公司。AMD於8月6日宣布,已簽署協議收購加拿大AI晶片新創Taalas,交易金額並未公開,目前仍須通過例行交割條件與主管機關核准。

Taalas成立於2023年,專攻AI推論晶片,累計募資約2.19億美元(約新台幣71億元)。AMD表示,未來將把Taalas技術納入加速器產品藍圖,並與自家的Instinct GPU共同發展系統級AI解決方案。

這筆收購特別的地方,在於Taalas選擇針對特定AI模型打造專用晶片,甚至不使用HBM,而是把模型和權重直接做進晶片,希望減少AI推論時大量搬動資料的需求。

延伸閱讀:HBM是什麼?3D完全圖解,帶你一次看懂「記憶體全村希望」

目前主流AI GPU高度依賴HBM,原因在於AI推論需要頻繁讀取大量模型權重。模型愈大,需要在記憶體和運算單元之間移動的資料就愈多,因此記憶體頻寬很容易成為效能瓶頸。

輝達、AMD近年不斷增加AI加速器搭載的HBM容量,也透過CoWoS等先進封裝技術,讓GPU可以更快取得HBM裡的資料。Taalas則選擇另一種解法,既然搬資料很花時間,就盡可能讓大量固定資料從一開始就留在晶片裡。

根據EE Times今年2月對Taalas的專訪,以第一代晶片HC1為例,模型與權重會被存放在以光罩唯讀記憶體(Mask ROM)為基礎的架構中。這些權重在晶片製造時就直接固定下來,因此進行推論時,不需要像GPU一樣持續從外部HBM讀取大量模型資料。

不過,這不代表HC1裡面的所有資料都不能改。晶片仍保留可以讀寫的SRAM,用來存放KV快取,也能存放LoRA等微調後的權重,讓部分模型內容仍有調整空間。簡言之,Taalas並不是找到另一種記憶體直接取代HBM,而是改變模型資料放置的位置。

問題也隨之而來。AI模型更新速度很快,如果模型權重已經寫進晶片,一旦模型換代,難道整顆晶片都得重新設計?

Taalas的作法,是先把大部分晶片設計固定下來,再針對不同模型修改其中一小部分。執行長柳比沙・巴伊奇(Ljubisa Bajic)接受EE Times訪問時表示,客製一顆對應新模型的晶片只需要改動兩道光罩,這兩道光罩就能改變模型權重,以及資料在晶片內如何流動。

也就是說,Taalas先做好一個大致固定的晶片底座,再依不同AI模型修改最後一部分設計,而不是每換一個模型,就得再從頭設計一顆全新的ASIC。目前從取得AI模型,到產出描述晶片如何運作的RTL設計,大約需要一周,公司則希望把新模型轉成客製晶片的完整時間控制在約兩個月。

不過巴伊奇指出,客戶必須願意大約一年內沿用同一個晶片與模型,才比較能發揮這種高度客製化設計的經濟效益。

延伸閱讀:AMD蘇姿丰來台談AI下一戰!5大金句看懂未來趨勢:為何對台投資百億、押注CPU與小晶片?

Taalas目前已經用這套方法做出第一代技術展示晶片HC1。研究機構TrendForce指出,HC1採用台積電6奈米製程,不需要搭配HBM與CoWoS封裝,也能部署在一般氣冷機櫃。晶片面積達815平方毫米,擁有530億顆電晶體,一顆晶片即可容納Meta的Llama 3.1 8B模型。

在效能方面,Taalas宣稱HC1執行Llama 3.1 8B時,每位使用者每秒可以生成接近1.7萬個Token。EE Times實際測試Taalas提供的線上服務時,速度則超過每秒1.5萬個Token,Taalas稱在特定內部測試條件下可接近1.7萬個。

作為參照,Taalas官網引用的輝達H200基準數據顯示,單張H200執行同一款Llama 3.1 8B,在1,000 Token輸入、1,000 Token輸出與單一並行請求的條件下,每秒約可處理235個Token。由於HC1採用較積極的模型量化方式,而且兩者測試環境並不完全相同,因此不能直接視為同條件的效能比較,但至少可以看出Taalas追求的是把特定模型的單一使用者推論速度大幅拉高。

HC1目前也只對應特定的Llama 3.1 8B,如果換成更大的模型,就需要更多客製晶片。以DeepSeek R1 671B為例,Taalas模擬的方案約需30顆分別承載不同模型部分的客製晶片,也意味著約30次增量tape-out。

Taalas不是唯一一家研究這條路線的公司。The Information今年7月報導,Google正在開發代號「Frozen v2」的AI伺服器晶片,希望把Gemini模型的部分架構直接固定在硬體中,減少晶片執行模型時需要進行的判斷與資料移動,提高AI推論效率。

Frozen專案早期曾考慮直接把Gemini的模型權重固定進晶片。不過,Google後來考量AI模型更新速度太快,如果一顆晶片只能搭配特定版本的Gemini,硬體生命週期可能太短,因此這項構想被擱置。

目前的Frozen v2則改成把部分模型架構固定在晶片裡,同時保留更新模型權重的能力。Google仍在決定究竟要把多少資訊固定進硬體,希望在推論效率與模型更新彈性之間取得平衡。

根據The Information取得的內部推估,Frozen v2每瓦能處理的Token數可能達Google最新TPU的6至10倍,最快可能在2028年部署。不過,目前晶片仍在開發階段,相關效能也只是內部推估,Google僅表示持續研究各種提高效能與效率的技術,並未正式確認Frozen v2最終會投入量產。

AMD人工智慧事業群資深副總裁博帕納(Vamsi Boppana)在收購新聞稿中表示,AMD正在建立全端AI平台,希望讓客戶能針對不同AI工作負載選擇適合的運算方式,而Taalas的技術與工程團隊將強化AMD的AI產品組合,增加不同的推論效能與效率選擇。

類似的變化也正在輝達身上發生。2025年12月,輝達與AI推論晶片新創Groq達成非專屬技術授權協議,並延攬Groq執行長Jonathan Ross、總裁Sunny Madra及部分核心技術團隊。2026年3月,輝達進一步發表Groq 3 LPX系統及Groq 3 LPU,將其納入Vera Rubin平台。

Groq與Taalas的技術路線並不相同。Groq的LPU仍能執行不同AI模型,主要針對低延遲推論最佳化;Taalas則更進一步,把特定模型與權重直接固定進晶片。不過,EE Times與CNBC都將兩筆交易放在同一個背景下觀察,隨著AI市場從訓練進一步走向大規模推論,GPU業者也開始補進更專門的推論技術。

AMD近期自己的布局也朝這個方向發展。今年7月,AMD才宣布與Cerebras合作,把不同晶片放進同一套AI推論流程。AMD Helios負責處理提示詞與長脈絡的prefill階段,再由Cerebras晶圓級引擎負責後續decode與Token生成,讓不同運算架構各自處理較適合的工作。

AMD表示,AI推論對延遲、吞吐量、Token容量、成本與規模的要求正變得更加多元,因此需要讓不同運算技術處理不同工作負載。如今再收購Taalas,AMD取得另一種針對固定模型高度客製化的晶片技術,並已明確表示未來會與Instinct GPU共同發展系統級方案。

除了技術之外,Taalas與AMD本身也有很深的淵源。三名共同創辦人都曾任職AMD,其中營運長萊拉・巴伊奇(Lejla Bajic)更早曾在加拿大繪圖晶片公司ATI任職,2006年ATI被AMD收購後,她繼續留在AMD工作。

執行長巴伊奇過去則曾在AMD參與CPU與GPU混合晶片設計,之後短暫加入NVIDIA,再回到AMD擔任IC設計主管。離開AMD後,他共同創辦AI晶片公司Tenstorrent,2023年再成立Taalas,轉向高度專用化的AI推論晶片。

技術長伊格納托維奇(Drago Ignjatovic)同樣曾在AMD負責APU與GPU設計,之後接任ASIC設計主管,再加入Tenstorrent擔任硬體工程副總裁。The Next Platform今年2月報導時指出,Taalas當時只有約25名員工,多數工程師具有AMD、Apple、Google、NVIDIA與Tenstorrent等公司的工作經驗。

AMD目前尚未公布Taalas技術會在哪一代產品中導入,也沒有說明未來是否沿用HC1的台積電6奈米製程。Taalas技術最後會如何與Instinct GPU及Helios系統整合,目前也沒有更進一步的產品時程。

延伸閱讀:玻璃基板是什麼?玻璃基板概念股大盤點:14檔台股誰已試產?誰仍待驗證?

資料來源:AMD、EE Times、Taalas、TrendForce、The Next Platform、Tom's Hardware

更多報導友達二把手裸辭內幕!彭双浪親邀的接班人為何撕破臉?「落後群創」成最後稻草?AI晶片概念股有哪些?從GPU、ASIC、HBM到先進封裝,26檔大盤點Google人事地震!DeepMind執行長Hassabis轉任主席,27年元老科學家Jeff Dean離職創業

新聞來源: 原始來源

分享本文
請登入後發表評論
立即登入

尚無評論,成為第一個發言的人吧!

首頁 新聞 商家 活動 UTV AI 聊天