滿血DeepSeek一體機,價格竟然被打到10萬元級別了!
而且還不是量化版本,正是那個671B參數、最高質量的FP8原版。
或許有小伙伴要問了,那跑DeepSeek-R1/V3的速度,能跟官方一較高下嗎?
可以的,甚至是更快的那種。例如我們提個問題,來感受一下這個feel:
一個漢字具有左右結構,左邊是木,右邊是乞。這個字是什么?只需回答這個字即可。
不僅答案精準,一體機的速度也是肉眼可見地比DeepSeek官網快上一些,粗略估計是已經接近了22 tokens/s。
那么這個一體機到底是什么來頭?
不賣關子,它就是由北京行云集成電路最新推出的產品——褐蟻HY90,具體價格定到了14.9萬元。
而且除了產品,這家公司本身也是有不少的“標簽”在身上的,其中最為吸睛或許當屬CEO了:
季宇,清華90后博士、前華為“天才少年”、計算機學會CCF優博獎獲得者。
那么褐蟻HY90具體執行起更多任務時,又會是什么樣的效果?
來,更多維度的一波實測走起。
我們先在褐蟻HY90部署DeepSeek-R1,來測試一下它的推理能力。
有請AIME 2025的數學題:
Find the sum of all integer bases b>9 for which 17b is a divisor of 97b.
從內容生成的速度上來看,褐蟻HY90面對數學推理問題,依舊是可以保持接近20 tokens/s。
并且最終給到的答案也是精準無誤:70。
再來一道新版類似“9.9和9.11哪個大”、“Strawberry里面有幾個‘r’”,極度迷惑一眾AI的難題:
讓7米長的甘蔗通過2米高1米寬的門。
△左:一體機;右:DeepSeek官網
速度依舊在線,并且這個問題已經是難不倒DeepSeek,給出的答案也是正解。
而除了DeepSeek之外,我們還在褐蟻HY90上體驗了一把類似Deep Research的功能:
由此可見,無論是什么類型的題目,褐蟻HY90都能以相對較快的速度絲滑處理。
不過有一說一,以往的一體機,即便是搭載Q4量化版本,成本動輒就要達到200萬元。
而褐蟻HY90在搭載滿血、未量化的DeepSeek情況下,不僅能夠保證速度,更是把價格打掉了一個數量級。
因此,接下來的一個問題便是:
如何煉成的?
在我們聊“如何實現”之前,且需了解一下“什么在阻礙”。
首先,大家提到一體機,第一反應大概率就是GPU,而它本身就或許構成了短板。
因為傳統GPU方案因顯存容量限制,例如671GB需求需多張A100顯卡,成本已經超過了百萬的級別。
而CPU方案則受限于內存帶寬,因為大模型推理需要頻繁加載參數(如671B參數的FP8精度模型占用約671GB內存)。
如果內存帶寬不足,就會導致計算單元(CPU 核心)長時間等待數據,形成“內存墻”(Memory Wall),嚴重影響推理速度。
針對上述的短板,行云的褐蟻一體機采用雙路AMD EPYC 9005系列CPU,通過1TB/s的高內存帶寬滿足基礎推理需求,同時搭配一張中高端消費級GPU作為算力補充。
這種異構計算架構通過軟件協同優化,既解決了純CPU方案在部分推理階段的算力不足問題,又顯著降低了成本,將硬件投入壓縮至10萬元以內。
除此之外,行云自主研發的推理引擎框架通過算法優化和任務調度,同樣對token生成速率起到了顯著的提升作用。
在FP8精度下,Decode階段速度穩定在20TPS以上,且受上下文長度影響較小(128K上下文仍保持15TPS);Prefill階段在16K上下文內首字延遲控制在80秒以內。
這種高效推理能力尤其適合需要連續生成大量token的場景(如AI Agent),大幅縮短任務響應時間。
不僅如此,團隊還針對大模型運行需求,精準平衡了計算能力與內存帶寬,支持滿血FP8精度的R1/V3模型,并預留擴展能力,未來可支持1.5T參數量的模型。
通過參數壓縮技術(如INT4量化),進一步將Decode速度提升至28TPS(1K上下文),滿足不同場景對速度與精度的靈活需求。
據了解,團隊后續還將對MoE類的模型提供較好的支持。
褐蟻一體機的出現,可以說是改寫了行業的格局——
此前運行滿血671B模型需百萬級設備,而同類低配方案(如32B/70B模型)仍需20-40萬元。
行云通過技術整合,將最高質量的模型體驗直接帶入10萬元價位,為中小團隊提供了低門檻、高擴展性的AI部署方案。
這一技術突破不僅實現了“高性能 低成本”的平衡,更推動了大模型在智能客服、數據分析等場景的普惠應用。
最后,正如我們剛才提到的,行云除了產品本身之外,創始團隊同樣也有不少的亮點。
首先就是創始人兼CEO季宇,他本科就讀于清華大學物理系,后轉向計算機體系結構方向,獲得清華大學計算機體系結構博士學位。
在學術研究方面,他曾作為共同第一作者在頂級期刊《自然》(Nature)上發表計算機體系結構相關論文,并榮獲中國計算機學會(CCF)優秀博士學位論文獎(CCF優博獎)。
△行云集成電路創始人兼CEO,季宇
在2023年8月成立行云集成電路之前,季宇曾在華為海思昇騰芯片團隊,擔任昇騰AI芯片編譯器專家,負責多個昇騰編譯器項目,也曾入選“華為天才少年”。
在華為期間,正因長期專注于AI編譯器優化和處理器微架構等挑戰性問題,也讓他積累了豐富的AI芯片研發經驗。
除了季宇本人之外,CTO余洪敏擁有深厚的學術背景和豐富的行業經驗。
他本科畢業于華中科技大學,后在中國科學院半導體研究所獲得博士學位。
在職業履歷方面,余洪敏曾擔任百度昆侖芯、華為海思車載昇騰芯片等多款芯片的負責人,并曾在地平線擔任芯片研發總監。
他長期領導和管理超過100人的研發團隊,精通芯片研發設計全流程,具備豐富的實戰經驗——成功主導10余款芯片的流片與量產,并多次推動先進工藝數據中心芯片的架構設計、工程實現及大規模商用部署。
值得一提的是,在去年11月份,行云集成電路還得到了一眾明星資本的投資,包括智譜AI、峰瑞資本、嘉御資本、春華資本、中科創星、同創偉業奇績創壇、水木清華校友基金等。
由此,從行云集成電路成立至今的發展來看,是有產品,有團隊,更有市場的那種了。
但更重要的一點是,這家剛成立兩年的公司,一舉實現了一體機圈子里類似的DeepSeek的“高性能 低成本”——
嗯,“中國初創”的含金量還在持續上升。
鄭重聲明:本文版權歸原作者所有,轉載文章僅為傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。