
IT之家 2 月 21 日音书,科技媒体 Wccftech 昨日(2 月 20 日)发布博文,报说念称 AI 芯片初创公司 Taalas 为处置大模子的蔓延与资本可贵,推出“硬连线”(Hard-wiring)期间,平直将 AI 模子固化在硅片中。
在 AI 算力竞争日益热烈确当下,蔓延已成为制约智能体(Agentic)愚弄的中枢瓶颈。不同于 Cerebras 或 Groq 试图通过集成 SRAM 来加快的旅途,修复仅 2.5 年的初创公司 Taalas 聘请了更为激进的 ASIC(专用集成电路)道路。
IT之家征引博文先容,该公司研发出一种能将纵情 AI 模子迂曲为定制硅片的平台,其中枢逻辑在于“和会野心与存储”,平直将特定 LLM 的神经网罗映射到硅片电路中,在 DRAM 级密度下完成悉数野心。
{jz:field.toptypename/}这种想象透澈甩掉了 HBM(高带宽内存)、复杂封装及不菲的散热系统,从物理层面摈斥了数据传输的“内存墙”退却。
Taalas 已展示其首款居品 HC1,该芯片专为 Meta 的 Llama 3.1 8B 模子想象。从期间规格来看,HC1 经受台积电 6nm 工艺制造,芯单方面积高达 815 mm²,这一尺寸实在与 NVIDIA 的 H100 相配。
Taalas 的在线聊天机器东说念主演示在 EE Times 试用时达到了每秒 15,000+ tokens,但公司示意,在某些条目下里面测试已接近 17000 tokens(Taalas 承认其版块的 Llama3.1-8B 被“激进”量化)。
然则,庞杂的芯单方面积仅容纳了 80 亿参数的模子,这与现时万亿参数的前沿模子比拟显得“容量有限”。这标明,kaiyun sports为了好意思满极致的硬连线速率,Taalas 在单元面积的参数密度上作念出了庞杂和谐,这亦然该期间道路面对的主要物理遏抑之一。
尽管参数密度不高,但 HC1 的性能推崇极具颠覆性。官方数据露出,比拟现存的高端算力基础依次,Taalas 决策的每秒 Token 生成数(TPS)擢升了 10 倍,同期坐褥资本裁减至 20 分之一。
为了处置单芯片容量不及的问题,Taalas 经受了集群化蔓延战略。在针对 DeepSeek R1 模子的测试中,通过 30 芯片的集群树立,好意思满了高达 12000 TPS / User 的否认速率(据公司称,GPU 当今的期间约为每东说念主每秒 200 个 tokens)。这一数据意味着在及时交互和复杂推理任务中,用户将得到近乎零蔓延的体验。
TPS 是推断大讲话模子生成速率的要道目标,代表模子每秒能输出几许个文本单元(Token)。相配于打字员的打字速率,TPS 越高,AI 回话得越快,用户恭候时候越短。
该媒体指出 Taalas 的期间道路天然诱东说念主,但贸易花样面对私有挑战。由于模子权重被“硬连线”在硅片中,芯片一朝制造完成便无法篡改模子参数。
这意味着客户必须为特定的模子版块(如 Llama 3.1 或 DeepSeek R1)购买专用硬件,一朝算法迭代,硬件可能面对淘汰风险。