迈阿密 AI 初创公司 Subquadratic 上个月走出隐身情状，带着个很大的说法亮相：它宣称科罚了个困扰大谈话模子近十年的数学瓶颈。
细节寥寥，好多东说念主不信。Subquadratic 拿凭证复兴：他们公布了份立评估恶果，至少从恶果看，这公司说的也许真值适合回事。
Subquadratic 说我方训导了种新式大谈话模子 SubQ，比市面上所有模子都快、低廉、省电。公司还说 SubQ 次能处理的文本量是大无数模子的 12 倍，不错同期分析几百份文档或所有这个词代码库。
蹙迫的是，Subquadratic 说 SubQ 在编程等关节任务上的水平基本能追上 Google DeepMind、OpenAI 和 Anthropic 的顶模子。
酌量词，除了公司初举证的几个分数，险些没提供别的凭证，SubQ 也莫得绽放试用。
是以片质疑并不虞外。AI 工程师丹·麦卡蒂尔（Dan McAteer）在 X 上的句话基本说出了所有东说念主的心声：“SubQ 要么是 Transformer 以来大的打破……要么是 AI 版 Theranos。”
个月后，公司补上了多信息，包括三机构 Appen 作念的测试恶果。“质疑在咱们意想之中，”Subquadratic 勾搭首创东说念主兼 CTO 亚历克斯·惠顿（Alex Whedon）说，“当今追思，次发布时就应该把三测试起放出来。以后咱们会确保所有恶果都考据过了再发。”
Appen 是门评估 AI 模子的公司。Subquadratic 请它测了 SubQ，恶果基本站在了公司这边。“看到数据我很原意，它考据了他们的架构，”Appen 生成式 AI 商议总监珍妮·西纳南-辛格（Jeanine Sinanan-Singh）说。
“我其时想，这东西可能果然个 game changer——模子在速率和率上直有瓶颈嘛，”她补充说，“但恶果好得这样离谱阿拉尔不锈钢保温施工，我方说出来劝服力就差了。”
SubQ 不会在所有任务上取代现存顶模子，但在某些场景下它可能以低资本阿拉尔不锈钢保温施工罢了雄伟的速率进步。Subquadratic 认为永久来看，这项打破可能改革大谈话模子的造法。“咱们但愿我正直在开启个率新时间，”勾搭首创东说念主兼 CEO 贾斯汀·丹格尔（Justin Dangel）说，“咱们以为几年之后没东说念主还会在 Transformer 上头造模子。”
小心力！
要祛除 Subquadratic 的说法为什么蹙迫，先得知说念大谈话模子是若何责任的。LLM 的中枢是种叫 Transformer 的神经集聚，中枢操作叫“盛大小心力”（dense attention）。今天的 LLM 时时把好几个 Transformer 串在升引。2017 年 Google 商议者发表的那篇始创 LLM 时间的论文，标题就叫《小心力即是你所需要的切（Attention is all you need）》。
盛大小心力的旨趣是这样的：Transformer 拿到段文本后，先给每个词（或词的部分，叫 token）编上个数字。为了祛除整段话的含义，它要把这些数字两两相乘——每个跟其他所有的都乘遍。段 10000 词的文本，光乘法就要作念快要 5000 万次。经营量惊东说念主，这亦然 LLM 出了名费电的根柢原因。
“你想给《了不得的盖茨比》作念个选录，你得把个词和后个词放在起看，中间每种组合也不成落下。”丹格尔说。
文本越长，经营量涨得越猛。每多个词就要跟前边所有词各乘次。词数翻倍，经营量概况翻四倍。这种增长式叫二次扩张。
资本
Subquadratic 的作念法是把盛大小心力扔了，换成“稀少小心力”（sparse attention），经营量下子掉大截。稀少小心力不再把每个 token 跟所有其他 token 都乘遍，而是只挑部分来乘。意旨很浅近：段文本里并不是所有词和词之间的关系都蹙迫。
“稀少小心力即是承认这点：那些关系不皆备蹙迫，因为它们如实不皆备蹙迫，”惠顿说，设备保温施工“你读本书不可能从个词运转跟二个词配对、跟三个词配对——那是了。”
想路浅近，也不是 Subquadratic 个意想的。“你能意想的招基本都有东说念主试过了，”立 AI 商议者、前 OpenAI 职工威尔·德普（Will Depue）说，“不是不可能，但其费劲，试过的东说念主好多，作念到的个都莫得。”
昔时的案都卡在同个地：选出来的乘法组合祛除文本含义的果，恒久比不上盛大小心力那种沿路乘遍的笨见解。
Subquadratic 说它终于作念到了。SubQ 是个在能上能追平主流盛大小心力模子的稀少小心力 LLM。
“昔时大无数案用的是死规矩，比如永远把个词跟五个词放起比，”惠顿说，“太稚子了。谈话哪有这样浅近。咱们跟别东说念主不样的地是：哪些词蹙迫，咱们让模子我方判断，及时决定。”
具体若何判断的，公司拒夸耀。每段不同的文本，选出来的词都不样，领受历程是及时算出来的。“这即是咱们的手锏。”惠顿说。
测测看
说了这样多，果到底如何？Appen 用几项基准测试跑了遍。先测纯速率，看模子表面上能跑多快，无论它精明什么。恶果 SubQ 比使用 FlashAttention（种此前的稀少小心力本领）的模子快 56 倍。
再测编程才气。LiveCodeBench 这个测试用的是真实编程竞赛的题目，SubQ 拿了 89.7，跟其他顶编程模子在同档。“这个模子在编程上握续保握前沿水平。”Appen 的西纳南-辛格说。
资本面的说法相比难考据，因为 SubQ 还没大鸿沟绽放。丹格尔说让 Anthropic 的 Opus 4.6 跑遍 RULER 128（Nvidia 野心的个测试，看模子从大数据集中检索信息的才气）要花 2600 好意思元。SubQ 呢？“咱们花了 8 好意思元。”
SubQ 处理大数据集的才气看起来如实强。它的高下文窗口（不错愚顽祛除为责任挂牵）长 1200 万个 token，目前大无数顶模子是 100 万。惠顿给我作念了个演示：让 SubQ 从 400 份文档中索求信息并作念理，几秒钟出恶果。通常的任务交给 Perplexity（个流行的 LLM 搜索引擎），它连 400 份文档都加载不完。
Appen 还跑了“大海捞针”测试——看模子能不成从海量数据中找到条特定信息。SubQ 在 600 万和 1200 万 token 的高下文窗口下都拿了 98。Appen 的汇报说它“在少有模子被测试过的限制上保握了近乎的检索才气”。
分数再，基准测试也只可画出模子才气的局部图。在特定条目下跑出来的好获利，不等于在各式真实场景下都好用。
Subquadratic 把 SubQ 定位为编程和大数据集搜索的用模子。公司说已特等万东说念主注册了早期使用权，包括 500 多企业客户。但列队的东说念主好多，真实用上的很少。Subquadratic 的阐述是公司太新、太小、东说念主手不够，次管事不了那么多东说念主。
莫得多东说念主亲手试过之前，保握怀疑是合理的。有个点让东说念主犯嘟囔：Subquadratic 搭建 SubQ 时复用了开源模子通义千问（Qwen）个版块的权重（考试历程中细咫尺来的参数值，决定模子若何弘扬），不是从新考试的。这在模子训导中很常见，但跟 Subquadratic “再行发明了 LLM 责任式”的说法不太搭。
“他们也许如实造出了个有效的东西，”德普说，“但就目前公开的凭证来看，还不及以因循阿谁大的声明：说他们仍是科罚了二次小心力瓶颈。”
惠顿坚握说走条不样的路是他唯的领受。要造个有竞争力的模子，就得有新想法：“咱们比 OpenAI 输不起。”联系人：何经理相关词条:不锈钢保温施工 塑料管材生产线 钢绞线厂家 玻璃棉板 泡沫板橡塑板专用胶
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定阿拉尔不锈钢保温施工，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。