DeepSeek v3因为是后发，完好意思不错躲避前东谈主走的坑，用更高效姿色避坑，也即是“站在巨东谈主的肩膀上”。真正逻辑应该是：榨干同等算力去掠夺10倍收益。就比如o1的实践资本远超GPT-4，而o3的实践资本大约率远超o1。从前沿探索角度看，实践所需算力只会越来越多。愚弄生态越郁勃，只会让实践插足的支付才调更强；而算力通缩，只会让同等插足买到更多实践Flops。

　　领先实践归拢代模子所需算力每隔N个月即是指数级缩小，这内部有算法非常、算力本人通缩、数据蒸馏等等身分，这亦然为什么说“模子后发更省力”。征引下星球内一则批驳：“就好像看过几遍谜底，水平很一般的学生也能在1小时内把高考数学卷整出满分”。 DeepSeek v3因为是后发，完好意思不错躲避前东谈主走的坑，用更高效姿色避坑，也即是“站在巨东谈主的肩膀上”。因此幻方在GPT4o发布7个月后，用1/10算力杀青的确同等水平，是合理的，甚而不错四肢将来对同代模子实践资本下落速率的揣度。但这内部已经有几个倡导上的污蔑。

　　领先是“实践”限度上的轻侮。幻方的论好意思丽确清楚了：“上述资本仅包括DeepSeek-V3 的认真正践，不包括与架构、算法、数据谈论的前期征询、消融实验的资本。” 也即是星球内一位算法工程师说的“有点以文害辞，幻方在训这个模子之前，用了他们我方的r1模子（对标openai o1）来生成数据，这个部分的反复尝试要不要算在资本里呢？单就在实践上作念降本增效这件事，这不代表需求会下落，只代表大厂不错用性价比更高的姿色去作念模子极限才调的探索。愚弄端只有有增长的逻辑，推理的需求已经是值得期待的。”

　　跟着Ilya说的“公开互联网数据穷尽”，将来合成数据是浮松数据天花板的重大起头，且天花板表面上有余高。很是于已往的预实践范式从卷参数、卷数据总量，到了卷数据质料，卷新的Scaling因子（RL、测试时辰臆测等），而算力只不外换了个场合，不竭被其他实践圭臬榨干。

　　从现在各大实验室的本色情况看亦然，OpenAI、Anthropic于今仍处于缺卡情景，敬佩幻方亦然。看实践算力是否下落，不应该只看某代模子某次实践这种切面，而应该从“总量”以及“从上至下”去看，这些实验室的实践算力总需求是下落了吗？反而一直在高潮。预实践的经济效益下落，那就把卡挪给RL post train，发现模子杀青同等栽培所需卡减少了，那就减少插足了吗？不会，真正逻辑应该是：榨干同等算力去掠夺10倍收益。就比如o1的实践资本远超GPT-4，而o3的实践资本大约率远超o1。从前沿探索角度看，实践所需算力只会越来越多。愚弄生态越郁勃，只会让实践插足的支付才调更强；而算力通缩，只会让同等插足买到更多实践Flops。

　　就好比幻方此次发布的模子，已经是LLM道路下，将MoE压榨到了极致。但敬佩幻方我方的推理模子r1（对标o1）也在探索r2/r3，这彰着需要更多算力。而r2/r3训完，又被用来阔绰广漠算力为deepseek v4合成数据。发现没，pre-train scaling、RL scaling、test-time compute scaling三条线甚而还有正响应。因此，只会在可获取最大资源的前提下，用最高效的算法/工程手艺，压榨出最大的模子才调栽培。而不会因为效果栽培而减少插足，个东谈主以为这是个伪逻辑。

　　关于推理，无用多说了，一定是高潮。援用下星球内洪博的批驳：DeepSeek-V3的出现（可能还包括轻量版V3-Lite），将支撑稀奇部署和自主微调，为卑鄙愚弄提供浩瀚于闭源模子期间的发展空间。将来一两年，大约率将见证更丰富的推理芯片家具、更郁勃的LLM愚弄生态。

　　著作起头：信息平权，原文标题：《实践算力果真下落了吗？》

海量资讯、精确解读，尽在新浪财经APP

职守剪辑：丁文武