开始 TechWire

　　DeepSeek的开源周居然还有彩蛋！开源第六天，DeepSeek不仅放出了DeepSeek-V3/R1推理系统技艺秘密，还公开了逐日资本和表面收入！

　　DeepSeek统计了2月27日24点到2月28日24点，蓄意出其逐日总资本为87072好意思元（折合东说念主民币约63万元）。如若总共Token王人以DeepSeek-R1的价钱计费，逐日总收入将为562027好意思元（折合东说念主民币约409万元），资本利润率达到545%。也便是说，表面上DeepSeek逐日净赚474955好意思元（折合东说念主民币约346万元）。

　　但施行情况是，DeepSeek的收入大幅下跌。由于DeepSeek-V3订价低于R1；网页端和应用措施免费，只须部分职业有收入；非岑岭时段还有夜间扣头，使得其施行收入并莫得这样高。

　　此外，DeepSeek还公开了DeepSeek-V3/R1推理系统轮廓：为了达到推理更高的微辞量和更低的蔓延，筹划东说念主员给与了跨节点的大家筹划（EP），而况愚弄EP增大batch size、将通讯蔓延荫藏在蓄意之后、扩充负载平衡，支吾EP的系统复杂性挑战。

　　发布一小时，GitHub Star数已超越5600。

　　指摘区的网友每每cue OpenAI，直呼“被篡夺”了！

　　还有网友以OpenAI的订价帮DeepSeek算账：

　　GitHub地址：

　　https：//github.com/deepseek-ai/open-infra-index/blob/main/202502OpenSourceWeek/day_6_one_more_thing_deepseekV3R1_inference_system_overview.md

　　01

　　逐日总资本为87072好意思元

　　利润率表面上最高545%

　　DeepSeek V3和R1的总共职业均使用H800 GPU，使用和探员一致的精度，即矩阵蓄意和dispatch传输给与和探员一致的FP8神色，core-attention蓄意和combine传输给与和探员一致的BF16，最猛进程保证了职业成果。

　　此外，由于日间的高职业负载和晚上的低负载，DeepSeek在日间岑岭时段跨总共节点部署推理职业。在低负载的夜间时段减少了推理节点，并将资源分派给筹划和探员。

　　在曩昔的24小时内（2月27日24点到2月28日24点），V3和R1推理职业的吞并峰值节点占用率达到278，平均占用率为226.75个节点（每个节点包含8个H800 GPU）。假定一个H800 GPU的租借资本为每小时2好意思元，则逐日总资本为87072好意思元。

　　在24小时统计周期内（2月27日24点到2月28日24点），V3和R1：

总输入Token 608B，其中342B Token（56.3%）掷中KVCache硬盘缓存。

总输出Token 168B，平均输出速率为每秒20-22 tps，每个输出Token的平均kvcache长度为4989个Token。

每个H800节点在prefill时间提供约73.7k token/s输入（包括缓存掷中）的平均微辞量，或在解码时间提供约14.8k token/s输出。

　　以上统计数据包括总共来自web、APP、API的用户肯求。

　　如若总共Token王人以DeepSeek-R1的价钱计费，逐日总收入将为562027好意思元，资本利润率为545%。

　　*R1的订价：0.14好意思元输入Token（缓存掷中），0.55好意思元输入令牌（缓存未掷中），2.19好意思元输出令牌。

　　然而，DeepSeek的施行收入并莫得这样多，其原因是DeepSeek-V3的订价显然低于R1；网页端和应用措施免费，总共只须一部分职业被货币化；夜间扣头在非岑岭时段自动适用。

　　02

　　EP加多系统复杂性

　　三大战术支吾

　　DeepSeek的惩办有筹划给与了跨节点的大家并行（EP）。

　　最初，EP权臣推广了批处理大小，增强了GPU矩阵蓄意效能并升迁了微辞量；其次，EP将大家分散在不同GPU上，每个GPU只处理大家的一小部分（减少内存探询需求），从而缩短蔓延。

　　然而，EP在两个方面加多了系统复杂性：EP引入跨节点的传输，为了优化微辞，需要设想相宜的蓄意过程使得传输和蓄意不错同步进行；EP触及多个节点，因此自然需要Data Parallelism（DP），不同的DP之间需要进行负载平衡。

　　DeepSeek通过三种花样支吾了这些挑战：

　　愚弄EP增大batch size、将通讯蔓延荫藏在蓄意之后、扩充负载平衡。

　　1、大范畴跨节点大家并行（EP）

　　由于DeepSeek-V3/R1的大家数目繁多，而况每层256个大家中仅激活其中8个。模子的高度疏淡性决定了其必须给与很大的overall batch size，才气给每个大家提供裕如的expert batch size，从而好意思满更大的微辞、更低的延时。需要大范畴跨节点大家并行（Expert Parallelism/EP）。

　　DeepSeek给与多机多卡间的大家并行战术来达到以下主义：

Prefill：路由大家EP32、MLA和分享大家DP32，一个部署单位是4节点，32个冗余路由大家，每张卡9个路由大家和1个分享大家

Decode：路由大家EP144、MLA和分享大家DP144，一个部署单位是18节点，32个冗余路由大家，每张卡2个路由大家和1个分享大家

　　2、蓄意-通讯重复

　　多机多卡的大家并行会引入相比大的通讯支拨，是以使用了双batch重复来隐敝通讯支拨，升迁全体微辞。

　　关于prefill阶段，两个batch的蓄意和通讯交错进行，一个batch在进行蓄意的时候不错去隐敝另一个batch的通讯支拨。

　　关于decode阶段，不同阶段的扩充时刻有所远离，是以DeepSeek把attention部分拆成了两个stage，揣度5个stage的活水线来好意思满蓄意和通讯的重复。

　　3、好意思满最好负载平衡

　　由于给与了很大范畴的并行（包括数据并行和大家并行），如若某个GPU的蓄意或通讯负载过重，将成为性能瓶颈，拖慢总共这个词系统；同期其他GPU因为恭候而空转，变周详体愚弄率下跌。因此咱们需要尽可能地为每个 GPU 分派平衡的蓄意负载、通讯负载。

　　Prefill Load Balancer的中枢问题：不同数据并行（DP）实例上的肯求个数、长度不同，导致core-attention蓄意量、dispatch发送量也不同。

　　其优化指标是，各GPU的蓄意量尽量换取（core-attention蓄意负载平衡）、输入的token数目也尽量换取（dispatch发送量负载平衡），幸免部分GPU处理时刻过长。

　　Decode Load Balancer的要道问题是，不同数据并行（DP）实例上的肯求数目、长度不同，导致core-attention蓄意量（与KVCache占用量联系）、dispatch发送量不同。

　　其优化指标是，各GPU的KVCache占用量尽量换取（core-attention蓄意负载平衡）、肯求数目尽量换取（dispatch发送量负载平衡）。

　　大家并行负载平衡器的中枢问题：关于给定MoE模子，存在一些自然的高负载大家（expert），导致不同GPU的大家蓄意负载不平衡。

　　其优化指标是，每个GPU上的大家蓄意量平衡（即最小化总共GPU的dispatch吸收量的最大值）。

　　开始：智东西

海量资讯、精确解读，尽在新浪财经APP

职守剪辑：王其霖 世博shibo登录入口