10 分钟min read
64 张 V100 上跑 DeepSeek V4.1 Flash：FP8 激活、DSpark 和长上下文缓存
保留 FP8 激活与 FP4/FP8 权重，在 8 台 V100 节点上实现文本推理服务。记录 SM70 兼容计算、推测解码、CUDA Graph、前缀缓存，以及单请求约 18–24 tok/s 的实测结果。
2 篇
保留 FP8 激活与 FP4/FP8 权重，在 8 台 V100 节点上实现文本推理服务。记录 SM70 兼容计算、推测解码、CUDA Graph、前缀缓存，以及单请求约 18–24 tok/s 的实测结果。
首先，安装 SGLang。可以通过以下命令安装：
