vllm开启fp8量化

vLLM开启FP8量化需通过启动参数–quantization fp8或–quantization fp8_w8a8实现，该方案能在保持99%以上精度损失可控的前提下，将显存占用降低约50%，显著提升并发吞吐量，在2026年大模型落地深水区,显存成本与推理延迟成为企业决策的核心痛点，FP8（8位浮点数）作为……