大模型推理vLLM显存占用优化策略

部署Llama3 70B模型，在2026年主流硬件环境下，单张A100 80GB显卡无法完整加载，通常需要至少2张A100 80GB或4张A100 40GB进行张量并行，若启用vLLM的PagedAttention优化并采用INT8量化，单张A100 80GB在严格限制上下文长度的情况下可勉强运行，但生产环境推……