vllm量化05—FP8 W8A8

本系列基于Qwen2.5-7B，学习如何使用vllm量化，并使用benchmark_serving.py、lm_eval 测试模型性能和评估模型准确度。
测试环境为：

OS: centos 7
GPU: nvidia l40
driver: 550.54.15
CUDA: 12.3
vllm: 0.9.0

本文是该系列第5篇——FP8 W8A8

一、量化

from transformers import AutoTokenizer, AutoModelForCausalLM
from datasets import load_dataset
from llmcompressor.transformers import oneshot
from llmcompressor.modifiers.quantization import QuantizationModifier
from llmcompressor.modifiers.smoothquant import SmoothQuantModifier
from vllm import LLM

model_path = "./Qwen2.5-7B"
model = AutoModelForCausalLM.from_pretrained(model_path