零一万物Yi大模型vllm推理时Yi-34B或Yi-6bchat重复输出的解决方案

在使用yi-34B进行问答的时候，出现了模型重复输出内容的情况，如下图所示。

上图系群友【悟】提供。

几天之后，又有群友反馈出现了这个情况。

破案了同志们，用vllm直接推理yi模型确实会重复刷屏，但是用官方给的web_demo推理是没问题的。

使用vllm推理yi模型的时候，发送消息中需要加入"stop_token_ids": [7]，就可以解决重复刷屏的问题。
例如：

import asyncio
from vllm import AsyncEngineArgs, AsyncLLMEngine, SamplingParams

engine = AsyncLLMEngine.from_engine_args(AsyncEngineArgs("01-ai/Yi-6B-Chat"))
param = SamplingParams(max_tokens=50,