在魔塔社区搭建通义千问-7B（Qwen-7B）流程

最新推荐文章于 2026-04-07 09:26:42 发布

原创

最新推荐文章于 2026-04-07 09:26:42 发布 · 2.9k 阅读

标签

#python

收录于

本文介绍了一个使用Python编写的脚本，通过`modelscope`库加载预训练的Qwen-7B模型进行对话，用户可以通过命令行交互进行查询并获取响应。

复制以下语句

python3 -m venv myvenv

source myvenv/bin/activate



pip install modelscope
pip install transformers_stream_generator
pip install transformers
pip install tiktoken
pip install accelerate
pip install bitsandbytes


touch run.py
vi run.py

复制下面代码粘贴到 run.py

import os
import platform
from modelscope import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_id = 'qwen/Qwen-7B-Chat'
revision = 'v1.0.1'
tokenizer = AutoTokenizer.from_pretrained(model_id, revision=revision, trust_remote_code=True)
# use fp16
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", revision=revision,