Ollama Qwen2 支持 Function Calling

最新推荐文章于 2025-01-05 21:37:25 发布

原创

最新推荐文章于 2025-01-05 21:37:25 发布 · 2.6k 阅读

标签

#Ollama

收录于

默认 Ollama 中的 Qwen2 模型不支持 Function Calling，使用默认 Qwen2，Ollama 会报错。本文将根据官方模板对 ChatTemplate 进行改进，使得Qwen2 支持 Tools，支持函数调用。
在这里插入图片描述
Ollama 会检查对话模板中是否存在 Tools，如果不存在就会报错，下面的代码是 Ollama 解析模板的代码。

Ollama 3.1 是支持 Tools 的，可以看到模板中定义了 Tools。

修改 Qwen2 配置并创建新的模型，首先我们定义一个 Ollama 模型文件，创建文件 qwen_tools。

FROM qwen2:7b

# set the temperature to 0.7 [higher is more creative, lower is more coherent]
PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER repeat_penalty 1.05
TEMPLATE """{
  
  { if .Messages }}
{
  
  {- if or .System .Tools }}<|im_start|>system
{
  
  { .System }}
{
  
  {- if .Tools }}

# Tools

You are provided with function signatures within &