本地部署运行 Google Gemma 开源大模型

Google发布了Gemma大模型,包括7B和2B版本,本地部署简单易行。文章详细介绍了ollama和Chatbox的使用,以及4060Ti显卡的体验,显示Gemma在性能和响应速度上表现出色。

Google 开源了 Gemma 大模型,有 7B 和 2B 两个版本。

而且,性能非常强悍,基准测试中 7B 模型的能力已经是开源模型中的领先水平。

Gemma 可以轻松的在本地部署运行,如果你的显存在 8G 以上,可以体验 7B 版本,8G 以下的话可以试试 2B 版本。

下面是本地部署步骤,以及体验感受。

一、部署步骤

思路:

  • 使用 ollama 运行 Gemma 模型

  • 使用 Chatbox 作为 UI 客户端

1. 安装 ollama

打开网页 https://ollama.com/

下载你相应操作系统的版本。

我的是 Windows,下载后直接运行安装。

安装完成后,在命令行中执行命令:

ollama -V

正确显示版本号即为安装成功。

2. 运行 Gemma</

评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值