你好, 我是伊甸园｡
在本视频中, 我们将从使用 OpenAI GPT 五转换到使用开放权重模型｡
Gemma three by Google.
使用 Olama 在本机上运行｡
现在, 这正是链条的优势之一, 也是它一问世就大受欢迎的原因之一,
因为它让我们有能力更换我们正在使用的模型和 llms｡
我想说的是, 我们可以像换袜子一样, 在长度链中交换 llms｡
而且过程非常简单｡
这其实只需要修改一行代码, 我们需要在 LinkedIn 内部初始化相关客户端｡
因此, 这里的美妙之处在于, 整个代码的界面保持不变｡
我们需要做的就是更改我们正在使用的聊天模型｡
在本视频中, 我将向你展示在自己的机器中托管 OpenAI 模型的选项｡
此外, 还有一些基于云的提供商, 例如 grok, 我们可以通过生成
API 密钥和创建相关客户端, 从云端访问这些类型的模型｡
让我们来看看代码｡
不过, 在修改链接链代码之前, 我们需要确保 Allama 已安装在我们的机器上,
并且我们已将 Gma3 下载到本地系统中｡
让我来教你怎么做｡
因此, 在 Allama 中, 让我们点击下载, 然后下载 Mac OS｡
当然, 您应该为自己的操作系统下载｡
下载完成后, 我要像在 Mac 上安装任何软件一样安装它｡
如果您使用的是 Windows 系统, 只需使用安装向导即可｡
让我把它拖到应用程序文件夹中｡
我要把这个换掉, 因为我已经安装好了, 现在就在安装｡
让我去给阿拉玛开门｡
我将在 Allama 终端中进行编写, 现在我们可以看到 CLI 和可用命令｡
其要点是, 我们可以通过写入 Allama pull 和模型全名来提取模型｡
如果我们想在终端进行尝试, 并与该模型进行对话｡
我们可以在刚才的模型上使用服务｡
现在, 请让我转到奥拉玛的模型部分｡
例如, 我们可以在这里看到新的 GPT 操作系统｡
我们现在可以看到该型号各变体的尺寸｡
它有多少参数？
这是一个非常好的模型, 对本课程来说绰绰有余｡
它还将支持函数调用和代理任务, 这也是我们在本课程中要做的｡
所以, 我也建议你这样做｡
不过, 我不会下载它, 因为它的体积实在太大了, 我的电脑根本装不下｡
因此, 我们可以看看 Gemma three, 它提供了更轻的替代品｡
我们有许多尺寸的变体可供选择, 在这次演示中, 我将选择 2.7
亿参数, 因为这将是最轻､ 最快的｡
因此, 让我在这里复制全名, 然后让我转到 Olama, 在这里的 Olama 列表中, 我们可以看到所有下载的模型,
现在我们还没有任何模型｡
现在, 让我们写下所有的 llama pull, 并将其作为一个模型｡
因此, 我们要在这里给出全名｡
现在我们可以看到我们正在下载它｡
所以, 让我把下载快进一下｡
我们可以看到它已经完成了下载｡
现在, 让我们写下所有的骆驼名单｡
现在我们可以看到下载的新模型了｡
现在让我和所有的骆驼一起打开骆驼手册｡
我想使用运行命令｡
因此, 我只需要运行和模型的名称｡
现在, 它会启动一个实例, 让我们可以与这个模型对话｡
因此, 这将是一个 CLI 界面｡
所以, 它要启动了｡
让我们去等一下, 让我在这里写｡
例如, 你好｡
我们可以从后面看到答案｡
您好, 今天有什么可以帮您的吗？
这就是我们与 Ola 一起使用它的情景｡
因此, 现在我们要使用 Linkchain Ola 集成来使用这个本地运行的开放权重模型｡
Gemma 有三个 2.7 亿个参数, 我们希望在代码中使用它｡
因此, 我们要在这里创建一个 LM 变量｡
让我把这一行粘贴在这里｡
这将是一个 Chet Olama 类对象, 温度为零, 模型为
Gemma, 有 2.7 亿个参数｡
我提醒你, 我们的机器中已经有了这个模型｡
现在, 我们需要导入 Chet Alabama 对象｡
现在, 让我们转到文件的顶部, 这里是所有导入的位置｡
让我去从 LinkedIn Olama 输入｡
我们已经安装了它, 并希望导入 Chet Olama 软件包｡
就是这样｡
让我们去运行它｡
我们可以看到我们到达了这个断点, 现在可以看到响应｡
请注意运行速度有多快, 因为它是在我们的机器上本地运行的｡
这是一款超轻机型｡
现在, 如果我们再看看回应, 就会发现埃隆-马斯克的总结｡
但是, 我们并没有单独设立一个有趣的部分｡
因此, 虽然这个模型速度超快, 但我们可以看到它确实没有完全按照我们的要求去做｡
这也是使用开放式权重模型的代价, 因为开放式权重模型是更快､ 更便宜的精简模型｡
我们得到的答案质量可能会低于第一级模型｡
酷毙了
因此, 我们看到了在链接链中切换模型是多么容易｡
如果你想在本课程中使用 OpenAI 或 Google Gemini 和开放权重模型,
你可以这样做, 我强烈建议你使用 GPT OSS, 因为这是一个具有深度推理能力的模型｡
它支持函数调用, 适合代理工作负载, 我们将在本课程中实施代理工作负载｡