欢迎回来
现在我们已经涵盖了所有的基础知识
我们终于准备好开始我们的第一个
最基本形式的训练大型语言模型
我们需要访问一台支持GPU的机器
为了这节课
我准备了一台24G显存的RTX 4090
让我们从快速设置开始
以确保我们拥有此项目所需的依赖项
在这节课中 我们将使用python3.10
我们也将在骨骼上工作
如果可以的话
我建议您在Linux机器上也这样做
现在
为了简化操作
我们将安装Mini Condor并使用它来管理我们的Python环境
让我们搜索“我”
“金德”或点击本课资源中的链接
在这里 我们只需要为我们的平台选择安装程序
在本例中 我们在x86平台上使用Linux
好的 很好
让我们复制这个链接地址
然后我们可以将它下载到我们的远程计算机上
在这里 我们只需要获得链接
安装程序将开始下载
如果您不是在远程工作
而是在自己的本地计算机上执行此操作
那你就不需要特意这样做了
好的
让我们运行描述性的bash并在我们的机器上安装迷你秃鹰
好的 太棒了
让我们启动新的shell
在这里 我们可以看到安装是成功的
我们已经有了基础环境
如果我们检查一下 这是预安装的Python 3.12
这个版本的Python是相当新的
到目前为止
并不是我们将要使用的所有库都能很好地支持它
有很多可行的方法来训练一个大的语言模型
不同的解决方案和库
你可以在本课程中使用
我们将使用一个免费的
可访问的开源库 它非常强大和灵活
同时也保持简单和易于使用
这个图书馆叫卓越
我们可以在Git Hub上找到它
正如该描述所说
Axel Auto是一种可以轻松训练LS的工具
它支持多种模型和技术
为了运行 我们所需要的就是Python3.10
所以我们要做的是为我们的训练创造另
一个环境
但首先
我们将按照快速入门说明在本地
计算机上克隆优秀的存储库
好的 很好
然后我们要创建一个单独的联系环境
我将把它命名为Train
并指定我们希望使用Python3.10
好的 让我们启动它
现在 在我们的环境中 让我们安装轴
我们可以看到
它还需要预装一定版本的Torch
所以它也安装了火炬
并确保我们准备好了一切
我们将使用最新版本的酷刑
这个安装将需要一段时间
所以让我们只是等待 直到它完成
好的 手电筒已经安装好了
让我们最终安装车轴
这也可能需要相当长的时间
所以让我们等它结束 直到一切都结束
好吧
有了这个 我们的环境就完成了
我们准备开始我们的第一班火车
好的 我们现在暂停一下
在下一课中继续
谢谢
我会在那里见到你的