嘿 欢迎回来
我们有很好的安装方式
我们可以通过配置文件来控制我们的培训
这使得我们可以非常轻松地使用许多高级功能
而不必编写代码或承担一些非常
大的错误
X Lotto提供了许多配置供我们使用
我们会慢慢理解它们的
但现在 让我们从最基本的开始
我们需要创建一个点Yammer文件
在这里
我们将定义用于控制训练的所有
配置
好吧
我们需要担心的第一个配置是特定
于模型的配置
基础模型是一个配置
它指定我们应该从哪个检查点开始训练
在本课中
我们将使用lama的一个小版本 称为tiny lama
它只有11亿个参数
所以我们的训练时间不会太长
也不会太累
但它仍然是一个伟大的模型
如果和拉玛完全一样的建筑
我们只需复制其名称并将其设置为冲突
中的基础模型
接下来
我们还应该在模型配置中指定其模型类型
我们可以看到它的架构是Lama
用于因果语言建模
好吧
最后
这是一个很好的做法
也明确告诉组织者的类型
我们还可以在模型令牌Eyes中找到此信息
即配置Jason文件
在这里 我们可以看到它的类型是一个骆驼组织者
好了 这就是我们所需要的模型
接下来 让我们来处理数据集
在这个例子中 我选择了一个很好的
简短的讲故事数据集
由jayden ci为我们提供
希望我知道他的名字 对吗
该数据集由2列组成
一个简短的大纲 说明一句话的描述提示
然后是一个短篇故事 它扩展了大纲
创造了一个完全成熟的故事
所以我们要从本质上教我们的模特
根据我们给他的写作提示来讲短篇小说
好吧
现在 最重要的部分来了
我们需要配置如何格式化此数据集
以使其适合我们的模型
我们可以通过指定它的类型来做到这一点
这不会是一个对话模式
所以我们让它的系统提示符暂时为空
模型仍然支持它
所以我们需要明确这一点
接下来 我们需要指定它的指令是什么
在我们的例子中
我们将把这个
指令作为我们模型的输入
回顾数据集
指令将只是大纲
好的
现在 类似地 对于输出
我们将使用short story颜色
这就是模型需要学习的内容
好吧 那些是警察
现在
对于我们需要采用的这些列的确切格式
回顾模型页面
我们可以看到每条消息都以这个用户模板标记开始
以句尾标记结束
则输出将遵循助手模板标记
因此 让我们遵循这个确切的格式
并确保我们没有犯任何错别字
好的 我们从用户令牌开始
接着是一个新行 然后是指令颜色
亲爱的将以句尾的特殊标记结束
后面还会有新的一行
然后是助理模板令牌
这意味着输出将遵循此格式
好吧
这就是我们如何显式地格式化我们的数据
以便我们的解码器只有大型语言模型才能学习
输入输出格式样式的数据集
好的 为了兼容性 我们还需要添加一行
某些数据格式还支持指令旁边的输入
我们需要告诉XA该做什么
如果没有为它提供这样的列
在我们的例子中 格式将保持完全相同
好的 这些是数据集所需的参数
我们还应该指定在训练完成后
我们的模型应该保存在哪里
让我们把它保存在这里的模型目录中
好的 接下来
让我们再次关注模型所需的参数
首先
我们需要指定它在训练期间可以
使用的最大序列长度
看看我们的数据 这些故事并没有那么长
所以我认为1024个代币应该可以做到这一点
接下来将指定其精度
查看模型页面
我们可以看到它采用BF 16半精度格式
所以让我们确保它在训练中也
会使用它
好的
最后 我们需要通过它的训练参数
我们将使用四个批量大小
以确保所有内容都能很好地放入内存中
我们还需要指定微床尺寸
将了解它与正常床尺寸之间的区别
以及如何在即将到来的
高级培训课程中设置它
但现在
我们将把它保留为历元的数量
或者模型将为整个数据集运行多少次
也将保留为四次
数据集很小
因此 这将有助于他更经常地查看整个数据集
好的 接下来
我们需要指定要使用的优化器
乐透提供了很多选择
我们可以在这里看到所有的选择
亚当8位是一个非常流行和全面的优化器
所以我们就这样做吧
现在 让我们也指定我们的学习率
我们将选择一个非常小的标准值0.0002
好的 最后
让我们将日志记录步骤设置为1
这样我们就可以在培训期间获得即时反馈
好吧
它们的默认设置中还有许多配置
我们将在本课程的
后面部分进行讨论和了解
就目前而言 这是最基本的训练形式
一个大型的语言模型
您可以在本课的参考资料中
找到此配置文件
以便您在尝试训练另一个lamp时可以
轻松地复制和修改它
好吧
让我们在这里暂停
并在下一课中开始训练循环
我希望你已经准备好了
我会在那里见到你的