好了 欢迎回来
我们也知道如何使用许可证模型
在本课中
我们不会使用需要许可证的模型
相反 我们将使用一种更小
更容易使用的lama变体
称为tiny lama
理想情况下 你可以在gpu上运行它
但如果你手头没有gpu 也没关系
这不是这节课的强制要求
代码仍然有效
只是会慢一点
好的 让我们加载模型并将其发送到我们的设备
加载需要一段时间
同时 我们也可以加载我们的令牌
好的
让我们使用以前测试过的相同消息
接下来 我们将为我们的模型准备它们
填充令牌都会将聊天模板应用于它们
以使格式恰到好处
然后将它们转换为代币
我们需要确保在末尾添加生成提示参数
所以这将告诉我们接下来要讨论的模型
好的 让我们把这些和模型移到同一个设备上
看看我们有什么
不出所料 仍然只有象征性的想法
这与课程的第一部分没有什么不同
现在 我们只是以一种更聪明的方式构建它们
棒极了
让我们通过他们的模型 并得到几代
现在 接下来要理解它们
让我们把它们解码成可读的文本
好的 看起来完全像模型
希腊需要一个答案
但至少它是一个连贯的答案
好的 让我们试着更多地了解这一切是如何运作的
将删除最后两条消息
仅保留初始查询
让我们看看这个模型如何只对死亡做出反应
好吧 它仍然是幻觉墨水 但格式工作
我们只取了第一个采石场
模型得出了自己的上下文
不相关的答案
那很棒
为了控制退化
让我们来看看一些最重要的参数
首先
我们想要控制模型能够生成多少
或者它在这一代中可以添加的新令牌的最大数量
非常重要的一点是要理解这些标记
即新生成的一次标记
是在输入或提示标记的基础上计算的
这些输入或提示标记来自对话中以前的消息
所以如果我们看看它的大小
我们可以看到我们已经用完了75个代币
让我们做一个生成
我们只允许模型给我们10个额外的代币 最多85个代币
好的 我们可以看到它的输出被截断了
我们基本上在第一次之后阻止他
然后生成代币
这是一件需要控制的重要事情
请记住 大型语言模型的序列
长度在提示和生成标记之间进行划分
这个llama版本的最大上下文大小为2040个令牌
因此我们的总输入加上生成的输出需要适合该
窗口
我们可以看到 即使上限为120个令牌
模型的输出仍然会被截断
我们总共有200多个代币
好的 这仍然在范围之内
让我们说我们有一个更长的背景开始
然后会发生什么
让我们人为地让这条信息更长 看看会发生什么
好的 所以从令牌开始
要么我们得到一个警告
输入已经超过了模型的最大大小
不仅希望模型能够看到并处理所有输入
你甚至没有地方给出一个输出
所以基本上 奇怪的事情会发生
不管怎样 让我们来测试一下
好吧 是的 它没有坠毁
没什么有用的
从里面出来的
好的
让我们看看如果你正好在大小限制的边缘会发生什么
不是超过它 而是足够接近 以便提示适合
但答案可能不适合
好的
因此 在这种情况下 输出将被截断
模型将在大小限制内生成尽可能多的内容
好的 这是一个很好很有趣的行为
现在
如果我们运行几次退化
我们可以看到每次的结果都是一样的
所以默认情况下 我们的模型是确定性的
相同的输入将产生相同的输出
也许我们不想一直这样
我们希望我们的模型能够为同一个采石场提供
更多的结果
此行为由示例参数控制
当这个打开时
我们基本上允许在我们的生成逻辑
中存在某种形式的随机性
我们可以看到 通过运行它 现在
它给我们一个不同的结果
事实上
运行几次
每次运行都会给我们带来很多不同的结果
现在 为了控制这种变化
我们可以改变温度参数
这将控制响应的随机程度
更高的温度将允许模型在生成
响应任务时使用更大范围的可能性
导致更多的创造性输出
我们可以看到 在温度设置为1的情况下
反应是非常不同的
现在让我们把它降低到0.1 看看有什么不同
有了这种配置
对于这些输入消息
模型似乎基本上是确定性的
在实践中
您可能会禁用采样或将夏季的温度设置在两者之间
以获得两个世界中
最好的结果
好的
我们看的最后一个参数是Top P
它也控制输出的随机性
与温度参数一起工作
而温度调整概率分布的整体形状
对于下一个单词预测
为了允许更多的可能性
Top B告诉我们使用该分布的哪个子集
本质上使得Top B的杯子为0.1
例如
将仅允许我们使用一起构成总概率体积的10%的第一标记
这意味着模型只能使用它真正
确定的词语
好的
我们可以看到
即使启用采样并使用可能的最高温度
我们仍然可以从我们的模型中获得确定性响应
如果这样低的主题概率
我们通常希望我们的顶部相当高
以便让模型探索更多可能的答案
这对他被允许使用的词语限制
太多了
我们不能订得太高
把它放低一点
将允许我们避免来自
模型的罕见但非常奇怪的反应
好吧
关于这一点
我们已经查看了我们需要了解的所有
基本生成参数
现在
如果你觉得你需要更
高级的法语和部署逻辑
看看如何在现实世界中有效地
使用这些大型语言模型
在本课的参考资料中查看我的课程链接
但现在 我们的
下一步是学习如何为我们的用例
训练和微调这些模型
我们将在本课程的下一节中讨论这一点以及更多内容
我想感谢大家已经走到了这一步
我很高兴你能来这里
我们将在下一课和本课程的下
一节继续学习