#常见设置
这些设置控制在使用语言模型生成文本时的采样过程。这些设置的含义对于所有支持的后端都是通用的。
#上下文设置
#响应(tokens)
API 生成响应的最大 token 数量。
- 响应长度越高,生成响应所需的时间就越长。
- 如果 API 支持,您可以启用
Streaming
以便在生成时逐步显示响应。 - 当
Streaming
关闭时,响应将在完成时一次性显示。
#上下文 (tokens)
SillyTavern 发送到 API 作为提示的最大 token 数量,减去响应长度。
- 上下文包括角色信息、系统提示、聊天记录等。
- 消息之间的虚线表示聊天的上下文范围。该线以上的消息不会发送给 AI。
- 生成消息后,要查看上下文的组成,请点击
Prompt Itemization
消息选项(展开...
菜单并点击带线的方形图标)。
#采样器参数
#温度
控制生成文本的随机性。
- 较低的值:响应更合逻辑,但创造性较低。
- 较高的值:响应更具创造性,但逻辑性较低。
#重复惩罚
通过根据上下文中出现的频率对标记进行惩罚,尝试遏制重复。
- 有时,如果角色专注于某个事物或重复同一句话,增加该参数可能会有所帮助。
- 如果设置得过高,该参数会导致响应中断。除非你知道自己在做什么,否则最好不要超过
1.15
。
将值设置为 1 以禁用其效果。
#重复惩罚范围
将考虑多少个来自最后生成的标记的标记用于重复惩罚。如果设置得过高,可能会导致响应中断,因为像“the, a, and”等常用词会受到最大惩罚。
将值设置为 0 以禁用其效果。
#重复惩罚斜率
如果该值和 重复惩罚范围
都大于 0,重复惩罚将在提示的末尾产生更大的影响。值越高,效果越强。
将值设置为 0 以禁用其效果。
#Top K
将令牌池限制为 K 个最可能的令牌。较低的数字更一致,但创造力较低。
将值设置为 0 以禁用其效果。
#Top P
将令牌池限制为其概率加起来等于 P 所需的令牌数量。较低的数字更一致,但创造性较低。
将值设置为 1 以禁用其效果。
#Typical P
从可能的标记列表中随机选择标记,每个标记被选择的机会相等。产生的响应更加多样化,但可能也会缺乏连贯性。
将值设置为 1 以禁用其效果。
#Min P
通过相对于顶部令牌切断低概率令牌来限制令牌池。产生更连贯的响应,但如果设置过高,也可能加剧重复。
- 在低值(如
0.1-0.01
)时效果最佳,但在高Temperature
的情况下可以设置得更高。例如:Temperature: 5, Min P: 0.5
将值设置为 0 以禁用其效果。
#Top A
从最可能的选项中选择的令牌数量是根据选项的概率分布自动确定的,但它选择所有概率高于某个阈值的令牌,而不是选择 Top P
或 Top K
令牌。
将值设置为 0 以禁用其效果。
#尾部自由采样
此设置在文本生成过程中移除最不可能的标记,从而提高生成文本的质量和连贯性。
将值设置为 1 以禁用其效果。
#平滑因子
通过使用二次变换增加高概率标记的可能性,同时降低低概率标记的可能性。旨在产生更具创意的响应,而不受 Temperature
的影响。
- 在没有截断采样器(如
Top K
、Top P
、Min P
等)时效果最佳。
将值设置为 0 以禁用其效果。
#动态温度
根据顶部标记的可能性动态调整温度。旨在在不牺牲连贯性的情况下产生更具创意的输出。
- 接受从最小到最大范围的温度。例如:
Minimum Temp: 0.75
和Minimum Temp: 1.25
Exponent
根据顶部标记应用指数曲线。
取消勾选以禁用其效果。