chat_template.jinja
#39
by
YuboWang
- opened
我看到代码里确实是有apply_chat_template的函数的,但是不太知道怎么将其翻译为jinja格式的模板,我现在用vllm运行该模型,然后模板使用的是网上有人提供的GLM3的模板,如下。不知道能否share下GLM-4-Chat的jinja模板
{% for message in messages %}
{{'<|' + message['role'] + '|>' + '\n' + message['content'] + '\n' }}
{% endfor %}
{{ '<|assistant|>' }}
目前用不了,能用我们早就写了jinjia了因为他更符合大众的使用习惯,因为我们的对话格式中还有一个metadata字段构建
#31 可以参考
看到你修复了这个部分,我测试一下
测试完了,那个PR里可以把原始的函数注释而不是删除?这样不影响chat_template同时保留了原始的实现,如果有人需要可以重新解除注释
我这测试能正常使用
zRzRzRzRzRzRzR
changed discussion status to
closed