THUDM

/

chatglm3-6b

like 1.09k

Follow

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University 1,183

作者您好，之前為chatglm3添加chat_template後發現，使用tokenizer.apply_chat_template轉換成input_ids時會因為tokenizer不認識special token而導致錯誤的轉換結果，因此提出此PR進行修正(儘管chat_template是正確的)。

詳細比較與修改請參閱gist:
https://gist.github.com/p208p2002/adf1d4235b9567227d01315beb4b210e

此PR包含 :

1. 對tokenizer增加四個special token ，使他們能夠被正確轉換。

tokenizer.add_tokens("<|user|>")
tokenizer.add_tokens("<|assistant|>")
tokenizer.add_tokens("[gMASK]")
tokenizer.add_tokens("sop")

2. 移除 chat_template 額外空白

貢獻:
此PR能夠使 chatglm3 的 tokenizer 正確支援 tokenizer.apply_chat_template方法。