xu-song commited on
Commit
9820e00
1 Parent(s): d27a756
utils/speed_util.py CHANGED
@@ -1,3 +1,9 @@
1
  """
2
- 分词速度
 
 
 
 
 
 
3
  """
 
1
  """
2
+ encode速度
3
+ decode速度
4
+
5
+ ## examples
6
+
7
+ qwen的encode速度有点慢
8
+
9
  """
vocab/gpt_35_turbo/__init__.py CHANGED
@@ -67,7 +67,7 @@ def encode(self, *args, **kwargs):
67
  """
68
  add_special_token 是为了兼容 hf_tokenizer
69
  """
70
- kwargs.pop("add_special_token", None)
71
  return self._encode(*args, **kwargs)
72
 
73
 
 
67
  """
68
  add_special_token 是为了兼容 hf_tokenizer
69
  """
70
+ kwargs.pop("add_special_tokens", None)
71
  return self._encode(*args, **kwargs)
72
 
73