请问可以转化成 ONNX 加速推理吗？
#2
by
Visitor897
- opened
没有这方面的经验，想知道需要了解哪些知识
当然可以，我们之前写过导出onnx的代码，如果有需要，我们可以整理下放出来。
另外要加速推理的话，onnx本身带来的性能提升相对有限，这个我们之前也对比测试过。对性能加速带来更大提升的方式，一般通过模型蒸馏，不过这种就要训练模型了。
有需要的，能快一点是一点嘛，至于训练模型，咱是没有这个条件了...另外想夸一下，这是我用过的综合效果最好的模型，感谢你们的杰出工作！
optimum-cli export onnx --model ./Dmeta-embedding-zh-small --task sentence-similarity dmeta-embedding-zh-small-onnx