请教一下,openbmb/MiniCPM-Llama3-V-2_5这个模型想转onnx格式,该怎么操作?有好的建议或者集成工具吗?

#13
by fridayfairy - opened

请教一下,openbmb/MiniCPM-Llama3-V-2_5这个模型想转onnx格式,该怎么操作?有好的建议或者集成工具吗?

OpenBMB org

您好,我们现在在集中力量实现llamacpp版本,对于onnx格式转换还没有开始规划。如您有时间,欢迎您为openbmb/MiniCPM-Llama3-V-2_5转换onnx格式,感激不尽!
如果有更多问题,欢迎您继续提问

OpenBMB org

主要工作量可能是在ViT模型的VisionEmbeddings部分,需要根据CoreML支持的op做些代码简化和适配, 以及通过mask把动态input shape转成固定input shape
@fridayfairy

你好,现在做openbmb/MiniCPM-Llama3-V-2_5转换onnx格式的工作了吗

请问这个问题有更新吗,转换vpm过程中,动态batch抛出错误,Split算子维度对不上

Sign up or log in to comment