triton model configuration needed

#55
by wangruiai2023 - opened

已经将仓库转化为了 pt 模型文件,使用 triton 部署的话需要 config.pbtxt 。但是我不了解如何确定 input 参数以及使用推荐使用何种 backend?
我通过 tokenizer 确定了 ouput

wangruiai2023 changed discussion status to closed

Sign up or log in to comment