3060 12g demo代码可以跑起来 4090 24g内存溢出
#12
by
duketxl
- opened
4090 24g device_map:cuda:0 内存溢出，3060 是偶尔有输出 有时候会计算很久无结果 默认demo代码
跑的是int8？
跑的是int8？
不是 我也看到非量化版26g 只是奇怪为啥3060 12g 居然还有输出
跑的是int8？
不是 我也看到非量化版26g 只是奇怪为啥3060 12g 居然还有输出
输出正常吗
跑的是int8？
不是 我也看到非量化版26g 只是奇怪为啥3060 12g 居然还有输出
输出正常吗
正常 没截断 速度慢些
这个大概率是导入到内存用cpu跑的
同4090，fp16 13b是直接跑不起来的，必须8bit量化以后才行，然后内存需要64g，32g不够的无论你做不做量化。3060估计你是跑在cpu上了。