设备 4080Ti super+4070Ti super 内存 64G DDR5,有这个速度很满意了,上下文能开到128K
实测写代码,做代码审核很能打
这是流水线并行吗?
佬有没有试过张量并行,可以跑到多少
不知道英伟达 Tesla T4 两张加起来 32G 的显卡能不能带得动?
可以,运行 APEX Mini量化版本,搭配MTP,最快24 token/s,上下文开到196K。