- 日常
- 日常@wjcwukong 不是灰产,是基于软件的 AI 模型推理的加密计算,相当于用户请求的是密文,算子解密后完成推理计算,然后输出 token 也是密文的。
- 日常相当于适配方面,就是 numberOf(gpu 机型) * numberOf(大模型的推理算子数量)
- 日常大家认为隐私保护、机密推理 TEE ,不过这家公司搞的不是硬件的机密计算,是软件的,就是 AI 推理算子重写了,算子接收的数据是密文,算子内部解密后再完成原始算子计算功能,目前可以做到性能损失在 50%,也就是 token 速度平均慢 50%。
- 日常
- 日常
- 日常有必要为了 3.2*15 去后者呢?但是我担心后者各种不确定,最终月薪的绩效和年终都是悬念,可能还加班。。。
- 日常
- 日常
- 日常
- 日常