跳到正文
什么值得买·电脑硬件· 匿名用户·· 3 小时前AI 评分42

本地大模型跑Agent任务实测:电费8分、API七毛,为何仍有人劝退

同一个任务电费8分、API七毛:本地大模型为啥还有人劝退?

AI 导读

B站UP主用二手特斯拉P100/P40/V100计算卡实测本地大模型跑Agent任务,500万token下P100耗时25分41秒、电费不到8分钱,同量走线上API约7毛,V100仅9分钟、不到3分。评论区指出本地部署的真实价值在合规、隐私和7×24小时常驻,而非省钱;12GB显存笔记本已能跑27B模型,但长上下文KV缓存和带宽仍是瓶颈。

来源:什么值得买·电脑硬件 · post.smzdm.com