跳到正文
博客园· SkyOnSky·· 2 小时前AI 评分20

Linux 程序性能分析实例:用 perf 定位大模型推理程序空载占用 200% CPU 问题

Linux程序性能分析(二)--- 实例分析1 - SkyOnSky

AI 导读

作者用 perf 对基于高通参考代码自研、通过 HTTP 暴露 OpenAI API 的大模型推理程序采样,发现空载时约 200% CPU 占用源于线程池死循环反复 lock/unlock std::mutex。借助符号文件还原堆栈后定位到 qualla::ThreadPool::loop,改为有推理任务时才启动死循环,空载占用恢复正常。

来源:博客园 · cnblogs.com