作者主张自建 LLM 代理以掌握调用情况

针对依赖第三方订阅前端调用 LLM 的现状，一位作者主张自建 LLM 代理：在单一端点统一接入多家供应商与模型，并记录哪个 key 在何时调用了哪个模型、状态如何。 该主张称，自建代理可用虚拟 API key 避免主密钥散落各处，并在基础设施层快速切换模型与供应商。作者还称，借助代理 API，编码会话中出现缓存未命中时可在 20 秒内手工定位原因。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。