跳到正文
Meta Engineering Blog· Meta Engineering Blog(RSS)·· 6 小时前AI 评分23

Meta 如何将闲置 AI 推理容量转化为更好的广告推荐

AI 导读

Meta 构建了一套系统,把分散在各团队配额、区域和加速器类型中的闲置推理容量聚合成共享机会容量池,用于广告推荐。系统通过 Rank More Ads(RMA)调整排序阶段评估的候选广告数量、Serve Better Models(SBM)调整路由到更强模型的请求比例这两个弹性杠杆扩展可选工作负载,并借助物理与逻辑隔离及价值感知降载机制在容量被突然回收时优雅降级。

来源:Meta Engineering Blog · engineering.fb.com