跳到正文
Hacker News:AI 热帖· Hacker News:AI 热帖·· 8 小时前AI 评分50

Janas-LLM 开源:从 SSD 流式读取专家权重,在 32 GB 内存笔记本上跑 80B 模型

AI 导读

Janas-LLM 已开源,用 C 编写且无额外依赖,通过按 token 所需从 NVMe SSD 流式读取 MoE 专家权重、常驻专家存入内存缓存,让 32 GB 内存笔记本也能运行 80B 模型。

来源:Hacker News:AI 热帖 · github.com