Janas-LLM 开源：32GB 内存笔记本可跑 80B 模型
热点事件持续更新
Janas-LLM 开源：32GB 内存笔记本可跑 80B 模型
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
Janas-LLM 已开源，这是一个用 C 编写、无额外依赖的本地推理实现，通过按 token 所需从 NVMe SSD 流式读取 MoE 专家权重、把常驻专家存入内存缓存，让 32 GB 内存的笔记本也能运行 80B 模型。 其做法是把权重留在磁盘上，只在推理需要时读取对应专家，因此内存占用不再由模型总参数量决定。
AI 根据报道生成 · 1 小时前更新
最新进展10月13日 06:05
Janas-LLM 开源：从 SSD 流式读取专家权重，在 32 GB 内存笔记本上跑 80B 模型报道时间线
沿着报道，了解事件的不同侧面。
10月13日
- Hacker News：AI 热帖Janas-LLM 开源：从 SSD 流式读取专家权重，在 32 GB 内存笔记本上跑 80B 模型
Janas-LLM 已开源，用 C 编写且无额外依赖，通过按 token 所需从 NVMe SSD 流式读取 MoE 专家权重、常驻专家存入内存缓存，让 32 GB 内存笔记本也能运行 80B 模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。