跳到正文
邵猛· X:邵猛 (@shao__meng)·· 4 小时前AI 评分39

斯坦福 CS 312「Deep Learning Alchemy」秋季新课发布,作业与测验全部公开

AI 导读

斯坦福大学秋季开设 CS 312「Deep Learning Alchemy」,由 @tatsu_hashimoto 和 @kothasuhas 主讲,围绕超参调优与 scaling laws、优化器与超参不变量(NQM、μP、Muon、权重衰减)、损失景观、训练稳定性、架构容量、数据高效泛化(切换到 DNA 模态)等七个单元展开。

正文

斯坦福大学 CS 312「Deep Learning Alchemy」秋季新课

@tatsu_hashimoto 和 @kothasuhas 两位老师主讲,主要面向一个常见问题:深度学习的核心知识大多是经验性的,理论解释不了,读论文也替代不了动手。

课程把两个信条作为支点:炼金术要靠手学;预测即理解:能在跑实验前准确预判结果,才算掌握。

课程地址:
https://deep-learning-alchemy.github.io/

课程安排主线
七个单元:超参调优与 scaling laws → 优化器与超参不变量(NQM、μP、Muon、权重衰减)→ 损失景观 → 训练稳定性 → 架构容量 → 数据高效的泛化(切换到 DNA 模态)→ 未公开单元。阅读清单就是实证深度学习的地图,多位作者(μP、Muon、权重衰减系列)就在团队中。

作业代码、测验、讲义全部公开,课程录像由 @StanfordOnline 发布,自学者可用 Modal 租卡完整复现。可视为 CS 336(从零构建 LM)的续作:那门课教造模型,这门课教理解模型行为。

来源:邵猛 · x.com