TinyTorch v0.2.0：Transformer 阶段里程碑与验证机制加固

版本概况

TinyTorch v0.2.0 于 2026-10-01 发布，是项目的首个次版本（minor release）。该框架用于 ML 系统教学，学生需在 20 个递进模块中，用纯 Python 与 NumPy 从零实现完整深度学习库，范围从 strided tensor 到 Transformer 与系统优化。

Transformer 阶段的三个里程碑

• 里程碑 05：在莎士比亚文本上训练 TinyGPT，验证多头注意力路由，并加入 TinyCopilot 代码补全，使用真实 Python AST 解析对未见过的函数签名做评估。
• 里程碑 06：引入覆盖 MLP、CNN、GPT 三个分项的“优化奥运会”，基于实测指标构建经验 Pareto 前沿，涵盖 INT8 量化、权重剪枝和 KV-cache 服务延迟，不使用硬编码倍数。
• 里程碑 07：将学生编写的 tiled、fused 与 im2col 内核与 NumPy 参考实现比对，再与原生 C++ SIMD、Apple Metal（MPS）及 GPU Triton 内核做基准比较。

交互与验证

通过里程碑验证后，可在终端“Try It”提示中向模型输入自定义文本或代码前缀并实时查看生成结果；该提示在判定之后运行，不影响已记录的成绩。验证方面，6 个 nbgrader 测试（共 80 分，覆盖模块 09、11、12、13）由仅检查形状升级为对照独立 NumPy 实现做数值检查；训练结束后在纯 NumPy 中重算损失，并加入因果性、注意力内容与位置探针，均匀注意力掩码在里程碑 05 第 3–4 部分会失败。另通过逐一破坏学生模块的“淘汰研究”确认测试夹具有效，并移除了 assert True 占位断言、吞掉异常的 except ImportError: pass 以及跳过阶段却报告成功的 CI 运行。

核心修复

• Dropout 跟随 train()/eval() 切换 self.training，Trainer.evaluate 自动进入评估模式。
• MSE 与 BCE 在 target.requires_grad=True 时返回对目标的梯度。
• SGD、Adam、AdamW 将更新显式转回参数 dtype，避免 NumPy 2 类型提升把参数内存悄悄翻倍为 float64。
• LoRALinear.parameters() 暴露低秩适配矩阵 (A, B)，使微调真正更新适配器权重。

CLI 与教学材料

本地认证回调仅绑定 127.0.0.1（WSL 下为 0.0.0.0），使用一次性 state nonce，凭证文件权限为 0600；社区指标同步需显式开启（tito community sync --enable-auto）并提供传输字段的 dry-run 预览。实验指南被重写为按“系统动因—认知负荷边界—失败诊断—延伸阅读”组织的教学文本，并新增面向教师的指南，区分 52 个学生实现区与 189 个脚手架辅助函数。版本说明同时感谢 PyTorch 社区成员就 TinyTorch 融入生态的早期探讨，相关讨论仍属探索阶段。