LAYER 03 / TRAINING & INFERENCE
追踪能力形成的过程，拆解训练与推理的代价。
基座模型怎样从大规模无标注 token 中获得语言、知识和模式能力。
目标： 在不从头学习语言的前提下，将基座模型的生成分布改造成更符合任务、偏好或可验证目标的策略。
怎样在有限显存和通信预算下稳定执行大规模参数更新。
固定权重后，模型怎样逐 token 生成、缓存历史并用更多计算提升答案。
怎样用近似降低模型的权重、激活或缓存成本。
输入关键词，探索整个知识库
THE KNOWLEDGE STACK 知识体系