CHEN TECH STUDIO
个人技术展示与项目记录
深度技术白皮书 · DEEP ENGINEERING
人工智能工程化与全栈系统的高精度原理推导、代码实现、边界验证与 RAG 知识库沉淀。
自回归模型逐个生成 token。
稀疏专家模型并非每个 token 都运行全部专家。
将潜空间图像切成 patch 后，Transformer 处理的是 token 序列。
普通片段检索适合回答局部事实问题；跨文档关系或全局主题总结可能需要实体、关系与社区摘要。
对于形状为 d_out×d_in 的权重矩阵 W，LoRA 将更新写成缩放后的 B×A，其中 A 为 r×d_in，B 为 d_out×r。
检索命中相似文本并不代表回答可核验。
