Jiaqi Xiong / Blogs

ML foundations

A growing set of notes on machine learning, single-cell foundation models, and agents. Choose an article in the directory or start here.

1. 4 Oct 2026/ML_foundation

   从 Self-Attention 到多头注意力：看懂 Q、K、V 与 Mask

   从张量形状和一个最小 PyTorch 实现出发，理解缩放点积注意力、多头注意力以及两类常见掩码。

2. 4 Oct 2026/ML_foundation

   Transformer 编码器与解码器：一张结构图读懂信息流

   从原论文图 1 出发，梳理编码器、解码器、位置编码、残差连接与训练时的因果掩码。

3. 4 Oct 2026/ML_foundation

   位置编码与 RoPE：让注意力知道顺序

   从正弦绝对位置编码到旋转位置编码，理解位置如何进入注意力分数。

4. 4 Oct 2026/ML_foundation

   BERT：双向编码器、预训练与微调

   读懂 BERT 的输入、MLM 与原版 NSP 任务，并看一个最小 PyTorch 结构示意。

5. 4 Oct 2026/ML_foundation

   GPT：从因果注意力到下一个 token 预测

   用一段最小 PyTorch 实现理解 GPT 的输入、掩码、训练目标与生成过程。

6. 4 Oct 2026/ML_foundation

   从预训练到微调与对齐：语言模型如何分阶段学习

   把预训练、监督微调、RLHF 与 DPO 放在同一张训练地图里，并用损失函数代码厘清标签与掩码。

7. 4 Oct 2026/ML_foundation

   图学习入门：从消息传递到 GCN 与 GAT

   理解图的节点与邻接矩阵，推导消息传递，并用轻量 PyTorch 代码看清 GCN 和 GAT。