Zifeng Mai's Blog

Keep scaling and you will meet your aha moment.

强化学习中的熵 (1)

策略熵

本文探讨了强化学习中的策略熵 (policy entropy)，主要从理论上回答了两大问题：1. 为什么熵减往往意味着训练收敛；2. 策略梯度算法如何改变策略熵。从这两个问题的答案我们可以看出，策略梯度算法会导致策略熵的减小，从而使得策略收敛下来，这给了我们一个新的视角来看待强化学习的训练过程。

Posted by Zifeng Mai on October 3, 2025

论文推荐：统一精排阶段的特征交叉和序列建模

OneTrans: Unified Feature Interaction and Sequence Modeling with One Transformer in Industrial Recommender

使用一个 Transformer 模块统一建模非序列特征（特征交叉）和序列特征（序列建模），使得两种特征可以更好地交互，并且借助 LLM 的各种优化手段（kv cache、flash attention、混合精度训练、激活值重计算等）减少推理延迟。

Published by ByteDance on Arxiv at Oct. 2025

强化学习基础 (1)

多臂赌博机

本文探讨了强化学习中的多臂赌博机模型，包括如何估计动作价值函数（即Q值）、如何选择下一个动作、如何利用梯度方法求解最优策略等。本文作为强化学习基础系列的开篇，读者可以从中感受到强化学习的基本思想以及理论框架。

Posted by Zifeng Mai on September 25, 2025

FEATURED TAGS
Reinforcement Learning Recommender System Policy Entropy Finite Markov Decision Process Generative Modeling Flow Matching Denoising Diffusion Probabilistic Model Generative Recommendation Optimizer Optimization Theory Muon Newton-Schulz LLM Entropy Safe Stochastic Process Gaussian Process Poisson Process
ABOUT ME

Math, Deep Learning, LLMs, Reinforcement Learning, Recommender, Search system

✉️ 654147900@qq.com

✉️ maizf3@mail2.sysu.edu.cn

✉️ maizifeng253@gmail.com