2025年度总结
2025年度总结
80% -> Soulchill相关
10% -> 生成式召回相关
10% -> 粗排 && 精排
Soulchill相关工作
业务流水账
Q1. 语音房召回正向明显,同时高效完成了Soulmate相关召回策略的开发
Q2. 语音房相关召回工作收尾,DSSM模型推全,Soulmate相关召回需求迭代完成,首页混排场景相关召回策略开发上线
Q3. GCC(重点区域)针对性的做业务迭代优化,AB有相对明显的收益,但是后续GCC方向不再受重视,没有推全
Q4. 心动匹配,语音房关注帧,语音房弹出等相关需求开发支持
生产式召回相关工作
Q2. 尝试多种token化的方案,最终通过离线测评,确定了基于U2IV6 FEED EMB token化的方案。
Q3. 上线相关召回实验,长期观察没有显著的收益,下线
粗排 && 精排相关工作
Q3. 开始逐渐熟悉rank相关代码,对rank模型了各种维度调整测评:
- 换torch框架:指标基本持平
- 改模型结构,指标持平
- 换loss函数:指标波动剧烈(auc跌,gauc大涨)
Q4. 基于rank模型的架构,大量删减特征和模型结构后,作为粗排模型上线,目前效果负向
工作反思和总结
Soulchill相关工作、
Soulchill相关工作中,也业务方联系不够紧密,对业务理解非常有限,在业务发展过程中,处于一个可有可无的角色,并没有和业务方很好的建立起信任关系。
曾经试图和运营同学加强沟通,但是最终不了了之,几乎没什么沟通。
产品同学本身对业务理解有限,我们也没有就一些基本的业务问题,和产品进行细致的沟通,所以我们大部分时候就是个需求执行者的角色,非常被动。
排序相关工作
现有的排序模型,主要的目标是准确预估用户的各种率,比如点击率,点赞率,评论率等,可以认为预估的越准确,线上的排序效果越好。
离线测评的时候,通过GAUC来评估模型效果,一般GAUC涨线上指标就会涨。
离线迭代过程中,引入bprloss,GAUC大涨,AUC大跌,线上实验负向非常严重,本质原因应该是当前的这套打分分布,和实际预估的转换率存在较大差异,后续的融合分公式也不适配,这点之前完全没有想到,然后浪费了很多时间
粗排模型,一开始为了快速上线,push工程同学,解决线上缓存的问题,特征删减的太厉害了,效果不及预期,后续会从特征选择和训练目标两个角度,做一些更加细致的工作。
2026年度期望
- 探索新的推荐技术方案
- 如何更好的和业务方开展合作?