推荐算法与推荐系统_学术界与工业界的理解
- 产学研结合,学术界和工业界,一直都是有关联的,
- 推荐,更是,
工业界和学术界的推荐
工业界的推荐,现在是一个庞大的系统,
做推荐系统的一般是互联网大厂,而互联网大厂能用又好用的特征太多了,不需要死磕图关系……
我倒是很想多了解,当可用特征太少、只剩下图值得深挖的场景里面用GNN的成功例子,不过比较遗憾可能油水没有互联网推荐系统多,所以做的人也许很少
这个问题问得非常专业,很适合在你论文中用来对比“理论与实践”的结合点。我来系统地整理一下:
工业界推荐系统的整体架构(自上而下)
工业界的推荐系统一般是一个多层级、模块化、线上线下结合的大规模系统。整体从上到下可以划分为以下几个关键层次:
- 数据层
- 包含用户行为日志(点击、浏览、购买、停留时长等)、内容数据(文本、图片、音视频等)、用户画像、上下文信息等。
- 数据存储通常使用分布式数据库(如HDFS、Hive、Kafka)与数据湖架构,支撑离线训练与在线推理。
- 特征工程层
- 工业界非常重视高质量特征的设计与处理,包括稀疏特征编码、多种特征交叉、Embedding 构建、上下文特征提取等。
- 同时,工业界大量使用特征流水线系统(如Facebook 的 FBLearner,阿里巴巴的 X-Feature)来自动化处理和管理特征。
- 召回层(Recall)
- 从海量物品中快速筛选出一个初步候选集,常见的方法包括:协同过滤(UserCF、ItemCF)、基于Embedding 的向量检索(ANN)、基于标签或规则的过滤等。
- 该阶段追求的是高覆盖率与高效率,往往以近似检索或分布式稀疏模型为主。
- 粗排层(Rough Ranking)
- 对召回集进一步压缩排序,采用轻量级模型(如Wide & Deep、FM、LR)进行快速预估。
- 粗排阶段主要目标是提升排序质量的同时保证计算效率。
- 精排层(Fine Ranking)
- 使用复杂的深度模型(如DIN、DIEN、Transformer-based 模型)精细建模用户意图与物品特征。
- 是工业推荐中性能提升的关键模块,但对延迟和资源要求较高。
- 重排与多目标融合(Re-Ranking / Post-Ranking)
- 在初步排序结果中综合考虑多种业务目标(点击率、转化率、多样性、长短期兴趣平衡、广告与自然内容混排等)进行最终调控。
- 常用技术包括强化学习、多目标优化、上下文规则融合等。
- 在线服务与反馈闭环
- 包括模型部署、实时推理、用户反馈收集、实时更新等,注重系统的稳定性、低延迟与自动化监控。
- A/B测试与实验平台用于持续优化模型与策略。
学术界的研究重点
相较于工业界的系统完整性与工程优化,学术界的研究更专注于某一特定模块的建模创新与理论探索。研究热点主要集中在:
- 排序模型的创新
- 提出各种深度模型结构(如 RNN/LSTM/GRU、Transformer、GNN、多兴趣网络等),以更好地理解用户偏好与行为序列。
- 关注建模的表达能力、泛化能力、训练效率等。
- 序列建模与兴趣演化
- 如何捕捉用户兴趣的短期变化、长期偏好,研究行为序列中的时序信息、上下文相关性、兴趣迁移等问题。
- 冷启动与稀疏性问题
- 提出多模态推荐、迁移学习、元学习等方法应对用户或物品冷启动。
- 多目标推荐与公平性、可解释性等问题
- 探索如何兼顾精度、覆盖率、多样性、公平性等目标,提升推荐系统的可持续性与可信度。
- 离线评估指标与实验设计
- 提出更合理的评价指标(如NDCG、MRR、Hit@K等),分析训练-测试分布偏移、曝光偏差(exposure bias)等问题。
总结对比(简表)
层级/模块 | 工业界关注点 | 学术界研究点 |
---|---|---|
数据与特征 | 实时性、大规模特征系统 | 特征选择策略、多模态表示 |
召回层 | 高效检索、近似向量搜索 | 向量学习、对比学习、==图召回==方法 |
粗排/精排 | 多层架构、模型部署效率 | 模型结构创新(如Transformer等) |
重排与融合 | 多目标业务优化 | 多目标学习、公平性/多样性研究 |
在线系统 | 工程系统稳定性、A/B测试 | 学术界一般不涉足 |
反馈与更新 | 闭环优化、在线学习 | 强化学习、因果推断等前沿方法 |
学术界和工业界有着不同的侧重点和理解。
from 通义千问
推荐算法和推荐系统在学术界和工业界有着不同的侧重点和理解。
学术界的理解
在学术界,推荐系统的研究主要集中在算法的创新和改进上。学者们致力于探索新的方法来提高推荐系统的准确性、多样性和新颖性。他们通常会关注以下几个方面:
-
算法的精确度:研究者们开发了各种类型的推荐算法,如协同过滤(基于用户或物品)、基于内容的推荐、混合推荐等,并不断优化这些算法以提高预测准确率。
-
算法的可扩展性:随着数据量的增长,如何使推荐算法能够处理大规模的数据集成为了一个重要的研究方向。这包括分布式计算、增量学习等技术的应用。
-
解决冷启动问题:对于新用户或新项目,由于缺乏足够的历史数据,推荐系统难以给出有效的推荐。学术界一直在寻找解决方案,例如利用社交网络信息或者外部知识库。
-
多样性与新颖性:除了准确性之外,推荐结果的多样性和新颖性也是研究的重点,目的是避免“信息茧房”效应,即用户只接收到符合已有偏好的内容,而忽略了其他可能感兴趣的内容。
-
理论分析与模型验证:学术界会对提出的算法进行严格的理论分析,并通过实验验证其有效性。常用评估指标包括均方根误差(RMSE)、平均绝对误差(MAE)等。
工业界的理解
在工业界,推荐系统更多地被视为一种产品功能或服务,其目标是提升用户体验、增加用户粘性和促进商业目标的实现。因此,工业界更注重以下几点:
-
用户体验与满意度:推荐系统不仅要准确,还需要提供流畅的用户体验,比如快速响应时间和个性化的界面设计。
-
业务增长与转化率:工业界使用推荐系统的主要目的是推动销售、增加点击率、延长用户停留时间等商业指标。
-
实时性与个性化:为了适应用户的即时需求,工业界的推荐系统往往需要具备高度的实时性和个性化能力,这就要求有强大的后台支持和高效的数据处理机制。
-
成本效益与可维护性:在实际部署中,推荐系统的设计必须考虑成本效益比,确保系统既能在预算内运行又能方便维护。
-
合规性与道德考量:随着对隐私保护的关注日益增加,工业界也更加重视推荐系统中的用户数据安全和个人隐私保护。
综上所述,学术界倾向于理论上的深入探究和算法优化,而工业界则侧重于实践应用和商业价值的实现。不过,两者之间也有着紧密的联系,学术界的成果为工业界提供了技术支持,而工业界的挑战也为学术研究提供了新的课题。
推荐系统的优化
- 为什么最近几年,没人在推荐系统里去玩 GNN 模型,GNN 是凉透了吗? - 王喆的回答 - 知乎
https://www.zhihu.com/question/3320585936/answer/36857602893我们做推荐系统的优化,一定要清楚每次优化的效果收益来源是什么。一般来说,收益总是来源于样本、特征和模型三个方向的一个或多个。但归根到底,可以再精炼成两个方面,收益要么来源于信息的增加(样本、特征),要么来源于信息利用能力的增强(模型)。
比如说,一个电影推荐系统,从来没有利用过电影中的演员信息,这时候把演员的信息加入到推荐系统中,很大概率能够带来效果的提升,因为这部分信息是新鲜的,系统从未学习过的知识,这就是增量信息带来的收益。
再比如说,我们的推荐模型本来是一个简单的MLP模型,把所有特征通过MLP进行交叉。但用户的行为是一个时间序列,是有前后关联性的,那么改成sequence model就能够更好的表达用户的行为及背后兴趣的变化,这部分的收益就是信息利用能力增强带来的。