电影网站如何为新用户做推荐?西浦数学系本科生研究在国际顶级期刊发表

2020年04月02日

推荐系统在人们的日常生活中非常普遍,比如购物网站或者视频网站等的首页推荐。推荐系统通过分析用户的行为,比如历史购买记录、观看记录等信息,得出用户的个性化需求,并在此基础上为用户进行推荐。但如果是没有任何历史记录的新用户,系统该如何进行推荐呢?针对这一具有挑战性的问题,西交利物浦大学数学科学系的科研团队在一篇论文中给出了一种可行方案。

这篇名为《基于线性混合模型的知识发现与推荐》的论文于近日发表在计算机与信息融合方向的顶级期刊IEEE ACCESS上。西浦数学科学系2019届毕业生陈智一是论文的第一作者,他如今在哥伦比亚大学统计学专业攻读硕士学位。

陈智一介绍说,传统的推荐系统是将商品特征作为输入数据进行推荐,也就是分析用户购买过或浏览过的产品,根据产品的特征为用户推荐新产品;而这篇论文的解决思路则是以用户特征作为输入数据进行推荐,也就是对浏览过同一产品的不同用户进行分析,找到用户的特征,再为拥有这些特征的用户进行推荐。

“通过应用线性混合模型,我对电影推荐网站MovieLens上约一百万名用户的评分数据进行分析,得出这些用户大致的特征后,套用到历史记录空白的新用户身上,为符合特征的新用户提供相关推荐。”

MovieLens是明尼苏达大学GroupLens研究所建立的一个研究类电影推荐网站,这个网站把用户的性别、年龄、职业等进行分类,在提供更为精准的电影推荐的同时,也便于研究人员收集数据。

陈智一以年龄特征为切入点,先通过线性混合模型对《美丽人生》这部电影的用户评分进行分析,计算出了不同年龄层的用户的综合评分。为了得到更普遍的规律,他继续用同样的方法,对数据库中占比最高的喜剧类电影和其他类型电影的评分数据进行了分析。

“根据数据分析,我发现即使是综合评分很高或很低的电影,不同年龄层用户对其的评分也是有明显不同的。以喜剧电影为例,数据显示50-55岁的用户评分最高,而18-24岁用户评分相对较低。这意味着当电影网站在为新用户做推荐的时候,比起年龄较低的用户,更应该为年长者推荐喜剧电影。”

同时他也发现,对全部电影类型的综合评分中,年轻人的评分要比年长者的评分更低,这意味着在电影评分方面年轻人要比老年人更为挑剔。然而这一论断需要更为严谨的统计假设、推断和验证。

陈智一表示,尽管线性模型在实践中最为常用,但线性混合模型更加准确。“线性模型在分析数据时只能考虑单一影响因素,而线性混合模型可以让我在主要考虑年龄这一因素的同时,将职业、性别等其他特征作为随机影响因素放进模型中计算。”

“但这个研究目前还存在一些不足,因为它只能提供一个大概的推荐,比如为年长者推荐喜剧电影或者为某一职业的用户推荐某一类电影。要想做到更精确的推荐,还需要利用人工智能领域的机器学习算法和深度学习算法。”陈智一补充说。

这篇论文最早为陈智一的本科毕业设计,题目为《挑剔的年轻人:基于海量影评数据和LEM4包的知识发现》,曾在2019年的国际大数据分析会议上发表。之后在他的导师、数学科学系朱圣鑫博士,牛强博士和左天宇同学的完善后发表在了IEEE Access上。

回忆论文的写就经历,陈智一表示自己当时在统计学方面的基础比较薄弱,为了学习线性混合模型的理论花费了不少时间。“我总结的经验就是一定要多查文献、多看文献,最好能每天花一到两小时做这件事,不要因为有一年的时间做毕业论文就一直在拖。”

朱圣鑫博士表示:“我们大部分本科生都具有积极主动学习的热情和优秀的英文写作能力,陈智一同学就是一个很好的例子。刚开始他对计算统计学了解甚少,遇到一个感兴趣的问题后,他几乎自学了相关的高级统计知识和R语言,这种主动学习的效果是传统讲授课程很难达到的。”

“同时在这个过程中,通过与导师的互动,他的研究型学习能力得到很大提升,这是一个成功的研究型学习案例。陈智一的本科毕业设计也获得了西浦2019年最佳本科生毕业设计奖。”

在最初决定论文选题的时候,朱博士表示,首先要尊重陈智一的兴趣和职业发展规划。朱博士认为,在指导本科生做科研时,培养学生的好奇心和研究兴趣是最重要的,兴趣是最好的老师。

“此外,也要考虑到学生的知识储备和项目的可行性。”朱博士说,“不能太难,要给学生一个‘跳一跳、够得着’的课题, 同时题目又要充分开放,不设限,这样学生才能在研究中不断学习、进步并充分发挥潜能。”

朱博士认为,本科生做科研可以很好地提高学生的综合能力。“通过科研,不仅可以训练学生的批判性思维,还能提高阅读文献、表达、沟通交流、团队合作等综合能力,这也会大大提高他们在升学和求职时的竞争力”。

“数学这个学科在传统教育中,一直是老师占主导,所以我非常喜欢学校研究导向型学习的教育方针。西浦的夏季本科生研究基金项目和本科毕业设计为学生提供了研究型学习的良好支撑,让学生们有了更多自我表达和思考的机会,这对提高我们学生终身学习的能力和在未来社会的竞争力是非常重要的。”朱博士说道。

(记者:袁欣远 编辑:胡秋辰)

2020年04月02日

西浦学者利用SARS建模方法预测新冠疫情发展
科技
西浦故事

西浦学者利用SARS建模方法预测新冠疫情发展

西交利物浦大学学者依据疫情数据由传染病模型在2月6日做出的预测显示,中国大陆除湖北以外地区的新冠肺炎新增确诊数(不计境外输入病例数)将在3月10日前后降至0。该模...

阅读更多
美国大学物理竞赛传捷报 西浦学子摘3银9铜
科技
招生专区

美国大学物理竞赛传捷报 西浦学子摘3银9铜

近日,第十届美国大学物理竞赛(the University Physics Competition)公布赛况,西交利物浦大学学生团队摘获3项银奖和9项铜奖,创西浦历年来最佳战绩。 美国大学物理竞...

阅读更多