写点什么

用 MongoDB 和 Spark 实现电影推荐

  • 2014-12-23
  • 本文字数:980 字

    阅读完需:约 3 分钟

MovieWeb 是一个电影相关的网站,它提供的功能包括搜索电影信息、排名或者电影明星资料等。它拥有 10000 部电影的信息,70000 个用户,和超过 1 千万的电影评分。借用它的搜索目录,用户可以通过类型分类、排名和片名浏览等方式检索电影。但如何解决电影智能推荐的问题呢?近日 MongoDB 分享了他们结合 Hadoop 的经验

MovieWeb 基于 Python。在构建电影推荐系统时,使用 flask 和 PyMongo 读取数据,应用 Python 网页应用浏览电影和评分推荐;使用 Spark 应用来运算处理实际的推荐,并用 MLLib 实现协同过滤;然后搜集电影评分的数据,并创建和训练数据模型,而后处理用户和电影的数据集,再反向应用训练过的模型来尝试预测电影排名。以上完成后,将预测结果写入 MongoDB,接下来那些网页应用就可以将预测的排名展示出来,再收取新一轮的预测。其中用到的工具有 Apache Hadoop 2.3.0(HDFS 和 YARN),Spark1.0 和用于管理数据的 MongoDB。

MovieWeb 的工作流程:

以 BSON 的格式快速建立数据库;在 HDFS 中储存该 BSON;将 BSON 读取到 Spark 应用中;用已有的排名评分训练模型;建立“用户—影片”对;为所有“用户—影片”对预测排名;将预测结果写入 MongoDB 采集库;网页应用展示推荐;每周重复一次以上工作。这不是一项 MapReduce 的工作,其代码量很少,加上引入语法基本上也只需要 150 行左右的代码。

Spark 的环境建立和架构建立的执行语句如下:

复制代码
$ export SPARK_JAR=spark-assembly-1.0.0-hadoop2.3.0.jar
$ Export HADOOP_CONF_DIR=/usr/local/Hadoop/etc/Hadoop
$ bin/spark-submit
--master yarn-cluster
--class com.mongodb.hadoop.demo.Recommender demo-1.0.jar
--jars mongo-java-2.12.2.jar,mongo-hadoop-1.2.1.jar
--driver-memory 1G
--executor-memory 2G
--num-executors 4

功能实现之后的推荐系统中,“您可能喜欢的影片”一栏,那些根据预测推荐的影片是基于用户正在浏览的影片的第一个所属类别。例如影片《非常嫌疑犯》,第一类别为“犯罪”,则浏览该片时所推荐的电影也都属于这一类别。当用户表现出需求时,系统就会自动为用户过滤类别,再将筛选出来的结果进入给用户的推荐广播之中。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-12-23 00:456939
用户头像

发布了 268 篇内容, 共 127.2 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

a16z:一文梳理 7 种代币分类,如何区分网络代币与公司支持代币?

TechubNews

加密货币 Meme 加密市场

美国开启比特币储备时代,白宫圆桌能否释放更多政策信号?

TechubNews

加密货币 加密市场 白宫

FoneLab Video Converter Ultimate for mac(视频格式转换器)v9.2.66中文

Rose

Modern CSV for Mac(CSV编辑器/查看器)v2.2.1激活版

Rose

Professional Recorder Editor for Mac(专业录音和编辑软件)v7.0.4免激活版

Rose

Screen Recorder by Omi Mac(Omi录屏专家‬)v1.3.14激活版

Rose

DeepSeek们,会让文科无用吗?

脑极体

AI

快速了解黑龙江等级保护

黑龙江陆陆信息测评部

DiskSlim - Disk Cleanup Pro for Mac(Mac磁盘优化清理工具)v12.1.6激活版

Rose

Pixelmator Pro for Mac(媲美PS的修图软件)v3.6.17中文激活版

Rose

Easydict for mac(简洁的翻译工具)v2.12.0激活版

Rose

网络安全等级保护分为几级?等级划分依据是什么?

行云管家

网络安全 等保 堡垒机

软件设计模式及其应用

陈一之

软件工程 设计模式

研究机构科研管控系统(源码+文档+讲解+演示)

深圳亥时科技

0代码+AI驱动,霍格沃兹测试开发学社‌「爱测智能化服务平台」限时体验

测试人

人工智能 软件测试 测试开发

不懂K8s也能上云原生?三大开源平台实战对比与选型经验

北京好雨科技有限公司

rancher KubeSphere rainbond 企业号 3 月 PK 榜

医药制造业使用堡垒机的六个理由

行云管家

网络安全 等保 堡垒机

Boxy SVG for Mac(矢量图编辑器)v4.57.3

Rose

Termius for mac(终端模拟器/SSH/SFTP客户端)v9.16激活版

Rose

GreatSQL 8.0.32-27 GA (2025-3-10)

GreatSQL

Allavsoft Video Downloader Converter(视频下载和格式转换)

Rose

GM EPUB Reader Pro for Mac(专业ePub阅读神器)v2.8.0激活版

Rose

不小心清理了CAD图纸,应该怎么找回呢?

在路上

cad cad看图 CAD看图王

面试官:你项目是如何保证高可用的?

王磊

天翼云“息壤”放大招!AI Agent限时优惠资源包,手慢无!

天翼云开发者社区

AI应用 科研助手 算力平台

用MongoDB和Spark实现电影推荐_语言 & 开发_张天雷_InfoQ精选文章