AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

从 Twitter 留言预测用户收入

  • 2015-12-08
  • 本文字数:1415 字

    阅读完需:约 5 分钟

利用社交媒体上发表的内容来自动推断用户特征,对于社会科学、市场学和政治学研究有着非常重要的意义。近日,宾夕法尼亚大学的 Daniel Preoţiuc-Pietro 等人就利用 Twitter 上的数据构建了预测用户收入的模型。该模型很好的揭露了不同特征分类和收入之间的关系,同时也发现了很多有意思的现象。

随着信息技术的迅速发展,社交媒体也开始为越来越多的人提供服务。社交网站中所接收的用户数据也随之飞速增长,为社会科学中复杂问题的研究提供了充分支撑。对这些数据的分析可以很好的披露出语言模式和用户特征(如位置、年纪以及政治倾向等)。由此,这些信息可以用于大规模社会科学研究,并可帮助进行更有针对性的广告营销等。

Daniel 等人的研究以自动推导社交媒体中用户的收入为出发点。在训练和测试阶段,该团队使用了已经表明收入的 Twitter 用户数据集,其中包括了 Twitter 平台的相关统计数据和历史内容。为了便于分析,Daniel 等人的研究以 Twitter 用户和职位之间的映射为基础,采用了英国政府的标准化职业分类(Standard Occupational Classification,SOC)方法,将所有职业根据职能要求和内容分成了9 个大组。最终的测试数据就牵涉到了9 个组的5191 个用户,及其10,796,836 条留言。

预测模型使用了很多特征作为参考,包括了简单的用户简历特征(如朋友数量、追随者数量以及平均每天留言的数量等)、人口统计特征(如年纪、性别、政治倾向以及智力等)、用户情绪特征(开心的、伤心的、生气的以及惊讶的留言的比例等)和浅层的文本特征(非复制留言的比例、转发留言的比例以及平均的留言数量等)。

而且,他们采用了线性和非线性学习算法来构建收入模型。其线性学习算法使用的是带 Elastic Net 调节 logistic 回归分析。第一个非线性学习算法则使用带径向基核函数(Radial Basis Function ,RBF)的支持向量机(Support Vector Machine,SVM)。但由于SVM 并不支持指定最重要的若干特征,Daniel 等人又采用高斯过程(Gaussian Process)构建了一个贝叶斯非参数化的统计框架。最后,预测模型把所有特征集模型的结果采用线性权重的方式结合在了一起。

为了测量预测模型的精确度,Daniel 等人的研究首先针对用户收入进行了评估,其试验过程采用了十折交叉验证:把原始的数据随机分成10 个部分,选择其中一个作为测试数据,一个作为参数微调的数据,剩下的8 个作为训练数据。最终结果表明,用户数据和用户发表的内容之间的皮尔逊相关系数最大可达到0.633(0.6-0.8 表示“强相关”),证实了模型的精确性。

该工作的另外一个目标是深入发掘Twitter 上与用户收入相关的特征。通过检查模型的输出和对参数进行量化分析,团队发掘出了收入和语言使用以及Twitter 中用户行为之间的关系,其中包括了很多已知和未知的现象。例如,已经为公众所接受和熟知的现象是:收入和受教育程度、智力、年龄以及性别等相关。另外的一些发现就显得特别有意思:无派别且生活从容的用户收入较高;收入越高的用户越容易产生生气和惧怕的情绪,从而经常发表一些感性的内容;高收入用户更多地谈论政治,非政府组织以及合作的话题,而低收入者则更多地倾向于使用低俗语言。


感谢董志南对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群(已满),InfoQ 读者交流群(#2))。

2015-12-08 18:002617
用户头像

发布了 268 篇内容, 共 127.9 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

2023前端vue面试题(边面边更)

yyds2026

Vue 前端

从0到1,亿级消息推送的稳定性保障 | 得物技术

得物技术

稳定性 消息推送

vue实战-完全掌握Vue自定义指令

yyds2026

Vue 前端

得物供应链复杂业务实时数仓建设之路

得物技术

数据库 大数据 技术架构

webpack高级配置

Geek_02d948

JavaScript 前端

webpack配置完全指南

Geek_02d948

JavaScript 前端

信息安全“狂飙”不止,WorkPlus为政企数字化保驾护航

BeeWorks

企业IM即时通讯软件:就选安全稳定、自主可控的WorkPlus

BeeWorks

致远互联2022年度净利9946.37万,研发投入增加;从人出发,人即流程、人即绩效

B Impact

党政军IM私有化搭建,WorkPlus构建军工行业即时通讯安全底座

BeeWorks

FL Studio推出全新21中文版水果工具

茶色酒

FL Studio 21

融云「百幄」系列产品,两组套件、三类价值赋能政企八大业务场景

融云 RongCloud

产品 办公 百幄

即刻下载|连锁零售数字化转型难?领先企业实践助你打开新思路

Kyligence

大数据分析 指标中台

前端监控稳定性数据分析实践 | 得物技术

得物技术

前端 前端监控 客服业务

vue实战-深入响应式数据原理

yyds2026

Vue 前端

一文读懂NodeJs知识体系和原理浅析

coder2028

京东物流实时风控实践

Apache Flink

大数据 flink 实时计算

OpenCloudOS 如何利用 nettrace 进行网络故障诊断

OpenCloudOS

Linux

Zabbix 官方推荐的标签使用准则

北海

运维 zabbix 标签 IT运维 tag

IDM下载器软件2024中文版

茶色酒

idm下载

美团前端经典vue面试题总结

yyds2026

Vue 前端

社招中级前端笔试面试题总结

Geek_02d948

JavaScript 前端

极客时间运维进阶训练营第八周作业

忙着长大#

设备端资源包文件(人脸库,音频库,图片资源等)更新方案——实践类

阿里云AIoT

阿里云 物联网 IoT 对象存储

更专业的出海服务商,融云荣膺 GTC2022 鲸鸣奖「优秀出海服务商」

融云 RongCloud

出海

索信达宣布接入百度文心一言能力 加速推进AI在金融场景落地应用

索信达控股

美团前端常考面试题(必备)

Geek_02d948

JavaScript 前端

架构实战营模块二作业

null

面向复杂业务场景下的低代码平台组件设计与实践分享

百度开发者中心

低代码平台 amis

有哪些前端面试题是面试官必考的

coder2028

JavaScript 前端

从Twitter留言预测用户收入_大数据_张天雷_InfoQ精选文章