写点什么

用机器学习分析流行音乐(一):数据收集和清理

  • 2020-08-10
  • 本文字数:1494 字

    阅读完需:约 5 分钟

用机器学习分析流行音乐(一):数据收集和清理

本文是该系列的第一部分,我将在本文中讲述如何收集流行音乐的数据并清理。 目前,全部代码已经放到了GitHub上


多年来,韩国流行音乐成为一种全球性现象,其流行程度让我感到惊讶。 所以,我决定用机器学习来分析韩国流行音乐,探索有趣的见解。 本文,我将阐述数据科学周期中的数据收集和数据清理阶段。

数据收集

为了找到数据集,我不得不在谷歌上进行了搜索,我发现了一个 Excel 文档,内含针对社交媒体和韩国流行音乐的调查,我觉得很有意思。数据集包含来自世界各地的 240 名韩国流行音乐歌迷,共有 22 个调查问题。


数据集链接:Ranman,Saanjana(2020):KPOP DATA.xlsx. figshare. Dataset.

数据清理

数据清理是重要的一步,因为需要为 EDA 和模型构建提供最干净的数据。如果放进去的是垃圾,那么从模型中得到的也是垃圾。


数据集可能有前导空格和尾随空格。因此,我决定使用函数来删除第一列的“Timestamp”,因为没有用处。


# function to remove the leading and trailing whtte space in the data frame def trim(dataset): # using .strip() to remove the leading and the trailing white spaces in each cell trim = lambda x: x.strip() if type(x) is str else x   return dataset.applymap(trim) 
复制代码


由于列名太长,我决定给它们提供代码名称,以简单地表示列名。



重命名列


接下来,检查数据集是否有空值。



检查空值


有三个列具有空值。首先,让我们检查只有一个空值的列。


我发现 life_chgmoney_src 中的空值是“ n/a ”,因此,我简单地将它们替换为字符串“ none ”。


对于 daily_MV_hr 列,我决定用平均值替换空值。处理空值有多种方法(删除行、分配唯一类或者运行回归模型来预测缺失值等),但我认为用平均值替换它们是最佳选择。


我取了 1 和 4 的平均值,也就是 2.5 小时,去掉了“hours”(小时)这个词。我注意到有些类别在范围内,所以为了简单起见,我取了这些范围的平均值,创建了一个特殊函数来处理这个问题。


# function to find the mean when some have ranges and others don't def split_mean(x): # split before and after the hyphen (-) split_num = x.split("-") if len(split_num) == 2:   return (float(split_num[0])+float(split_num[1]))/2   # those who aren't in the range   else:     return float(x) # apply the split_mean function to the "daily MV hours" column daily_mv = daily_mv.apply(lambda x: split_mean(x)) 
复制代码


该函数用来在一些有范围而另一些没有范围的情况下查找平均值。



清理 daily_MV_hr 列前后对比


我意识到这个数据集有点混乱。所以我重复了类似的步骤来清理每一列。


  • yr_listened ” 列




清理 yes_listened 列的过程


我将展示每个列的清理前后图片。


  • daily_usic_hr ” 列




DAILY_MUSIC_hr 清理前后




yr_merch_spent 清理前后


  • age



age 清理前后


  • fav-grp



原始列值



创建单独的列,以查找每个人喜欢的组数



BTS 与其他(多个)的单独列


  • nes_medium



原始列值



简化的列值


  • pursuit



原始列值



简化的列值


  • time_cons_yn



原始列值



简化的列值


  • life_chg



原始列值



简化的列值


  • pos_eff



原始列值



简化的列值


  • money_src



原始列



简化的列值


  • crazy_ev



原始列值



简化的列值


  • country



原始列值



简化的列值


至此,数据清理完成,我将清理过的数据帧保存为 CSV 文件,以供本教程的下一部分使用。



将清理后的数据帧保存到 CSV


在第二部分中,我将讨论本教程的探索性数据分析部分。


作者介绍


Jaemin Lee,专攻数据分析与数据科学,数据科学应届毕业生。


原文链接:


https://towardsdatascience.com/analyzing-k-pop-using-machine-learning-part-1-data-collection-cleaning-4b407baf7bce


2020-08-10 11:362120

评论

发布
暂无评论
发现更多内容

iuap 助力长久汽车打造“业财一体数字智能化平台”

用友BIP

用友 用友iuap

企业知识管理包括哪些内容?

小炮

知识管理 企业

如何通过 Jira Service Management 打造员工自助服务工具实现高效分布式工作

龙智—DevSecOps解决方案

Atlassian 薪酬估算器 jsm

1-2月热点:度目发布煤矿电子封条解决方案,AI助力生产安全,推进煤矿智能化建设

百度大脑

2022钉钉发布会|云钉低代码新模式、新能力、新机遇

一只大光圈

低代码 数字化 钉钉宜搭 宜搭

火狐浏览器如何设置代理?火狐浏览器代理服务器设置教程

喀拉峻

网络安全

Nacos+OpenFegin正确调用服务的姿势!

王磊

springcloudAlibaba

OpenHarmony 3.1 Beta版本关键特性解析——HAP包安装实现剖析

OpenHarmony开发者

OpenHarmony

在线Js,JavaScript压缩格式化工具

入门小站

工具

【图解数据结构】排序全面总结(上)

知心宝贝

数据结构 算法 排序算法 3月月更

Perforce Helix Core与SVN的较量,谁会赢?

龙智—DevSecOps解决方案

svn Subversion helixcore

Jira API的六种传参方式

FunTester

性能测试 FunTester

Kubernetes 中的对象是如何删除的:Finalizers 字段介绍

Se7en

项目管理中的三约束四职责五过程九领域

踏雪痕

项目管理 3月程序媛福利 3月月更 PMBOK

WebAssembly技术_在Web端运行C与C++程序(ubuntu18.04)

DS小龙哥

webassembly 3月月更

Flutter事件响应源码分析

得物技术

flutter 源码 源码分析 UI 框架

java培训Spring之AOP的案例分析

@零度

spring JAVA开发 aop

第11期直播:解读集群镜像“开箱即用”神器——sealer!

OpenAnolis小助手

技术分享 龙蜥社区 sig 龙蜥大讲堂 集成镜像

重磅发布 丨 阿里云首部 “数智化转型系列丛书”重磅面世!

博文视点Broadview

NFT跨链挖矿软件定制,defi质押挖矿dapp平台搭建

Geek_232be3

系统开发、 TFS挖矿 系统开发 区块链资讯

智慧党建系统开发建设

a13823115807

Linux之yum命令

入门小站

Linux

在线JSON转XML工具

入门小站

工具

Hoo研究院|2022年第一季度发生在区块链行业的投融大事件

区块链前沿News

虎符交易所 虎符研究院

大画 Spark :: 网络(6)-Spark网络中的“四次握手”Executor注册到Driver的过程(硬核)

dclar

大数据 hadoop spark 源码 源代码

链上智能合约dapp系统开发,TRX波场链系统开发

Geek_232be3

DAPP系统开发 区块链资讯

AI+Science系列(一) :飞桨加速CFD(计算流体力学)原理与实践

百度大脑

Flutter 多选底部弹层实现详解

岛上码农

flutter ios 移动端开发 3月月更 安卓开发

自己动手写Docker系列 -- 5.2实现查看运行中的容器

Docker

STEPN游戏系统定制开发需

Geek_232be3

突破地心引力!与KubeEdge一起迈向太空的云原生

华为云原生团队

开源 边缘计算 卫星定位 边缘技术 边缘云

用机器学习分析流行音乐(一):数据收集和清理_架构_Jaemin Lee_InfoQ精选文章