写论文，没数据？R语言抓取网页大数据！

引言  纵观海表里，大数据的市场成长迅猛，当局的扶持也到达了空前的力度，甚至将大数据纳入成长计谋。如此形势为社会各界提供了许多机会和挑战，而我们作为卫生(医学)统计规模的一份子，更要掌握好时机。放眼全球，大数据的应用局限仍在一连扩张，险些每个行业都将眼光对准了大数据背后的庞大代价。将来五到十年，是我国推进大数据成长的要害时期，打造高效的大数据应用机制和财富链迫在眉睫。
按照当前大数据行业成长的阐明，我们着手大数据不妨从“可视化数据抓取”开始思量。这里提到的可视化数据抓取，主要指对互联网网页数据的抓取，这样可以实现大数据应用的平民化。当前我们已经可以通过浅易的网页数据抓取东西，对其所需的网页数据举办抓取，如某知名网页数据抓取东西“**收罗器”(收费)。已有的互联网数据抓取、处理惩罚、阐明，挖掘软件，可以机动迅速地抓取网页上狼藉漫衍的数据信息，并通过一系列的阐明处理惩罚，精确挖掘出所需数据。这样带来的高效、便捷僻静民化是不问可知的。
本日小编作为大数据行业的一员，基于广受接待的R软件，给各人先容如何实现网页数据抓取技能。对，是R！它除了强大的统计阐明成果，其网页抓取的本领也是不行小觑的，尤其是Hadley写的R包rvest，可谓把巨大的工作简朴化。利用R语言举办网页数据的抓取，较大的优势在于获取数据后强大的数据处理惩罚、阐明以及可视化成果。
R语言实例  下面以rvest包抓取广州的氛围质量数据为例举办讲授。
网页数据如下图：

#加载措施包library(rvest)#找到要抓取数据的网址url=”http://www.pm25s.com/guangzhou.html”#理会网址内容web= read_html(url,encoding=”UTF-8″)#截取如上图氛围质量数据aqi=web %>% html_nodes(“span”) %>% html_text()#留意！许多伴侣在这一步会呈现乱码的环境aqi=aqi[8:127]#将截取的数据整理成数据框aqi=matrix(aqi,ncol=10,byrow=T)aqi=data.frame(aqi)for(i in 1:ncol(aqi)){aqi[,i]=as.character(aqi[,i])aqi[,i]=gsub(“\””,””,gsub(“\\n”,””,aqi[,i]))}names(aqi)=aqi[1,]aqi=aqi[-1,]aqi
假如一切正常，将会呈现如下功效：

至此，已经实现了R软件对网页数据的抓取，后续可以对氛围质量指数做时间序列以及空间漫衍的展示，虽然上述仅仅是大数据的皮毛，尚有许多对象可以摸索并拓展。好比，针对网页数据的抓取，若能实现动态及时抓取，才会发挥大数据的代价。
竣事  学会了上面的小技术，大数据应用不再是纯真的喊喊标语！虽然，可以实现网页数据抓取的软件尚有许多，好比python、sas、Excel等等，有乐趣的伴侣可以恣意实验。美国市场研究公司IDC宣布陈诉显示，全球大数据技能及处事市场在2016年将达238亿美元，激活我国大数据的资产代价，开启大数据新生态的方针仍需社会各界的配合尽力！
参考文献：http://www.thebigdata.cn/JieJueFangAn/28914.htmlhttp://blog.163.com/stephan_sly/blog/static/2569200132016010248660/
接待插手本站果真乐趣群贸易智能与数据阐明群乐趣范畴包罗各类让数据发生代价的步伐，实际应用案例分享与接头，阐明东西，ETL东西，数据客栈，数据挖掘东西，报表系统等全方位常识QQ群：81035754