MIT做了一个全自动的大数据分析系统的讲解

在众多学习中，文章也许不起眼，但是重要的下面我们就来讲解一下！！

 信息爆炸引爆了大数据时代的到来，前一两年大数据到达了炒作的高峰，而马云则称今后 30年 属于数据技术（DT）。但是最近一段时间大数据似乎没有那么大的动静了，这固然有技术炒作周期曲线的规律作用，也跟大数据遭遇到的一些瓶颈有关。
这个最大的瓶颈之一便是人。隐藏在大数据里面的模式挖掘很长程度上需要依靠人的建模和直觉，但是数据科学家的数量却跟不上大数据的规模发展。不过 MIT 正在为打破这个瓶颈而努力，其研发的一款名为 Data Science Machine（数据科学机器）的软件实现了无人参与下的大数据分析，经过对比发现，其表现已经与数据分析师不分高下。oracle数据库教程

经李克强总理签批，2015年9月，国务院印发《促进大数据发展行动纲要》（以下简称《纲要》），系统部署大数据发展工作。

 

《纲要》明确，推动大数据发展和应用，在未来5至10年打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。

 

《纲要》部署三方面主要任务。一要加快政府数据开放共享，推动资源整合，提升治理能力。大力推动政府部门数据共享，稳步推动公共数据资源开放，统筹规划大数据基础设施建设，支持宏观调控科学化，推动政府治理精准化，推进商事服务便捷化，促进安全保障高效化，加快民生服务普惠化。二要推动产业创新发展，培育新兴业态，助力经济转型。发展大数据在工业、新兴产业、农业农村等行业领域应用，推动大数据发展与科研创新有机结合，推进基础研究和核心技术攻关，形成大数据产品体系，完善大数据产业链。三要强化安全保障，提高管理水平，促进健康发展。健全大数据安全保障体系，强化安全支撑。^[8] 

 oracle视频教程

2015年9月18日贵州省启动我国首个大数据综合试验区的建设工作，力争通过3至5年的努力，将贵州大数据综合试验区建设成为全国数据汇聚应用新高地、综合治理示范区、产业发展聚集区、创业创新首选地、政策创新先行区。

 

围绕这一目标，贵州省将重点构建“三大体系”，重点打造“七大平台”，实施“十大工程”。

 

“三大体系”是指构建先行先试的政策法规体系、跨界融合的产业生态体系、防控一体的安全保障体系；“七大平台”则是指打造大数据示范平台、大数据集聚平台、大数据应用平台、大数据交易平台、大数据金融服务平台、大数据交流合作平台和大数据创业创新平台；“十大工程”即实施数据资源汇聚工程、政府数据共享开放工程、综合治理示范提升工程、大数据便民惠民工程、大数据三大业态培育工程、传统产业改造升级工程、信息基础设施提升工程、人才培养引进工程、大数据安全保障工程和大数据区域试点统筹发展工程。oracle视频

Data Science Machine 由 MIT CSAIL 的 Max Kanter 和他的指导老师 Kalyan Veeramachaneni 等人设计。其关键突破是它不仅会寻找模式，还会自己设计特征集。学机器学习的人都知道特征工程的重要性。特征工程是指利用数据的领域知识来创建特征以便让机器学习算法可以工作的过程，这个过程往往需要人的直觉。而 Data Science Machine 却利用了关系数据库的不同表间的结构化关系作为线索来进行特征构造，从中生成一批候选的特征集，然后再通过分析值的相关性来缩小特征集的范围，从而免去了人的参与。然后，Data Science Machine 还会把这个特征集运用到样本数据上，再用不同的方式重新组合特征来优化预测的准确率。
为了测试这套系统的第一款原型，研究人员让它参与了三项数据科学方面的竞赛，竞赛的目标是在不常见的数据集中寻找出预测性的模式。三场竞赛供有 906 支队伍参加，Data Science Machine 的成绩比其中的 615 支队伍都要高。
在准确率方面，Data Science Machine 在其中两场竞赛的准确率分别达到了 94%和 96%。另外一场的准确率略低，为 87%。但是效率方面却是人类不能比的，因为 Data Science Machine 得出结果用时在 2-12 小时之间，而人类团队的预测性算法往往要折腾数月的时间。Oracle培训
目前 Data Science Machine 已能对哪些学生有可能退出 MIT 的在线课程做出分析，它选出的两个特征分析学生开始写作业时间的早晚，以及在网上学习课程的时间长短。尽管这种能力看起来还不够强大，但是这只是开始，一旦机器具备真正的自我学习能力，在计算能力指数增长的作用下，其进化速度将是我们难以想象的。
更多视频课程文章的课程，可到课课家官网查看。我在等你哟！！