大数据行业发展岗位需求分析 32页

'大数据行业发展与岗位需求分析锐捷大学安淑梅TEL:186010054882016.10@广州 大数据概念的由来大1980年未来学家托夫勒在其所著的《第三次浪潮》中就将“大数据”称颂为“第三次浪潮的华彩乐章”。2006年Google率先提出云计算的概念，“大数据”才凸显其真正价值。2008年《自然》杂志推出了名为“大数据”的封面专栏。2009年“大数据”才成为互联网技术行业中的热门词汇。2011年麦肯锡公司发布了关于“大数据”的报告资料来源：云网大数据联合研究院2|www.ruijie.com.cn 大数据的特征速度快（Velocity）数据量大（Volume）•批处理•实时•T8级•多线程•记录和日志•数据流•事务•表文件价值密度低（Value）大数据•统计学5V特征•事务性多样性（Variety）•相关性•假设性•结构化•非结构化•多因素•概率性真实性（Value）•可信性•真伪性•来源&信誉资料来源：云网大数据联合研究院•有效性•可审计性3|www.ruijie.com.cn 大数据关键技术数据收集数据可数据预视化处理数据分数据存析储数据处理4|www.ruijie.com.cn 十三五期间的国家战略习近平总书记在“十三五”规划建议提出：“实施国家大数据战略，推进数据资源开放共享。”国务院发布的《促进大数据发展行动纲要》还明确七方面政策机制。一是建立国家大数据发展和应用统筹协调机制。二是加快法规制度建设，积极研究数据开放、保护等方面制度。三是健全市场发展机制，鼓励政府与企业、社会机构开展合作。四是建立标准规范体系，积极参与相关国际标准制定工作。五是加大财政金融支持，推动建设一批国际领先的重大示范工程。六是加强专业人才培养，建立健全多层次、多类型的大数据人才培养体系。七是促进国际交流合作，建立完善国际合作机制。5|www.ruijie.com.cn 2016-2018年中国大数据市场规模预测6|www.ruijie.com.cn 大数据产业链从商业角度来看，大数据产业链可以用下图表示大数据提互联网企业运营商金融企业数据中间商供者大数据技专业技术服综合技术服大数据云存储术提供者务商务商和云服务商大数据服应用服务提咨询服务提务提供者供商供商数据来涛：全国信息技术标准化技术委员会大数据标准工作组7|www.ruijie.com.cn 大数据产业链从技术角度来看，大数据产业链可以用下图表示大数据存储、管大数据采集理和处理大数据呈现与应大数据分析与挖用掘数据来涛：全国信息技术标准化技术委员会大数据标准工作组8|www.ruijie.com.cn 大数据市场应用分析2015年中国大数据市场行业投资结构中，金融、通信、零售为前三大行业，投资占比分别为16.7%、15.9%和14.0%9|www.ruijie.com.cn 大数据市场应用分析资料来源：云网大数据联合研究院数据来涛：易观智库10|www.ruijie.com.cn 大数据市场应用分析数据来涛：易观智库11|www.ruijie.com.cn 大数据市场应用分析数据来涛：易观智库12|www.ruijie.com.cn 大数据市场应用分析数据来涛：易观智库13|www.ruijie.com.cn 大数据技术参考架构政务商务工业健康金融……信息价值链系统协调者元数据数数大数据应用提供者I据数据元素据T消提数据管理收集预处理分析可视化访问费价供者值者数据字典链大数据框架提供者信安处理框架，提供计算分析批处理交互流处理息交资全互平台：提供数据组织与分布索引存储文件系统源和管通管隐理信理框基础设施：提供网络、计算、私虚拟资源物理资源架存储14|www.ruijie.com.cn数据来涛：全国信息技术标准化技术委员会大数据标准工作组 大数据标准体系框架大数据标准体系架构安全平台行业基础数据管理和隐…工具应用私处大电理互系工工子健参数交数生方监操统具业商康总术考据换据命管法测要……作…级级……大务大…则语架交共集周理指评求大期技产产数数构换享描导估数技术品品据据述据术平预分应平布数用台数数数数开描分质数数数数数数数数台处存元式据分管据据据据放述类量据据据据据据据据基理储析理数计库…元字目交共模方模资资资资资资资资础类产智工据算产能具素典录换享型法型源源源源源源源源设产品工品工产施品具具品15|www.ruijie.com.cn数据来涛：全国信息技术标准化技术委员会大数据标准工作组 2016年大数据各层技术演进方向•在基本趋势方面，大数据厂商和产品的创新开始从基础设施层（服务于开发者/工程师）转移到分析层（服务于数据科学家和分析师）乃至应用层（服务于商业用户和消费者），数据来涛：易观智库16|www.ruijie.com.cn 用大数据的方法进行大数据岗位需求分析17|www.ruijie.com.cn 调研背景国务院日前印发《促进大数据发展行动纲要》，系统部署大数据发展工作。信息技术与经济社会的交汇融合引发了数据迅猛增长，数据已成为国2015/09/0随着大数据的发展，行业对大数据人才越来越关注。家基础性战略资源。坚持创新驱动发展，加快大数据部署，深化大数据应用，已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化本调研希望通过采集数据，得到大数据行业岗位5的内在需要和必然选择。我国首次提出推行国家大数据战略，发布的的相关信息。《中共中央关于制定国民经济2015/11和社会发展第十三个五年规划的建议》提出，拓展网络经济空间，推进数（薪酬待遇、经验要求、学历要求、工作地点分布等）据资源开放共享，实施国家大数据战略，超前布局下一代互联网。此间专/03家认为，这是我国首次提出推行国家大数据战略。18|www.ruijie.com.cn 数据来源在招聘网站采集的内容包含了不同地点近日所需求的大数据岗位条目。单条岗位包含•“岗位名称”•“公司名”•“薪资水平”•“招聘人数”•“经验要求”•“学历要求”•“招聘信息发布时间”•“信息来源”•“招聘信息链接”进入招聘详细信息页面后，采集到红色方块内的信息。并存入数据库。此步骤完成之后，通过“招聘信息链接”到相关网页采集数据。19|www.ruijie.com.cn 分析方法数据采集数据清洗建模与分析结果展示本次分析依赖于对采集到的数据制定分析规则。如将分析得到的结海量数据的采内容进行清理无“岗位种类”分析果通过结果报中，对采集到的数据集，我们利用爬用内容。例如表、柱状图、饼中的“岗位名称”进虫采集到各类网“岗位名称”中行去重判断处理，得状图、云图等进站的招聘信息出现无用符合到岗位种类数据。并行展示。（方法已在前面时，依据事先设利用自然语言语义分做了简要介定规则清除。如析，对企业的“岗位要求”进行分析，得绍），本次分析“行业销售总到词汇云图及相关词基于采集到的部监….”被清洗为频结果。分数据（6800“行业销售总条）监”20|www.ruijie.com.cn 岗位需求通过采集到的企业招聘信息，我们发现企业对这些岗位的需求量是不同的。例如开发类的岗位需求量最多，其次是分析类。岗位需求量前30的岗位14001158120010008007026004404253804002471991702001421341211138783837168635851504242363534323126021|www.ruijie.com.cn 薪酬注明面议14%86%的岗位提出了明确的薪酬范围14%的岗位需要面议决定薪酬明确标出86%22|www.ruijie.com.cn 薪酬分析薪酬百分比薪酬范围——岗位数140028000-3000030000以上0-20002000-40004000-60000-200026000-280003.88%2.79%0.31%3.17%5.47%2000-400012004.04%24000-260006000-80004000-600010005.80%12.02%6000-800080022000-240008000-100006.06%岗位数60010000-1200020000-2200012000-140004006.24%8000-1000014000-1600013.18%20016000-1800018000-2000006.89%18000-2000020000-2200016000-1800010000-120006.62%8.10%22000-2400014000-1600012000-140009.59%5.85%24000-26000薪酬范围23|www.ruijie.com.cn 经验要求近一半的岗位对工作经验并没有要求。3500不限307330003-5年1-3年3-4年25005-10年1年及以上20002年1年以上不限,48%招聘岗位数15003-4年,6%5-7年应届毕业生1-3年,10%10008253年及以上6333-5年,13%5年及以上50036431610年以上2392241901611117970应届生584935174322211108-9年年年年在读学生不限53-3年-410年2年7年-9在读2年1-10年3年2-10年10年1-35-85-年以上应届生2-6-8-年以上1年以上8年及以上10在读学生13年及以上5年及以上4年及以上应届毕业生24|www.ruijie.com.cn 招聘人数3人622人30人810人12人16人33人人人60人2%1%1%1%1%0%0%0%0%5人3%4%20人5%超过一半的招聘2人6%信息招聘时，只招聘一人。1人51%¼的招聘信息招聘时，达到5人。5人25%25|www.ruijie.com.cn 学历要求硕高士,4.20%中,1.30%大专,26.37%64.78%的岗位要求是本科。本科,64.78%26.73%是岗位要求是高职。26|www.ruijie.com.cn 地点分布需求量排名前30的城市50004500438540003500300025002000198115001000124250081271747542441128826419118717814714013797898482796866515038322625220北京上海深圳杭州广州武汉成都南京郑州贵阳苏州重庆西安长沙合肥济南无锡青岛沈阳福州厦门大连天津长春昆明南宁宁波烟台石家庄哈尔滨27|www.ruijie.com.cn 岗位要求关键词利用企业招聘信息中的岗位要求，对所有的岗位要求进行词频分析及相关词汇的统计得到词汇云图及相关词频结果。28|www.ruijie.com.cn 素质要求大数据人才素质类词频29|www.ruijie.com.cn 技术要求大数据人才技术类关键词1600140012001000800词频6004002000Cjsp开发分析设计java处理SparkSQLHive优化linux测试shellhtmlperlphp爬虫SharkStromHbasemysqloraclespring计算机Hadoop数据库python数据挖掘机器学习javascriptMapReduc30|www.ruijie.com.cn 分析结论1产业起步，教育先行，以应对2-3年后的人才需求井喷。2高职大数据专业要加快建设，改变数据人员多数源于本科的现状。3高职学生要加强编程能力，改变重运维、轻开发的观念。4软技能依旧是从事IT行业的重要条件，需要开展项目实战锻炼学生的综合素质。31|www.ruijie.com.cn THANKS星网锐捷网络有限公司地址：北京海淀区复兴路29号中意鹏奥大厦东塔A座11层邮编：100036OfficeTel:010-51715999Fax:010-51413399www.ruijie.com.cn'