大数据行业人才现状剖析：增长背后的培养困境与需求解析？

1 大数据行业人才现状

1.1 行业概况

大数据技术进步很快，国内相关产业正逐渐形成体系并扩大规模，从业者数量显著增加，岗位也在不断更新，新出现的职位和所需能力受到广泛关注，许多大学和教学机构因此增设了相关学科和课程来满足市场需求。这个领域创建时间不长，对技术能力的要求很高，所以大数据行业人才培育工作面临一些问题，比如培养目标不够清晰，服务领域不明确，课程设置缺乏针对性，以及职业岗位的匹配度较差。因此，了解大数据行业人才的实际状况，并制定出合适的培养计划，已经变成人才需求方和供给方都急需解决的事情。

依据清华大学软件学院发布的《2020 顶级数据团队建设全景报告》内容，全国数据行业相关岗位中，吸纳人员最多的五个类别依次为运营岗、数据岗、产品岗、开发岗和网络岗，其中运营岗占据职位总数的四成七五，数据岗占比两成七三，产品岗比例大约为一成零八，具体情况参见图一。

图 1 大数据相关职位在招数据占比

在人才岗位领域，数据从业者挑选工作时，数据分析师是最受青睐的岗位，其选择比例高达46.7% ，显著领先于位列第二的商业分析师，后者占比为23.3% ，前者是后者的两倍还多；分析助理是第三选择，占比如6.8% 。参见图2。

图 2 大数据行业专业职位在招占比

数据科学经理是所有工作岗位上扩张速度最快的领域，其年增长率高达18.1% 。紧随其后的是高级数据科学家，其扩张速度位列第二，增幅为17.2% 。数据科学家同样表现不俗，位居第三，增长幅度达到16.1% 。在所有数据相关职业中，前九名的岗位扩张率都超过了10% 。具体情况如图3所示。

图 3 大数据行业专业职位增速

1.2 需求侧人才培养主流方案

大数据领域职位持续增多，公司对专业人才的需求不断上升，然而人才供给依然无法满足需求。部分顶尖互联网公司为满足自身发展需要并构建完善的企业环境，纷纷启动了内部人才培养方案，明确了通过网络课程学习、获取资格认证、加入公司、融入企业体系、不断提升能力的人才发展路径。该课程安排以网络形式为主，核心围绕公司自身的体系，重点讲述本机构研发或应用的数据分析系统、数据编程软件等。职业资格认证大致可以分为两种类型，一种是专门认证，另一种是通用认证；专门认证主要是为了证明个人掌握某项专门的技术能力；通用认证则从两个角度进行区分，一个是专业领域，一个是水平级别；专业领域包括云计算、大数据、物联网、人工智能等多个方面；水平级别则分为初级、中级、高级三个层次；这种认证方式旨在证明从业人员有能力胜任相应领域的特定职位。这类培训项目主要面向商业伙伴，旨在培养专业人才，帮助他们构建公司环境下的系统布局，同时减少资源消耗，增强管理效率和服务质量。

1.3 供给侧人才培养主流方案

2016年，教育主管机构将“大数据技术与应用”设定为一个新的学科门类。到目前为止，全国已有1355所职业技术学校获批开设此专业。根据教育主管机构发布的《普通高校本科专业备案与审批情况通报》，2017至2019年间，与大数据相关的学科门类在新增专业数量统计中位列前茅。这些大数据相关学科的课程设置以培养专业型与综合型人才为基本目标。其中，大数据学科的课程主要划分为基础理论类和技能应用类。基础理论类课程涵盖：数据仓库的基本概念、网络化并行计算方法、数据存储原理、智能计算与自动化技术等；技能应用类课程则包含：海量信息获取方法、数据系统构建技术、信息深度挖掘方法、系统运行维护工具及配套知识。

二零一九年一月，国家政府公布《关于国家职业教育改革的具体执行计划》，其中包含了“学历证明加上若干职业能力等级证明”的推行举措，在学历教育证明之外增加了技能等级证明的“1+X”证明体系，倡导学生在完成学历教育后获取技能等级证明，借助技能等级证明来确立职业目标，促进供给端与需求端的人才匹配。围绕行业与企业对人才的需求，建立课证结合的学科框架，该框架以“1+X”资格认证模式为根基。学科框架的制定参照了合作公司的职业资格标准。以华为公司为例，其三级职业资格架构如下：

HCIA（初级）、HCIP（中级）、HCIE（高级）。该课程体系将课程划分成六个模块，分别是公共素养、基础能力、专业能力、综合能力、拓展能力与创新能力。基础能力单元与专项能力单元相匹配 HCIA（入门级）知识体系，综合能力单元对应 HCIP（进阶级）知识体系，发展能力单元对应 HCIE（顶尖级）知识体系。学员在各个学习时期能够挑选相应层级的考核，进而获得对应的职业资格证明，增强个人求职竞争力。当前网络领域领先公司启动的“1+X”项目试点课程包括，百度专注于图像识别技术的开发实践，腾讯着力于云平台的使用指导和视觉呈现设计，阿里巴巴开展数据挖掘及运用、云技术构建与维护，华为则进行智能处理系统的开发实施、网络架构的搭建及管理维护。

2 标准主要内容

工信部公布的《2020 年第三批行业标准制修订和外文版项目计划》中，明确将《大数据从业人员能力要求》( 项目号 ：2020-1792T-SJ) 行业标准纳入立项范围。中国电子技术标准化研究院根据这个项目，制定出《大数据从业人员能力要求》这项标准，该标准在 2021年8月21日公布，标准编号是 SJ/T 11788—2021，并且从 2021 年 11月 1 日起开始执行。

SJ/T 11788—2021《大数据从业人员能力要求》阐述了大数据从业者应具备的岗位能力标准。该标准以大数据领域的技术参考体系、业务模式及实践法则为依据，将大数据领域的从业者划分为六大岗位类别，具体包括数据处理岗、数据分析岗、系统管理岗、数据管理岗、安全防护岗以及服务支持岗。

根据大数据行业的发展趋势和职业成长的普遍特点，将工作人员的职业级别设定为三个层级，分别是基础、中级和顶尖。从知识储备、技术水平和实践经验这三个方面，明确了大数据领域工作人员所需具备的核心素质。依据这些素质标准对工作人员进行评级，评定的结果能够为人员能力提升、职业规划等相关事务提供参考。

2.1 《大数据从业人员能力要求》主体内容

《大数据从业者能力标准》整体框架涵盖四个章节，分别为工作角色界定、整体职责概述、具体技能标准以及考核方式，如图四所示。

图4 《大数据从业人员能力要求》主体内容

依据大数据领域的知识体系、产业模式及实践法则，规范将从事该行业的人员划分为六大职业路径，分别是数据运算、数据维护、数据研判、系统建设、安全防护、服务支持。针对不同职业路径的人才需求，每条路径都对应特定的职位，具体内容参见表 1。

表 1 职业种类

依据职业类别区分，结合大数据产业演进状况及从业者职业成长实际路径，把从业者职业层级设定为三个层级，以此作为评估从业者能力的标准。只要从业者能力达到岗位能力标准，便可在同一层级岗位内进行横向流动和职务提升。组织可以参照自身实际，依照行业特点细化标准并转化为具体数值，参见表 2。

表 2 职业等级要求

2.2 大数据人才岗位能力要求解读

2.2.1 数据采集工程师

数据采集是数据分析与处理的基础环节。数据采集人员依据能力分为初级、中级、高级三个层级，不同层级对所需掌握的学识技能及实践经验有明确规范。

初级数据采集工程师需要具备相关工作经验或实习背景,要求熟悉网络爬虫,了解离线与实时数据获取技术,掌握关系型与非关系型数据库的基本使用,懂得数据检索,具备分布式计算等基础理论。掌握必要理论，初阶数据搜集人员必须能依照工作上的要求去搜集资料，可以调整资料形态；资料在应用时，须能按其特性进行归纳，并且能够借助互动式查询工具来生成统计文件，同时也能绘制各种图形来进行呈现。

中层数据采集工程师的标准比初层数据采集工程师更高，需要具备数据采集项目的工作履历。必须掌握的专业技能涵盖系统设置、数据存储规划、数据描绘、数据不均处理和数据分割等。

专业能力标准中，除了初级数据采集师必须具备的素养外，还需能依据工作需要协助规划数据转移计划，可以拟定执行安排，并且要借助运算工具来提升信息检索速度等。

高级数据采集工程师需要拥有充裕的数据采集项目实践经验，必须熟练掌握调度机制原理、数据算法规划、数据分片与缓存、数据加盐等核心的数据采集知识。对专业能力也有很高标准，要求能够依据业务及性能要求规划消息传输和推送机制，能够深入计算引擎对底层代码进行改进以增强查询效率等任务。

2.2.2 数据标注工程师

数据标注是指借助专门软件对图片、文字等资料进行加工的活动，从事这项工作的人员分为初级和中级两个层次，不同层级的人员在所需掌握的学问技能以及从业经历方面有具体规定。

从事数据标注工作需要具备相关经验或实习背景,熟悉计算机操作系统、网络、信息安全、数据库、机器学习等基本知识,能够理解数据调研、数据采集、数据归类涉及的存储技术,擅长分析整理文本、图片、视频等基础数据,可以高效完成精确的数据标注任务。

中级数据标注工程师除了拥有初级数据标注工程师的所有技能外，还必须拥有数据标注相关项目的实践经验。在专业理论方面，需要精通统计学、大数据技术、判别分析等知识。在专业技能方面，要求中级数据标注工程师能够熟练执行数据脱敏操作，完成数据格式转换，并且能够进行精确的标注工作。

2.2.3 数据开发工程师

数据开发人员被划分为初级、中级和高级三个层级，每个层级都有特定的专业能力、业务技能以及工作经验标准，具体如下。

初级数据应用开发工程师需要具备数据开发相关的工作履历或实习经历,要熟悉软件开发、数据通信、数据缓存以及消息中间件等领域的知识,在专业技能方面,应该对系统架构有基本的认识,能够设计组件之间的交互方式,并且可以改进系统数据库表的布局。

中级数据应用开发工程师需要拥有处理数据业务应用项目的实践经验,应该熟悉大数据系统各个构成部分之间的衔接以及配套的检测方法。在专业能力方面,要能依据不同系统间的对接关系来执行数据调用、编写程序代码,同时要能按照产品业务方面的要求来设计相应的系统功能。另外,在系统检测环节,必须具备对数据系统实施黑盒检测和白盒检测的技能。

高级数据应用开发工程师应该拥有充裕的数据业务应用项目经验，需要熟悉分布式算法、计算引擎技术以及测试工具开发等技能。在专业能力方面，高级数据应用开发工程师不仅要精通算法构建存储，还要负责规划各项组件接口规范和系统测试方案，同时必须具备实现分布式并行算法的水平。

2.2.4 数据管理工程师

数据开发人员依据能力分为初级、中级和高级三个层次，不同层级对所需具备的理论知识、实操能力以及从业经历均有具体规定。

初级数据管理工程师需要具备数据管理相关的实践经历或工作背景,要明白相关数据规范,并且熟练掌握数据来源追踪、数据准确性、数据保护、数据规范执行等数据管理方面的内容。

在专业能力方面，对数据资料整个管理流程有相当掌握，对资料品质检验有初步认知，并且依照当前国家及行业相关规范，在资料保护领域拥有实际操作技能。

中级数据管理工程师应当拥有数据管理、数据应用相关项目经验，需要掌握数据架构、主数据管理、数据目录管理、数据生命周期等专业知识，能够独立开展数据治理体系规划，制定数据标准管理制度。此外，在数据资产管理规则、数据驱动的信息解决方案和融通赋能方案方面，也具备个人专业见解。

高级数据管理工程师需要拥有处理大型复杂数据管理项目的实践经验，并且参与过行业数据应用场景库的构建或行业数据应用标准的拟定过程。高级数据管理工程师对专业知识和专业技能的要求也很高，必须具备关于大数据管理系统全局规划、大数据产品改进、大数据应用情形等方面的充分知识积累。专业能力方面，需掌握大数据系统的构建方法，规划技术方向和具体准则，善于融会贯通各领域学识，达成跨单位的信息互通。

2.2.5 数据管理评估师

数据管理人员分为初级、中级和高级三个层次，不同层级对所需掌握的业务知识、实操能力以及从业年限有具体规定。

初级数据管理者必须拥有数据维护方面的实践经历或职业背景,要掌握数据管理能力成熟度评价体系(简称"DCMM")的内涵,应对该评价体系进行深度钻研。

依据数据管理能力成熟度评价规范及机构具体要求来划定考核界限，同时可以阐释 DCMM 的内涵，有助于组织开展 DCMM 的自我审查活动。

数据管理评估的中级专业人员需要拥有与数据评估有关的项目经历。除了初级数据管理评估人员所掌握的知识和技能之外，还必须熟悉数据治理方面的内容，并且可以单独负责DCMM的调研交流、系统构建等相关任务。

资深数据评定专家需要拥有充裕的数据评定项目履历。在专业学问层面，除了必须掌握 DCMM学问及数据治理学问外，还须拥有企业在数据管理进步过程中的策略整体规划能力，以及成熟度模型的优化能力。

2.2.6 数据建模工程师

数据建模师依据资历分为初级、中级和高级三个层级，不同层级对所需掌握的学识技能以及从业经历有着明确的规定。

初级数据建模工程师需要拥有数据建模相关工作经验或实习背景,应具备计算机网络、数据库、概率统计等基础理论素养。此外,在专业技能层面,要懂得大数据的预处理和分析方法,对主流数据库系统有清晰认识,并能熟练运用常见开发语言及数据挖掘软件,同时要求能够依据业务发展动态调整数据模型。

中级数据建模工程师需要拥有相关的项目实践经验，熟悉数据仓库、数据湖、维度建模、数据压缩等理论。还应该能够灵活运用这些知识，根据业务需求来改进数据模型。

资深数据架构师需要拥有充裕的数据架构实践经验,对数据中枢的规划、数据预处理环节、句法结构分析等理念有深刻理解,可以带领初级或中级技术人员开展数据架构任务。

2.2.7 数据分析工程师

数据分析师职业体系包含初级、中级、高级三个层级，不同层级对所需具备的学识技能以及从业年限有具体规定。

初级数据分析岗位需要应聘者拥有相关领域的工作或实习背景,熟悉 BI 工具、前端开发技术、数据可视化平台,掌握数据清洗方法、数据库使用技巧和统计分析原理。实际工作中,能够针对具体业务情形撰写数据分析报告,并且可以依据业务要求,进一步深化对分析事项的认识程度。

中级数据分析工程师需要拥有相关的数据统计与分析项目经历，并且要了解商业、政务、工业大数据等领域的分析实践。这个职位的从业者除了要掌握初级数据分析工程师的基本要求外，还必须深入理解模型训练、模型估计和模型部署等核心技能，能够根据具体情况挑选恰当的评价指标来验证和优化模型，同时还能运用编程语言完成模型的部署和重构工作。

高级数据分析工程师需要拥有充裕的数据统计与分析项目经历，高级数据分析工程师所需掌握的知识技能涵盖数据挖掘算法、机器学习、图计算、语义分析等方面。工作中要能够依据业务特点确立适宜的挖掘模型评估标准，能够引导初级工程师实施对挖掘模型的部署和改造等任务。

2.2.8 数据系统工程师

数据系统工程师分为三个层级，分别是初级、中级和高级，不同层级对所需的专业学问、业务能力以及从业经历有着不同的标准。

初级数据系统工程师需要拥有数据维护相关的工作经验或实习背景,应该熟悉计算机硬件和软件的维护设置,还要对大型数据系统的基础操作、数据管理系统的使用、灾难恢复和备份有一定的了解。此外,要求在岗位上能够按照系统建设计划来配置相关硬件和软件,并且可以依照灾难应对方案执行系统的备份和迁移任务。

中级数据系统工程师需要拥有数据维护相关项目的实践经验。应熟悉网络技术、服务器底层设置、云技术、虚拟化控制和灾难恢复管理等技能。工作中能依据软硬件布置计划实施自动化安装，也能针对问题编写自动化管理程序。

高级数据系统工程师需要拥有充裕的巨型数据管理项目经历。除了初级和中级岗位所需的知识技能，还必须精通流量分配、联合集群、事故切换等学问。同时能够依据系统实施计划拟定硬件支持、参数设置及增容计划，并且可以针对故障事件进行回顾分析，制定风险规避措施。

2.2.9 数据安全工程师

数据安全领域的从业者被划分为初级、中级和高级三个层级，每个层级对从业者应当具备的学识、操作能力以及从业经历都有具体的规定。

初级数据安全工程师需要拥有数据安全领域的工作经验或实习背景,要熟悉网络安全、信息安全、数据安全等安全领域的知识,同时需要深入理解网络攻防、信息安全事件、个人信息安全等内容。在专业技能方面,要能够定期开展漏洞扫描和渗透测试,修复安防系统中的漏洞问题,并且需要具备系统升级和维护的能力。

中级数据安全工程师需要拥有数据安全维护相关项目的实践经验,除了初级数据安全工程师所要求的知识技能,中级数据安全工程师还必须熟悉数据安全保存、处理、研究以及安全设备产品的知识,同时能够熟练运用网络布局、防火墙相关技术

高级数据安全工程师需要拥有大量的数据安全项目实践经历，同时还要对安全准则和突发事件处理方面有透彻的了解。能够制定常见的网络攻击手法及相应的防护措施，熟悉网络攻击者渗透、网络应用安全、系统防护、渗透测试和事件处理工作，并且能够对业务计划进行安全检查，提供安全指导以及方案规划建议。

2.2.10 数据咨询师

数据咨询师分为中级和高级两类，不同层级对知识储备、能力素质以及从业经历有具体规范。中级咨询师应当拥有数据咨询领域的实际项目经历，需深入掌握大数据行业应用场景、技术架构、基础理论以及产业动态，可以和项目团队共同开展市场调研工作，能够完成产品展示并说明产品功能，同时要依据客户交流意见编写需求文档。高级咨询师则需要在更广泛领域具备深厚积累，包括行业发展趋势研判、复杂问题解决方案设计等能力，并且要能指导团队工作并参与重要客户沟通。

高级数据顾问需要有充裕的数据咨询项目历练。在具备中级数据顾问所需的专业能力基础上，还必须精通项目统筹、云端计算发展动向、微服务搭建、技术团队培育、数据管控等领域的学问。工作技能上需能与业务部门协作，发掘客户需求，提供应对方法，主动研究市场动态，就市场方针给出意见，依据数据资料引导业务推进，改善工作流程，还要规划技术员和初级工程师的技能提升方案等。

3 结语

SJ/T 11788—2021《大数据从业人员能力要求》是一项行业标准，它把每项岗位能力标准都和相应岗位在企业里的具体工作内容对应起来，符合当前中国企业的实际发展需要，有助于大数据行业的持续发展，也为试点区域的业务管理和技术人才培养提供了坚实的专业依据。

作者：中国电子技术标准化研究院 李艳杰 方正汉 郑雨薇