认证概述
腾讯云大数据开发工程师认证(TCP)是针对大数据开发人员的高级技能认证, 通过该认证, 可有效验证您是否具备使用大数据技术及工具进行大数据程序开发, 以及基于腾讯云EMR产品开通、部署和使用Hadoop大数据系统的能力。适用于从事大数据开发的工程师, 需要运用大数据工具进行系统开发的人员。该认证需要学员提前报名, 并在腾讯云官方指定地点进行。
证书样本
TCP认证证书 (2年有效）
通过认证考试将获得由腾讯云发放的能力认证证书, 证明自身技术实力；该证书支持企业通过输入您的姓名及认证编号进行查询, 以辨真伪；同时您的信息也将被录入腾讯系优秀人才库, 帮助您获得更多职场机会。
* 注：随着网络技术的发展, 腾讯云认证内容将不断进行更新或优化, 您可通过再认证, 保证认证信息的有效性, 证书有效期刷新自最近一次认证成绩发布日起计算2年。
考试内容
| 知识域 | 百分比 | 知识点 |
|---|---|---|
| 大数据技术与生态圈 | 5% | 1.1 大数据行业现状 1.2 大数据与Hadoop的关系 1.3 Hadoop设计思想 1.4 Hadoop与Spark生态圈 |
| EMR产品使用与运维 | 15% | 2.1 EMR入门操作与使用 2.2 EMR权限控制 2.3 EMR监控 2.4 EMR扩容 2.5 EMR硬件管理 2.6 EMR参数配置 2.7 EMR数据迁移 |
| Hadoop工具与使用 | 40% | 3.1 HDFS使用 3.2 MapReduce编程 3.3 Hive基础与操作 3.4 HBase使用 3.5 Presto架构与使用 |
| Spark工具与使用 | 30% | 4.1 SparkCore基础与开发 4.2 SparkSQL开发 4.3 SparkStreaming开发 4.4 Kafka基础与开发 |
| 数据挖掘与机器学习基础 | 10% | 5.1 大数据分析基础 5.2 机器学习概念 5.3 机器学习分类 5.4 常见分析模型与算法 5.5 用户画像应用基础与构建 |
考试条件
-
熟悉基本计算机、网络知识；
-
了解Java语言开发；
-
建议参加”腾讯云大数据开发工程师认证培训”课程, 快速具备大数据开发能力, 掌握基于腾讯云EMR产品开通、部署和使用Hadoop大数据系统的能力；
考察能力项
-
大数据基础理解能力；
-
EMR产品使用与运维能力；
-
Hadoop工具使用能力；
-
Spark工具使用能力；
-
大数据技术应用能力；
培训概述
腾讯云大数据开发工程师培训将通过理论精讲与上机实验相结合的方式，系统性地介绍如何使用大数据技术进行大数据程序开发，以及如何基于腾讯云EMR产品在腾讯云平台上开通、部署和使用Hadoop大数据系统。
培训大纲
腾讯云大数据开发工程师培训课程涵盖以下内容：
| 知识模块 | 简介 |
|---|---|
| 大数据技术与生态圈概述 |
1. 大数据与Hadoop概述 2. 腾讯大数据应用案例 3. 大数据行业现状 4. Hadoop设计思想 5. Hadoop与Spark生态圈 |
| EMR产品使用与运维 |
1. 腾讯云EMR产品介绍 2. EMR入门操作与使用说明 3. EMR客户案例 4. EMR权限控制 5. EMR监控 6. EMR扩容 7. EMR硬件管理 8. EMR参数配置 9. EMR数据迁移 |
| HDFS使用 |
1. HDFS概述 2. HDFS架构与组成 3. HDFS操作与API 4. HDFS高可靠保证 5. HDFS与腾讯云COS |
| MapReduce编程 |
1. MapReduce框架 2. MapReduce编程模型 3. MapReduce工作原理 4. 资源管理框架YARN |
| Hive基础与操作 |
1. Hive概述与基本架构 2. Hive环境与基础操作 3. DDL与DML操作 4. Hive系统函数与自定义函数 5. Hive与Sqoop工具 |
| HBase使用 |
1. Hbase基础与架构 2. Hbase数据结构 3. Hbase内置表与读写流程 4. Hbase使用与API |
| Presto架构与使用 |
1. Presto概述 2. Presto整体架构与运行原理 3. Presto Connector 4. Presto常用函数 |
| SparkCore基础与开发 |
1. Spark概述 2. Spark程序与RDD操作 3. 普通型RDD Transformation操作 4. 键值型RDD Transformation操作 5. RDD Action操作 6. RDD共享变量、持久化与依赖 7. Spark架构与运行 8. Tez、Spark与MR对比 9. Spark WordCount演示 |
| SparkSQL开发 |
1. SparkSQL概述与架构 2. DataFrame与DataSet 3. SparkSQL数据源操作 4. SparkSQL自定义函数 |
| SparkStreaming开发 |
1. SparkStreaming概述 2. SparkStreaming运行流程 3. SparkStreaming基础算子 4. SparkStreaming高级算子 5. SparkStreaming案例 6. Spark与Storm区别 |
| Kafka基础与开发 |
1. Kafka概述 2. Kafka架构与关键机制 3. Ckafka API与实战 4. SparkStreaming与Kafka整合 |
| 数据挖掘与机器学习基础 |
1. 大数据分析介绍 2. 机器学习概念 3. 机器学习分类 4. 常见分析模型与算法 5. 用户画像应用基础与构建 |
| 课程实验 |
1. 实验1-Hadoop实验环境准备 2. 实验2-HDFS分布式文件系统 3. 实验3-COS存储系统 4. 实验4-MapReduce分布式计算框架 5. 实验5-Hive数据库表创建和数据加载 6. 实验6-分布式列式数据库Hbase 7. 实验7-Presto数据库表创建和数据加载 8. 实验8-离线日志分析 9. 实验9-Spark内存计算框架 10. 实验10-Spark实战 11. 实验11-Ckafka生产者消费者实践 12. 实验12-EMR集群的运维 13. 实验13-互联网电商日志分析系统实战 14. 实验14-基于用户画像的推荐实战 |
