admin 管理员组

文章数量: 1086019


2024年3月20日发(作者：程序失控)

大数据实训教学大纲

一、实训目标

基于Hadoop为核心，通过实训，达成以下目的：

➢ 认识大数据，认识大数据技术在新时代对企业的重要性。

➢ 掌握 Linux的基础知识与应用

➢ 掌握hadoop集群环境的搭建。

➢ 熟悉HDFS分布式文件系统的原理，掌握HDFS的API的开发。

➢ 通过实际案例的开发，了解MapReduce原理，掌握MapReduce的开发技

术。

➢ 了解Hive，学习Hive集群的搭建。掌握Hive的DML与DDL相关技术。

➢ 认识ZooKeeper，学些ZooKeeper集群的搭建，了解ZooKeeper在

Hadoop集群中的作用。

➢ 了解HBase原理与架构，掌握HBase API编程，掌握HBase数据的导入与

导出。

➢ 通过综合案例实践，掌握Hadoop以及相关框架的开发与应用。

二、实训课程内容介绍

1、 课程大纲

项目实战 技能培训

项目阶段 任务分解说明 任务 说明

项目启动 实习总动员

项目管理培

训

1、学生分组

2、通过案例初步认识大数据

1、Linux简介、安装

2、常用命令

Linux入门

3、文件权限及操作

4、用户及权限管理

5、Linux下搭建Java开发环境

1、Hadoop介绍

2、Hadoop安装配置

Hadoop入门

3、hadoop初始化与测试

4、配置ssh免密码登陆配置与ssh原理

技术速成 技术培训

1、HDFS原理

2、HDFS的shell操作

3、HDFS原理

HDFS

4、HDFS的java接口

5、Hadoop RPC

6、HDFS读取数据过程

1、MR介绍

2、WordCount执行流程与代码编写

Map-Reduce 3、MR排序

4、Combiner编程

5、shuffle过程

1、Hive入门安装

2、DDL数据定义语言

3、DML数据操作语言

4、Hive安装mysql metastore

Hive

5、Hive分区表

6、Hive的UDF

7、倒排索引

1、ZooKeeper介绍

2、ZooKeeper客户端使用

ZooKeeper 3、hadoop集群搭建

4、Hadoop集群测试

1、HBase入门

2、HBaseJava编程

3、Hbase架构讲解

4、MR on Hbase

Hbase

5、Hive on Hbase

6、Hbase集群管理

7、Hbase数据导入

8、Hbase备份与恢复

项目验收准备

1、 制定验收规则

2、 如何制作PPT

3、 如何演说

项目验收、

1、

项目验收与评分

2、 项目关闭：总结项目经验与教训

3、 职业规划

关闭

经验总结

发布总结 项目验收


本文标签： 项目 数据 掌握

版权声明：本文标题：大数据实训方案 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/p/1710899547a578615.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。