admin 管理员组文章数量: 1184232
2024年4月21日发(作者：思科认证考试在哪里考)
大数据开发工程师个人简历
＞个人概况
姓名：
XX
性别：男
年龄：
XX
联系方式：
xxxxxxx
籍贯：
XX
工作年限：
4
年
学历：本科
E-mai1:XXXXXXX
＞求职意向
目标职能：大数据开发工程师
目标地点：北京
工作性质：全职
到岗时间：即时
＞工作经验
工作单位：
XXXXX
有限公司
工作日期：
2016.8-2019.2
工作日期：
2015.3-2016.8
工作职位：大数据开发工程师
工作职位：
JaVa
开发工程师
＞专业技能
1
熟练使用
SparkCoreRDD
算子处理改据，熟悉
Spark
任务提交流程.
2
、熟练使用
SparkSqI
查询数据，自定义
UDF,
熟练使用
SparkStreaming
处理实时数据，熟悉
DataSet
x
DataFream
x
Rdd
三者之间的转化。
3
、熟练使用
M
叩
reduce
处理复杂业务，熟悉
HDFS
的读写流程，熟悉
M
叩
reduce
的
shuff1e
过
程及优化，熟悉
shuff1e
过程的优化手段和
Hadoop
集群搭建。
4
、熟悉
Z
。
OkeePer
的选举机制和监听机制。
5
、熟悉
Hive
架构，使用窗口函数和自定义
UDF
处理数据，熟悉
Hive
优化策略。
6
、熟练使用
F1ume
工具完成日志的采集过滤和分类，使用
Gang1ia
监控工具.
7
、
熟练使用
Kafka
高低阶
API
消费数据，熟悉
KafkaOffsetManager
监控工具。
8
、熟练使用
E1asticsearch
创建索引，利用
AP1
批量保存数据，使用
Kibina
查询
es
索引。
9
、熟悉
MySqI,Mongodb,RediS
数据库的使用。
10
、熟练使用
Sqoop
把
Hive
表数据从
HDFS
导入到
Mysq1
数据库。
I1
熟练掌握常用的
1inux
命令，使用
She11
命令编写
She11
脚本,
Azkaban
完成定时调度。
12
、熟练用
IDEA,Ec1ipse,Git1ab,SVN,Maven,Xshe11
开发工具。
＞项目经验
项目一：西瓜籽
APP
实时分析
开发时间：
2018.05-2019.02
开发环境
：
IDEA+Maven+Git1ab+SQ1yog+Xshe11+CIouderManager
系统
：
SparkStreaming+Hive+Hadoop+Kafka+Redis+Easticsearch+Mysq1+Sca1a
项目描述：西瓜籽是网智天元旗下集影视资讯、电影推荐、粉圈互动、电影评分、明星同款商城等多功能为
一体的
app,
旨在发现粉丝用户的观影行为,引导粉丝消费；利用大数据平台对用户行为进行统计
分析，发展粉丝经济。
责任描述：
1
参与项目需求讨论与架构分析。
2
、实时统计当前活跃用户。
3
、实时统计当前新增用户。
4
、实时统计当前签到用户。
5
、实时统计当前用户下单量。
6
、实时统计当前商品交易总额。
7
、
实时统计电影综合评分。
技术描述：
1
、使用双层
FIUme
架构收集用户日志，分为浏览行为、点击行为、评分行为.
2
、使用
Kafka
实时读取
F1ume
收集的日志信息，存入各个
topic
分区中。
3
、使用
Cana1
工具监控
Mysq1
中订单表，影评表的变化，将增量数据推送到
Kafka
中。
4
、使用
SparkStreaming
消费
Kafka
队列的数据
，
手动维护
offset.
5
、使用
SparkRDD
的
map
、
groupByKey
x
reduceByKey
x
foreachRDD,foreachPartition
等算子
处理消费的数据，分别对订单和影评中的敏感数据进行脱敏、过滤和屏蔽。
6
、使用
Redis
的
Set
集合对用户的
DAU
进行缓存和去重，从
Redis
中取出缓存数据,利用
broadcast
广播变量分发到各个
executor.
7
、使用
SparkStreaming
把订单、影评等数据保存到
E1asticsearch,
使用
IK
分词器分词，建立
倒排索引，方便模糊查询。
8
、使用
ES
的
API
编写查询接口，可以实时查询订单数与收入额、评分集等指标。
9
、对
Spark
性能进行优化，加入
cache
缓存，加入广播变量.
项目二：西瓜籽
APP
数据仓库+离线分析
开发时间：
2017.06-2018.05
开发环境
：
IDEA+Maven+Git1ab+SQ1yog+Xshe11+CIouderManager
系统
：
SparkStreaming+Hive+Hadoop+Kafka+zookeeper+Redis+Easticsearch+Kibina+Mysq1
+Sca1a+JDK1.8
项目描述：采集西瓜籽
App
的启动日志，用户行为日志
，
存储到
HDFS
,通过数据分层，统计活跃用户，
用户留存，签到情况，活动参与，关注明星，影评撰写，社区跟帖等指标。
责任描述：
1
、参与项目需求讨论与架构分析。
2
、统计用户的日活、周活、月活指标。
3
、统计用户留存率变化指标。
4
、统计消费用户转化率指标。
5
、统计影视资讯的评论，点赞，转发量。
6
、统计星守护用户粉丝量。
7
、
统计粉圈顶贴活跃用户
ToP10
。
技术描述：
1
、使用双层
F1ume
完成日志采集，
source
配置
tai1Dir
方式监控日志文件，实现断点续传和
多目录监控，以
fi1e
的形式缓冲在
ChanneI
,保障数据传输的安全，
SinkgroUP
形式实现
F1ume
的负载均衡和容灾备份。
2
、使用
Hive
作为数据仓库存储离线数据，使用
1oad
方式将
HDFS
中的数据导入
Hive
的外部
表中，按日期进行分区，数据存在。
ds（
原始数据层）。
3
、对。
ds
层数据进行空值判断、脏数据过滤
（
SnaPPy
格式压缩
QrC
列式存储,存储在
dwd（
数
据明细层）。
4
、利用
HQ1
对
dwd
中的数据进行统计，建立用户拉链表，订单拉链表，以及用户行为宽表等，
存储在
dws（
数据服务层）。
5
、利用
HQ1
针对拉链表和宽表中的数据统计，计算用户的留存和日活、消费转化率等指标，存
储在
ads（
应用层）。
6
、使用
Sqoop
将
Mysq1
中的事实表和维度表数据同步导入
hive
表中。
7
、
优化
HiVe
查询，解决数据倾斜问题。
8
、使用
azkaban
上传
jar
包和脚本文件，配置
she11
脚本之间的依赖关系，定时执行任^
项目三：网智天元大数据企业服务平台
开发时间：
2016.05-2017.03
开发环境
：
IDEA+Maven+Git1ab+SQ1yog+Xshe11+Tomcat+Kibana+JDK1.8
系统：
Spring+SpringMVC+Redis+MongoDB+Kafka+SparkStreaming+E1asticsearch
项目描述：该项目是通过数据集市和网络爬虫两方面结合，搭建企业信息直询平台，为银行提供第三方数据
查询服务接口，为公司金信鸽风控项目提供企业数据。
责任描述：
1
参与项目需求讨论与架构分析。
2
、参与平台框架搭建。
3
、负责各个数据合作商的接口测试与对接.
4
、对网络爬虫数据进行过滤、清洗。
5
、与后端进行联调。
技术描述：
1
、设置查询条件,
Httpc1ient
发送
GET
请求访问第三方数据接口，返回
json
数据，将
json
数
据存入
mongodb
数据库。
2
、对
mongodb
数据库中的数据推入
Kafka,
利用
Kafka
拦截器判断空值，把直询条件同步到,
同步到
Redis
e
3
、网络智能机器人配置网站采集模板，定向爬取启信宝,天眼查公示的数据，网络爬取企业年
报，推入
Kafka
中。
4
、使用
Sparkstreaming,
消费
Kafka
中的数据,形成
RDD
,将
RDD
进行转化，过滤空值，
groupBy
分组等操作，最后推入
EIasticSearch
中.
5
、利用
,
利用
E1asticsearch
的
API
,将各个索引封装成接口服务。
项目四：假日旅游监测系统（后台开发）
开发时间：
2015.07-2016.03
开发环境
：
IDEA+JDK1.7+Tomcat7+Mysq1+SQ1yog+Maven+SVN
系统架构
：
Spring+SpringMVC+Mybaits+Mysq1+Quartz+Ajax+jQuery+Shiro+JSP+Freemarker+B
ootstrap
项目描述：该项目是针对国家法定节假日，统计北京各个区县的景区、酒店、旅行社以及民航铁路高速公路
单位的日客流量和营业收入，对基层用户进行短信提醒，上报、催报、补报数据，实时监控数据
变化，图表展示，生成报告。
责任描述：
1
、负责景区、酒店模块开发。
2
、负责短信提醒和数据上报模块开发。
3
、负责项目
bug
修改与线上部署。
4
、参与项目上线用户培训.
技术描述：
1
采用
Spring,SpringMVC,MybatiS
作为底层架构。
2
、使用
ifreechar
展示各个区县今年与去年的客流量与收入占比。
3
、使用
Shiro
实现后台管理模块的导航栏菜单的权限化。
4
、使用
QUartZ
定时发短息通知基层用户上报数据。
5
、搭建
Freemark
定制报告模板
，
提供报告下载功能。
版权声明：本文标题：求职简历模板大数据开发工程师3年 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/p/1713636593a644580.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论