数据架构师

女 | 1985.05 | 188-8888-8888 | email@jianli1.com |广东省珠海市

基础信息

教育经历

学历:本科

学校:郑州大学

专业:水声工程

身体状况:健康

郑州大学

水声工程

2014.09 ~ 2018.06

本科

主修课程:声学原理与噪声控制、水声学基础、振动理论及其在工程中

的应用、信号处理、数学物理方程、振动和声学问题计算、水下噪声

学、近代试验技术、线性系统理论、最优估计理论与系统辨别、离散随

机信号处理、声学原理、数字信号处理、噪声与振动控制技术基础、信

号检测与估计理论。

求职意向

意向城市:广东省珠海市

工作经历

技能列表

中国能源建设股份有限公司

2018-2-1 ~ 2020-7-1

数据架构师

Solr

编写并使用 Flume-SDK 完成数据采集及上传。

使用原生的 Flume-NG+Kafka 完成数据接收。

编写并使用具体的 Kafka-Consumer 代码完成数据存储。

使用 sqoop 完成关系型数据库数据向 hdfs 的导入。

建立对应的 hive 表,以便于使用传统的 sql 完成简单的数据查询、

bi 报表等操作。

Hbase

Hadoop

Spark

使用 Spark 完成实时数据分析。

使用 impala 和 spark 完成对生成广告数据、游戏运行数据统计报

表的统计优化。

使用 spark-streaming 完成基于时间窗口的准实时数据统计。

使用 oozie 和 azkaban 完成定时任务的管理和发布。

自我评价

技术全面,创新意识,思路清晰,5 项专利,一

项软件著作权,有很强的沟通能力和团队建设

能力

中国建设银行股份有限公司

2020-8-1 ~ 2023-1-1

数据架构师

xx.3.1-20xx.10.14 杰比达香港有限公司杭州代表处船务做单证、

物流方面的操作,审单、订舱制单、跟踪、交单、结款等。

负责整个公司的单证事务,与货代、财务紧密沟通,确保每个月的

月中月尾按时结账。

项目经验

能源建设相关项目

2018-2-1 ~ 2020-7-1

中国能源建设股份有限公司

数据架构师

背景: 总部供应链部门以数字化转型为抓手,对下属集团采购部

门的运营情况,进行采购分析,如:按部门,供应商,类别,SKU 等多

种维度,统计 降本金额,降本率,满足率等等,为将来的管理决

策提供有力的数据支持。

技术架构设计与实现(包含数据对接,数据清洗,数据展示)

详细需求分析,沟通讨论需求中的疑问,确定最终逻辑实现方案

项目风险控制

定制下属产业数据对接规范

设计数据仓库管理规范

解决疑难问题

建设银行相关项目

2020-8-1 ~ 2023-1-1

中国建设银行股份有限公司

数据架构师

大数据架构采用:Hadoop+Hbase+MongoDB+Hive+Lucene+Loki+Oracle。Java 项目采用:Struts2+MongoDB+Lucene+烽

火的大数据查询中间件+OracleSQL,还使用了 ECharts。该项目是由南京烽火 2000 人的团队做了好几年的系统,有 6、7 个大工

程模块,每个模块 1G 那么大。我们主要是把系统进行二次开发,定制化卖给国外的政府部门的客户。主要用来记录监控用户上网行

为,接入数据后,我们每天产生的邮件,webmail 协议、SMTP/POP 协议、HTTP 协议、IM 协议等等,上网的账号、QQ 聊天记

录,都可以被我们的系统拦截捕获到,然后按照不同的维度去查询展示数据。解决现场多 DBN 数据库分库、分表分发导致的短信数

据重复问题,在每一个从 DBN 库写一个 Oracle 触发器,基于 insert 级别的触发器,短信数据插入前,检查数据是否重复,重复就

delete 掉之前的重复数据,并将重复数据保存到一个表里面,再在每个从 DBN 利用 JDBC 创建视图,视图带上每个从 DBN 的 ip 地

址,通过一个 Quartz 定时器定时查询视图每个从 DBN 的重复数据,拼成批量删除的 delete 语句去其他的从 DBN 执行批量删除操

作(先获得所有的重复数据,利用 ip 地址形成 Map<><>>结构的数据,key 是 ip,value 是这个 ip 对应的删除语句,统一查询出

来之后,遍历所有的从 DBNJDBC 对象执行批量删除操作)。我主要负责 QW 和 ZS、FK 报表的开发以及项目的打包发布流程。能读

懂南京烽火的大数据查询中间件反编译之后的代码。<>

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注