数据架构师
女 | 1985.05 | 188-8888-8888 | email@jianli1.com |广东省珠海市
基础信息
教育经历
学历:本科
学校:郑州大学
专业:水声工程
身体状况:健康
郑州大学
水声工程
2014.09 ~ 2018.06
本科
主修课程:声学原理与噪声控制、水声学基础、振动理论及其在工程中
的应用、信号处理、数学物理方程、振动和声学问题计算、水下噪声
学、近代试验技术、线性系统理论、最优估计理论与系统辨别、离散随
机信号处理、声学原理、数字信号处理、噪声与振动控制技术基础、信
号检测与估计理论。
求职意向
意向城市:广东省珠海市
工作经历
技能列表
中国能源建设股份有限公司
2018-2-1 ~ 2020-7-1
数据架构师
Solr
编写并使用 Flume-SDK 完成数据采集及上传。
使用原生的 Flume-NG+Kafka 完成数据接收。
编写并使用具体的 Kafka-Consumer 代码完成数据存储。
使用 sqoop 完成关系型数据库数据向 hdfs 的导入。
建立对应的 hive 表,以便于使用传统的 sql 完成简单的数据查询、
bi 报表等操作。
Hbase
Hadoop
Spark
使用 Spark 完成实时数据分析。
使用 impala 和 spark 完成对生成广告数据、游戏运行数据统计报
表的统计优化。
使用 spark-streaming 完成基于时间窗口的准实时数据统计。
使用 oozie 和 azkaban 完成定时任务的管理和发布。
自我评价
技术全面,创新意识,思路清晰,5 项专利,一
项软件著作权,有很强的沟通能力和团队建设
能力
中国建设银行股份有限公司
2020-8-1 ~ 2023-1-1
数据架构师
xx.3.1-20xx.10.14 杰比达香港有限公司杭州代表处船务做单证、
物流方面的操作,审单、订舱制单、跟踪、交单、结款等。
负责整个公司的单证事务,与货代、财务紧密沟通,确保每个月的
月中月尾按时结账。
项目经验
能源建设相关项目
2018-2-1 ~ 2020-7-1
中国能源建设股份有限公司
数据架构师
背景: 总部供应链部门以数字化转型为抓手,对下属集团采购部
门的运营情况,进行采购分析,如:按部门,供应商,类别,SKU 等多
种维度,统计 降本金额,降本率,满足率等等,为将来的管理决
策提供有力的数据支持。
技术架构设计与实现(包含数据对接,数据清洗,数据展示)
详细需求分析,沟通讨论需求中的疑问,确定最终逻辑实现方案
项目风险控制
定制下属产业数据对接规范
设计数据仓库管理规范
解决疑难问题
建设银行相关项目
2020-8-1 ~ 2023-1-1
中国建设银行股份有限公司
数据架构师
大数据架构采用:Hadoop+Hbase+MongoDB+Hive+Lucene+Loki+Oracle。Java 项目采用:Struts2+MongoDB+Lucene+烽
火的大数据查询中间件+OracleSQL,还使用了 ECharts。该项目是由南京烽火 2000 人的团队做了好几年的系统,有 6、7 个大工
程模块,每个模块 1G 那么大。我们主要是把系统进行二次开发,定制化卖给国外的政府部门的客户。主要用来记录监控用户上网行
为,接入数据后,我们每天产生的邮件,webmail 协议、SMTP/POP 协议、HTTP 协议、IM 协议等等,上网的账号、QQ 聊天记
录,都可以被我们的系统拦截捕获到,然后按照不同的维度去查询展示数据。解决现场多 DBN 数据库分库、分表分发导致的短信数
据重复问题,在每一个从 DBN 库写一个 Oracle 触发器,基于 insert 级别的触发器,短信数据插入前,检查数据是否重复,重复就
delete 掉之前的重复数据,并将重复数据保存到一个表里面,再在每个从 DBN 利用 JDBC 创建视图,视图带上每个从 DBN 的 ip 地
址,通过一个 Quartz 定时器定时查询视图每个从 DBN 的重复数据,拼成批量删除的 delete 语句去其他的从 DBN 执行批量删除操
作(先获得所有的重复数据,利用 ip 地址形成 Map<><>>结构的数据,key 是 ip,value 是这个 ip 对应的删除语句,统一查询出
来之后,遍历所有的从 DBNJDBC 对象执行批量删除操作)。我主要负责 QW 和 ZS、FK 报表的开发以及项目的打包发布流程。能读
懂南京烽火的大数据查询中间件反编译之后的代码。<>