数据开发工程师
性别:女
电话:188-8888-8888
邮箱:email@jianli1.com 所在地:广东省珠海市
生日:1997.05
基础信息
学历:本科
学校:厦门大学
专业:区块链工程
身体状况:健康
求职意向
意向城市:广东省珠海市
教育经历
厦门大学
2010.09 ~ 2014.06
区块链工程
本科
主修课程:区块链原理与应用、区块链与数字资产、区块链技术原理与开发实战、区块链与创新创业等、区块链原理、共识算法开发、
智能合约开发、区块链应用开发、区块链算法、区块链平台开发、区块链虚拟机。
工作经历
江西铜业股份有限公司
2014-2-1 ~ 2018-8-1
数据开发工程师
从 hive 数据仓库加工数据 sqoop 到 mysql,通过 etl 前端窗口展示报表的功能。
需求分析:与业务人员沟通需求疑点,梳理数据指标体系及应用问题发生的原因。
负责业务部门报表需求业务口径的梳理,与 bi 平台对接数据。
负责公司新疆项目组的数据信息维护,抓取和清洗日志。
中国冶金科工股份有限公司
2018-9-1 ~ 2023-1-1
数据开发工程师
项目一:搭建作业帮课中离线数仓,按照阿里建模方法论构建从 ods 层到 ads 层的离线数仓
项目二:基于 Flink 实时计算技术,搭建出勤和回放实时程序
项目三:搭建从 ods 层到 dwd 层的监控体系,形成完整的数据治理体系
项目经验
铜业相关项目
2014-2-1 ~ 2018-8-1
江西铜业股份有限公司
数据开发工程师
软件环境:SpringBoot + Quartz + Python + Vue + Chrome + MongoDB + MinIO + MySQL + Redis
开发工具:Idea + git + Maven
适配不同的新闻站点页面结构进行互联网新闻数据采集为后续的数据分析和知识图谱应用提供数据支撑。前端使用 Chrome 插件
进行新闻页面采集目标的点选配置生成采集模板并保存入 MySQL 中,后端任务调度程序根据配置的任务信息定时调用 Python 程
序进行数据采集、Python 程序根据任务获取站点和采集模板采集解析新闻信息和图片,将文本内容存放入 MongoDB,图片放入
MinIO 中,后端程序对采集数据到的文本数据进行算法处理。
个人职责:
采集系统方案设计、系统功能划分、开发任务估算及任务排期
站点管理、栏目管理、模板管理、任务管理、任务日志、采集数据预览、采集结果统计等后端功能的设计实现
quartz 分布式调度任务的应用及任务错误重试机制的设计开发
冶金科工相关项目
2018-9-1 ~ 2023-1-1
中国冶金科工股份有限公司
数据开发工程师
为行社高层战略决策支持提供统计指标展示,建立综合、全面、便捷、直观的管理驾驶舱系统,展现业务经营状况,通过历史趋势
分析、机构纵向比较、横向对比、预算执行状态多方面来展示经营情况。主要针对经营指标、绩效指标、财务指标、风险指标、监
管指标等,使用动态图表以及仪表盘技术,综合展示现状及目标完成进度,以帮助了解目前经营指标是否均衡发展,市场规模是否
良好发展的态势。
个人职责:
指标筛选整理,oracle,etl 工具 kettl、informatica 开发环境下的调试与测试,根据指标开发数据等
技能列表
Databases:一般
SQL:熟练
Hadoop:良好
Adobe:精通
自我评价
熟练掌握 hadoop hive spark flink 计算框架,熟悉 hbase kafka druid kylin