性别:女
生日:1985.05
所在地:广东省珠海市
电话:188-8888-8888
邮箱:email@jianli1.com
数据开发工程师
基础信息
学历:本科
学校:西北农林科技大学
专业:网络营销
身体状况:健康
求职意向
意向城市:广东省珠海市
教育经历
西北农林科技大学
网络营销
2015.09 ~ 2019.06
本科
主修课程:计算机基础、计算机网络与应用、电子商务基础、电子商务网站建设及管理、商务外语基础、商业财务基础、网络营销、礼貌
礼仪。
工作经历
中国电力建设股份有限公司
2019-2-1 ~ 2021-1-1
数据开发工程师
ybase、mysql、oracle 存储过程的开发及 sql 优化。
racle 的安装升级与日常维护、mysql 单机、双机及集群的安装与日常维护。
编写 shell 脚本与存储过程对业务系统的正常运行进行维护。
制定 mysql、oracle 生产数据库业务数据日常备份机制。
利用 kettle 工具对源数据进行抽取。
anmp(linux+nginx+apache+php+mysql)、keepalived,lvs 的安装与维护。
中国农业银行股份有限公司
2021-2-1 ~ 2023-1-1
数据开发工程师
Bing Relevance and AI:
基于海量的用户点击数据,训练卓有成效的机器学习模型,以提升搜索结果的相关性;使用深度学习、集成学习、大数据处理等技术
将分析海量用户点击数据的流程自动化,带领小组完成数据流的更新和验证,将平均处理时间缩短 80%
调查用户反馈来的不满意的搜索结果,找出底层原因,并通过研发新技术、新模型来解决
Skype for Business:
开发满足高并发、高可用的智能语音信箱服务系统,发布于 Azure 云平台;使用 C#语言
将语音音频的多语言同步流程自动化,杜绝了人工操作导致的错误,并使得整个流程处理时间减少了 95%
开发自动负载测试平台,实现对语音信箱服务的 7×24 小时监测和预警
项目经验
电力建设相关项目
2019-2-1 ~ 2021-1-1
中国电力建设股份有限公司
数据开发工程师
由于数据平台每日打包压缩足有 10T 数据,面对海量数据的压力,很多情况下数据没有入库以及入库数据量偏少的情况下都要人工去
检测,此系统正是为解决这一问题,检测数据采集与入库数量进行同比以及环比对比,上下浮动超过一个阀值便给出告警指示。
责任描述
负责提供监控指标到 openstdb。
配置界面的展示指标。
监控系统的运营。
农业银行相关项目
2021-2-1 ~ 2023-1-1
中国农业银行股份有限公司
数据开发工程师
需求背景:
商城首页、商城商品列表,商城搜索页等页面做了很多的埋点操作,在触发动作后,事件请求产生的数据,以及服务器本身的日志数
据,仅做到数据存储的机制。为了促使数据产生能效,对这部分数据按照曝光情况分析,划分不同的维度进行数据的治理(维度包括
不同页面的点击情况,不同类型商品的点击情况,搜索 topN,搜索类型 TopN 等),再根据前 N 分钟的时间维度为前端提供推荐信
息。
配合修改 Nginx 的配置和调式,将日志数据上报至 Kafka 队列
Structured Streaming 消费 Kafka 队列中的日志数据,并对数据进行过滤和计算
计算的前 N 分钟的 TopN 结果输出到 redis,通过请求接口的方式把结果输出给前端
处理 TopN 结果的同时,对日志数据按业务场景划分不同的 topic,上报至对应的 Kafka 队列
使用 hive 创建对应的元数据操作表,数据仓储表和数据应用表
使用 Spark 消费不同 topic 的数据,按对应 topic 的业务,进行数据的抽取,写入 hive 分层表
通过 Spark SQL,对数据进行转换和计算,把结果 sink 到 MySQL
把处理好的数据通过图表的方式展示在后台管理系统里
技能列表
Databases:一般
Hadoop:熟练
SQL:良好
同声传译:精通
自我评价
喜欢读书钻研技术