基础信息
学历:本科
学校:东北农业大学
专业:区块链工程
身体状况:健康
求职意向
意向城市:广东省珠海市
教育经历
东北农业大学
区块链工程
2017.09 ~ 2021.06
本科
主修课程:区块链原理与应用、区块链与数字资产、区块链技术原理与开发实战、区块链与创
新创业等、区块链原理、共识算法开发、智能合约开发、区块链应用开发、区块链算法、区块
链平台开发、区块链虚拟机。
数据采集工程师
性别:女
生日:1997.05
工作经历
电话:188-8888-8888
中国冶金科工股份有限公司
2021-12-1 ~ 2022-6-1
数据采集工程师
邮箱:email@jianli1.com
抖音用户视屏页面、用户关系、评论留言竟品分析。
快手用户视屏页面、用户关系、评论留竟竟品分析。
火山用户视屏页面、用户关系、评论留言竟品分析。
秒拍用户视屏页面、用户关系、评论留言竟品分析。
微信公众号文章数据采集绕过风控策略保证不封号。
所在地:广东省珠海市
技能列表
Ada
兴业银行股份有限公司
2022-7-1 ~ 2022-11-1
数据采集工程师
Erlang
通过网络进行租房网站房源信息,评论情况、建议等维度对小区楼盘的价值。
负责数百个网站的反爬调研和代码采,精通 xposed、ids 等加密算法原理。
数据采集:每天处理业务部门上报的数据采集事件,例如原快播、广告投放平台二度换模式。
负责数据采,etl 部署以及日常维护。
D 语言
项目经验
Databases
冶金科工相关项目
2021-12-1 ~ 2022-6-1
中国冶金科工股份有限公司
数据采集工程师
数据采集:收集并清洗 CoQA 数据中的一般疑问句/依据/答案对,获取有效数据 1.3w+条;
分类模型:采用 TextCNN、DistiledBert、Bert、Albert 等模型进行二分类训练,线上采
用 Albert-xlarge 模型;验证集准确率达 97.1%,测试集准确率达 98.9%;
数据清洗:利用交叉验证找出训练数据中的噪音数据并进行人工清洗,模型效果提升 2.2%;
模型部署:采用 Gunicorn+Flask 部署模型,同时开启多个进程,提高并发处理能力;
兴业银行相关项目
2022-7-1 ~ 2022-11-1
兴业银行股份有限公司
数据采集工程师
内容: 开发环境:My escplise +linux+svn+MySql +JDK1.7+fidder
主要负责分布式爬虫的程序编写以及服务器的发布,先通过 fidder 获取到对应客户端的链
接,在通过 htmlunit 请求到链
接的内容,通过 jsoup 进行解析,获取到对应的字段数据,再进行 hbase 去重,最终入库
到 mysql 。
采集过上百个客户端(齐鲁一点,一点资讯,凤凰新闻等等)
自我评价
熟练使用 sas 编程进行数据采集、变换、加载等 ETL 数据处理,拥有 axure 原型制作软件独立完成从需求调研到业务交付的所步
骤及全流畅设计能力。
熟悉 Spss 软件、有数据处理、分析相关项目经验,2·对于 python 语句的使用,具备良好编程习惯。