数据采集工程师
性别：女
电话：188-8888-8888
邮箱：email@jianli1.com 所在地：广东省珠海市
生日：1990.05
基础信息
学历：本科
学校：延边大学
专业：导航与位置服务
身体状况：健康
求职意向
意向城市：广东省珠海市
教育经历
延边大学
2015.09 ~ 2019.06
导航与位置服务
本科
主修课程：地形测量、卫星定位测量、工程施工测量、数字摄影测量、外业导航地理数据采集、导航电子地图制作与维护、地理信息系
统常用软件应用、遥感数据采集、现代控制测量、遥感数据采集与处理。
工作经历
中升集团控股有限公司
2019-2-1 ~ 2021-2-1
数据采集工程师
承担华星光电能源管理系统（物联网）数据采集工程师，主要为从上游包商采集点位数据转发至 mqtt、postgres 数据库等。
使用到的工具有 kepserver、smc（Intouch 通道模式）。
华星光电项目科室报表开发（基于帆软开发）。
华星光电能源管理系统产品责任人，主要有厂端功能设计、实施、基于 pg 数据库和 python 厂端数据分析。
华星光电能源管理系统基于 pg 数据库函数接口开发（基于函数构造后端需要的数据和格式，传给后端）。
中国铝业股份有限公司
2021-3-1 ~ 2023-1-1
数据采集工程师
基于一些社交网站的爬虫的分布式设计；
通过设计 XML 模板，利用新闻 app 的 json 数据返回接口，构建 200 个新闻 app 的多线程采集程序
项目经验
中升相关项目
2019-2-1 ~ 2021-2-1
中升集团控股有限公司
数据采集工程师
该项目实现驾驶员实际道路考试系统的车载信号采集，考试过程评判，考试过程音视频监控，考车与控制中心数据的传输、指令信
息的交互。
个人职责：
制定车载信号采集模块与上位机的通讯协议，采集模块电路原理图设计，编写采集板的单片机程序（C 语言），样机调试，功能测
试，发布开发文档。
中国铝业相关项目
中国铝业股份有限公司
2021-3-1 ~ 2023-1-1
数据采集工程师
开发环境：Windows、Python3、scrapy、MongoDB、redis
使用 scrapy+redis 分布式框架抓取蜂鸟论坛图片，文章，用户信息
分析网页加载数据方式，url 规律及变化，表单数据，请求头数据
创建 scrapy 框架，编写 UA 中间件，获取 html
分析网页源码，使用 xpath 匹配并获取相关数据
对获取的数据及图片作进一步处理
将处理后的数据存入 MongoDB 数据库中
编写定时器扩展定时从 api 接口获取 proxy，自动管理代理池，编写 proxy 中间件添加代理
设置 redis 参数，配置调度器，去重逻辑，测试分布式逻辑及爬取速度调整
技能列表
C：一般
Ada：熟练
D 语言：良好
Erlang：精通
自我评价
熟练使用 sas 编程进行数据采集、变换、加载等 ETL 数据处理，对网站建设有一定经验，可以撰写相关的技术文档和基础资料。
熟悉 Spss 软件、有数据处理、分析相关项目经验，对机器学习算法和挖掘技术较为感兴趣，热爱在工程业务当中自助完成任何事
情。
