基础信息
学历:本科
学校:中山大学
专业:软件与信息服务
身体状况:健康
求职意向
意向城市:广东省珠海市
教育经历
中山大学
2010.09 ~ 2014.06
软件与信息服务
本科
C 语言程序设计、Oracle/SQL Server 数据库应用与设计、软件工程、数据结构、Java 程
序设计、Asp。
net 程序设计、C/S 架构程序开发实战、J2EE 软件开发技术、CMMI 软件过程和信息安全、
软件测试技术、C#面向对象程序设计、GUI 应用程序开发、ASP.NETWEB 开发、使用
UML 的面向对象分析与设计、SQLSERVER 数据库及应用、ADO.NET 与 XML 程序开发、
WebUI 设计、WEB 前端开发技术(jQuery&EasyUI)、JSP 网络程序开发、数码图像技
术、数据备份与恢复。
爬虫开发工程师
性别:女
生日:1987.05
电话:188-8888-8888
邮箱:email@jianli1.com
所在地:广东省珠海市
工作经历
上海钢联电子商务股份有限公司
爬虫开发工程师
2014-2-1 ~ 2018-8-1
大数据选址行业领跑企业,为公司创造营收超千万元。
针对境外社交媒体,youtube 上的相关评论数据收集和处理(如微博、小红书等)根本原
因:公司为了让售卖更精准地图服务器行情分析需。
技能列表
参与 0-1 项目,负责东风标致、今日头条等产品的媒介策略制定。
负责日常数据分析,提出解决问题的方法论。
Java
MongoDB
python
爬虫
国电电力发展股份有限公司
爬虫开发工程师
2018-9-1 ~ 2023-1-1
针对境外社交媒体,youtube 上的相关评论数据收集和处理(如微博、小红书等)根本原
因:公司为了让售卖更精准地图服务器行情分析需。
参与 0-1 项目,对接甲方公司调研需求、进行整体规划组织并确立产品的定位及发展趋势。
负责日常数据分析,产品优化信息总结等。
负责公司项目功能开发,对接 ios、安卓。
项目经验
钢联电子商务相关项目
2014-2-1 ~ 2018-8-1
上海钢联电子商务股份有限公司
爬虫开发工程师
项目概况:定时定向采集美团外卖 app、饿了么等外卖平台的数据,用于业务分析、服务
咨询
项目管理:采用 gitlabworkflow 进行任务分配,进度管理
爬虫架构的设计、落地:采用 DevOps,快速迭代
技术难关的攻克:app 加固,js 代码混淆等
爬取策略的优化:反爬、假数据的处理等
国电电力发展相关项目
2018-9-1 ~ 2023-1-1
国电电力发展股份有限公司
爬虫开发工程师
主要爬取拉勾网的一二线城市前端,php,java,python,数据分析和爬虫等公司的薪资,招聘需求,规模,地址等信息,用于
参考资料
在该项目中,主要使用了 scrapy_redis,代理池,url 和数据的去重,持久化,增量式爬虫等
主要责任是:
分析目标网站,使用代理测试网站反爬虫的级别,并解决具体反反爬措施
利用 re 和 json 提取数据
数据保存到 mongodb
后期的维护,像代理池的维护,目标网站的反爬策略变化
自我评价
一本计算机科班毕业,四年的 python 开发经验,三年的数据采集和爬虫开发经验
熟练使用 requests、scrapy、httpx、aiohttp 等爬虫框架,对 scrapy 源码有过深入理解
熟悉 html、dom 树、javascript、css、ajax、xpath 等前端知识
熟悉 Mysql、Mongodb、redis 等主流数据库的操作和配置
对于 git、svn 等版本管理工具,有丰富的使用经验,注重项目的工程规范以及代码的封装性、可复用性,具备良好的编程习惯