IT人力外包人才简历库

返回列表

数据采集与爬虫工程师

驻场外包人员
工作年限:5年 意向城市:杭州 浏览:2次 发布时间:近期

技能标签

Python Scrapy Selenium Requests XPath BeautifulSoup 正则表达式 MySQL MongoDB Redis 多线程 数据解析 爬虫框架 数据可视化 图像识别

专业技能

精通Python编程语言,熟悉其面向对象编程及PEP8编码规范;熟练使用Requests、Urllib等HTTP客户端库进行网络请求;精通XPath、BeautifulSoup、正则表达式等数据解析技术;熟悉Scrapy框架进行分布式爬虫开发,具备Selenium自动化浏览器操作能力;熟悉MySQL、MongoDB、Redis等关系型及非关系型数据库的使用与优化;掌握多线程编程、队列管理及数据处理技术

工作履历(脱敏处理)

主导短视频平台数据采集系统开发,采用Scrapy框架构建分布式爬虫架构,通过Fiddler抓包定位接口并实现自动化数据抓取,解决JSON包获取难题。开发游戏排行榜数据采集系统,运用多线程生产者消费者模式提升采集效率,通过正则表达式处理字符集错误并过滤广告数据。设计疫情数据可视化方案,利用Numpy进行数据清洗并基于Pyecharts实现动态图表展示。开发车牌识别系统,结合OpenCV2进行图像处理及Numpy数据计算,完成端到端图像识别流程。

项目经验(脱敏处理)

短视频平台数据采集项目:基于Scrapy框架开发抖音视频及音乐数据采集系统,使用Fiddler抓包工具定位接口并实现自动化数据抓取,解决JSON包获取难题,通过模拟器实现翻页操作,确保数据完整性。游戏排行榜数据采集项目:采用多线程生产者消费者模式进行游戏排行榜数据采集,使用Threading、Queue、etree及正则表达式处理数据,解决字符集错误及广告数据过滤问题。疫情数据可视化项目:利用Python爬取疫情数据,通过Numpy进行数据清洗,使用Pyecharts实现动态数据可视化展示。图像识别项目:基于OpenCV2进行图像识别,结合Numpy进行数据计算,实现车牌识别系统。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

5年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接