技能标签
专业技能
精通Scrapy分布式爬虫框架与Puppeteer动态页面渲染技术，具备完整的数据采集系统架构设计能力。擅长IP代理池管理、JS逆向解析、动态加密解密及数据清洗入库开发。精通网络协议分析、分布式任务调度及高并发数据采集优化，具备大型数据中台架构设计经验。
工作履历（脱敏处理）
担任数据采集系统架构师期间，主导设计并实施多个大型数据采集平台。成功构建分布式爬虫框架，实现日均千万级数据采集能力，通过IP代理池管理和动态加密解密技术突破反爬限制。设计数据清洗模块，实现多源异构数据标准化处理。主导开发数据入库系统，支持千万级数据高效存储与查询。在多个项目中采用分布式任务调度技术，提升系统可扩展性与稳定性。
项目经验（脱敏处理）
1. 某行业数据采集平台开发：构建分布式爬虫架构，实现日均500万条数据采集，采用IP代理池管理和JS逆向解析技术突破反爬限制，通过动态加密解密实现数据安全传输。
2. 国际平台联系人采集项目：设计动态页面渲染方案，利用Puppeteer技术解析复杂加密页面，实现目标区域100万+联系人数据采集，采用分布式任务调度技术提升采集效率。
3. 全网新闻数据中台建设：搭建Scrapy-Redis分布式爬虫系统，采集千万级新闻数据并进行分类处理，设计数据清洗模块实现多源数据标准化，构建可扩展的数据入库架构支持实时数据更新。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
12年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接