IT人力外包人才简历库

返回列表

数据采集工程师

驻场外包人员
工作年限:1年 意向城市:杭州 浏览:2次 发布时间:近期

技能标签

Python开发 数据爬虫 Scrapy框架 数据清洗 Pandas分析 MySQL数据库 MongoDB存储 网络协议 反爬虫策略 分布式计算 数据可视化 ETL工具 HTTP请求 数据建模 数据处理 爬虫优化

专业技能

精通Python编程语言,熟悉Scrapy、BeautifulSoup等爬虫框架,掌握数据清洗与ETL技术,熟练使用Pandas、NumPy进行数据处理分析,具备MySQL、MongoDB数据库操作经验,了解分布式爬虫架构与反爬虫策略,熟悉网络协议与HTTP请求处理

工作履历(脱敏处理)

作为数据采集工程师,主导企业级数据采集系统开发,采用Scrapy框架构建分布式爬虫架构,实现日均百万级数据抓取,通过设置请求头模拟、动态渲染处理等技术突破反爬限制。开发数据清洗模块,使用Pandas进行数据去重、格式标准化处理,构建数据质量评估体系。设计MySQL与MongoDB混合存储方案,优化数据写入性能30%。参与搭建可视化分析平台,使用Matplotlib实现数据趋势展示,支撑业务决策分析。

项目经验(脱敏处理)

开发数据可视化展示系统,采用Python实现数学算法绘制动态爱心图形,运用随机算法生成粒子效果,通过Canvas绘图技术实现图形渲染。项目中解决多线程渲染性能瓶颈,采用GPU加速优化图形计算,最终实现高并发下的流畅图形展示。同时开发数据采集模块,利用网络请求技术抓取目标网站数据,通过正则表达式与XPath解析HTML结构,构建数据管道完成数据清洗与存储,项目上线后日均处理数据量达50万条。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

1年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接