技能标签
专业技能
后端开发:Django/Flask/Tornado框架,RESTful API设计,异步编程(asyncio/aiohttp)。前端开发:Vue/React框架,组件化开发,HTML5/CSS3。数据存储:MySQL数据库设计与优化,Redis缓存应用。网络协议:HTTP/TCP/IP/WebSocket通信。开发工具:PyCharm/VS Code/Vim。爬虫技术:Scrapy框架,分布式爬虫架构,反爬策略应对。数据解析:XPath/BeautifulSoup,数据清洗与存储(PyMysql/Redis)。
工作履历(脱敏处理)
专注于Python全栈开发,主导多个数据采集系统设计与实现。开发高并发异步爬虫系统,采用asyncio+aiohttp框架实现百万级请求处理,通过超时重试机制和Cookie持久化策略应对反爬策略,成功采集HGMD等国外网站数据。设计分布式爬虫架构爬取企业信用信息网,结合Scrapy框架实现分页请求与POST表单提交,利用Redis缓存中间数据并最终通过PyMysql批量导入MySQL。同时具备前后端开发能力,使用Vue/React框架实现数据可视化展示,设计RESTful API接口供前端调用。
项目经验(脱敏处理)
HGMD数据采集系统:采用asyncio+aiohttp构建异步爬虫框架,通过超时重试机制和Cookie持久化策略应对反爬策略,使用XPath解析HTML并PyMysql存储至MySQL。企业信用信息网分布式爬虫:基于Scrapy框架实现分页请求与POST表单提交,利用Redis缓存中间数据,通过Python脚本完成数据清洗与MySQL批量导入。其他项目:搜狐新闻/豆瓣/腾讯新闻数据采集,采用分布式架构处理高并发请求,通过数据缓存与解析优化提升采集效率。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
3年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接