IT人力外包人才简历库

返回列表

数据仓库与大数据开发工程师

驻场外包人员
工作年限:13年 意向城市:北京 浏览:2次 发布时间:近期

技能标签

Hive Spark SQL Python PySpark 数据建模 ETL 数据仓库 分布式计算 数据库管理 数据清洗 数据集成 大数据平台 云平台开发 数据资产 架构设计

专业技能

精通数据仓库架构设计与大数据开发,具备完整ETL流程构建能力。熟练掌握SQL/Python/PySpark数据开发技术栈,精通Hive/Spark分布式计算框架,熟悉DataBricks云平台开发。具备传统关系型数据库(MySQL/Oracle)与大数据平台的混合架构设计经验。熟练使用Pandas进行数据清洗与分析,掌握Tornado框架的轻量级数据服务开发。具备数据建模(星型/雪花模型)与数据资产整合实施经验。

工作履历(脱敏处理)

长期从事企业级数据平台建设,主导完成多个行业数据仓库架构设计与实施,涵盖金融、电商等多领域数据整合。主导开发分布式数据处理系统,通过Spark优化实现数据处理效率提升40%。设计并实施数据质量监控体系,建立数据血缘追踪机制。搭建数据服务中台,通过PySpark实现数据实时处理能力,支撑业务系统决策分析。持续优化数据仓库架构,采用列式存储与分区策略提升查询性能,降低存储成本30%。

项目经验(脱敏处理)

主导某金融行业数据仓库建设项目,采用Hive+Spark构建分布式计算架构,实现日均10亿条数据的实时处理。设计星型模型数据仓库,通过ETL流程整合20+业务系统数据,建立统一数据资产目录。开发数据质量监控平台,实现数据完整性、一致性校验,数据准确率提升至99.8%。优化传统Oracle数据库与Hive数据仓库的混合架构,通过数据分层设计降低查询延迟,支持实时报表系统。构建数据服务API接口,基于PySpark实现数据服务化,支撑30+业务系统数据调用需求。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

13年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接