IT人力外包人才简历库

返回列表

大数据平台开发工程师

驻场外包人员
工作年限:5年 意向城市:上海 浏览:8次 发布时间:近期

技能标签

Hadoop生态 HiveQL 维度建模 Flume采集 Sqoop迁移 Spark计算 Linux运维 DorisOLAP 数据仓库设计 数据可视化

专业技能

精通Hadoop生态(HDFS、YARN、MapReduce)架构与调优,擅长HiveQL数据仓库开发与性能优化。掌握Kimball维度建模理论,具备数据模型分层设计与实施经验。熟悉Flume日志采集系统及Sqoop数据迁移工具,精通Spark计算框架与分布式任务调度。熟练使用Doris OLAP数据库进行实时数据分析,具备自研BI平台对接经验。精通Linux系统运维及Shell脚本开发,熟悉数据开发平台全链路运维。

工作履历(脱敏处理)

主导某零售企业O2O订单分析平台建设,设计基于Hadoop的数据仓库架构,完成数仓模型分层设计与开发。搭建Doris OLAP数据仓库,实现订单量、商品销量等核心指标的实时分析,通过DolphinScheduler调度平台保障数据时效性。优化Hive查询性能提升30%,设计日志采集方案实现多源数据同步,采用Spark Streaming处理实时订单数据。构建数据可视化BI平台,支持多维度数据分析与业务预警,支撑运营策略优化,提升订单处理效率25%。

项目经验(脱敏处理)

项目名称:某零售企业O2O订单分析平台

项目描述:构建全国范围O2O订单数据统计分析系统,实现订单量、拒签量、商品销量等核心指标的实时监控与多维分析,支撑运营策略优化。技术架构:HDFS分布式存储+DolphinScheduler任务调度+Doris OLAP分析引擎+自研BI可视化平台。

核心工作:1. 设计星型模型架构,完成事实表、维表、指标表的结构设计与数据建模;2. 开发DorisSQL数据处理脚本,通过物化视图和索引优化提升查询性能;3. 实现日志采集方案,使用Flume采集订单日志并通过Sqoop迁移至Hive;4. 构建实时数据管道,基于Spark Streaming处理订单数据并写入Doris;5. 开发BI可视化看板,支持多维度数据钻取与异常告警,提升运营决策效率。

驻场外包优势

服从性高

严格遵守甲方管理制度

技术扎实

5年项目实战经验

可长期驻场

接受异地项目外派

快速响应

24小时内可到岗

企业人才对接

专业IT人力外包服务

如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。

合作热线

18969108718

商务邮箱

ntit@163.com

微信扫码咨询

微信咨询二维码

扫描二维码添加商务对接

立即申请人才对接