技能标签
专业技能
精通Hadoop生态(HDFS、YARN、MapReduce)架构与调优,擅长HiveQL数据仓库开发与性能优化。掌握Kimball维度建模理论,具备数据模型分层设计与实施经验。熟悉Flume日志采集系统及Sqoop数据迁移工具,精通Spark计算框架与分布式任务调度。熟练使用Doris OLAP数据库进行实时数据分析,具备自研BI平台对接经验。精通Linux系统运维及Shell脚本开发,熟悉数据开发平台全链路运维。
工作履历(脱敏处理)
主导某零售企业O2O订单分析平台建设,设计基于Hadoop的数据仓库架构,完成数仓模型分层设计与开发。搭建Doris OLAP数据仓库,实现订单量、商品销量等核心指标的实时分析,通过DolphinScheduler调度平台保障数据时效性。优化Hive查询性能提升30%,设计日志采集方案实现多源数据同步,采用Spark Streaming处理实时订单数据。构建数据可视化BI平台,支持多维度数据分析与业务预警,支撑运营策略优化,提升订单处理效率25%。
项目经验(脱敏处理)
项目名称:某零售企业O2O订单分析平台
项目描述:构建全国范围O2O订单数据统计分析系统,实现订单量、拒签量、商品销量等核心指标的实时监控与多维分析,支撑运营策略优化。技术架构:HDFS分布式存储+DolphinScheduler任务调度+Doris OLAP分析引擎+自研BI可视化平台。
核心工作:1. 设计星型模型架构,完成事实表、维表、指标表的结构设计与数据建模;2. 开发DorisSQL数据处理脚本,通过物化视图和索引优化提升查询性能;3. 实现日志采集方案,使用Flume采集订单日志并通过Sqoop迁移至Hive;4. 构建实时数据管道,基于Spark Streaming处理订单数据并写入Doris;5. 开发BI可视化看板,支持多维度数据钻取与异常告警,提升运营决策效率。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
5年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接