技能标签
专业技能
精通Hadoop生态体系架构设计与运维,擅长Hive离线数据仓库开发与优化,精通Spark全栈开发(含SparkSQL/SparkStreaming/底层API),精通Flink实时计算引擎应用开发,精通HBase分布式存储与ElasticSearch全文检索技术集成,熟悉Kafka消息队列系统,具备实时数仓构建与复杂数据处理能力,熟悉数据迁移方案设计与实施
工作履历(脱敏处理)
长期从事大数据平台架构设计与开发工作,主导完成多个大型数据仓库建设项目,包括传统关系型数据库向Hadoop生态迁移方案设计与实施,构建支持PB级数据存储与分析的分布式数据仓库体系。精通Spark全栈开发,实现复杂ETL流程优化与实时数据处理,具备Flink实时计算引擎应用开发经验,成功构建支持秒级响应的实时数仓系统。熟悉HBase与ElasticSearch技术集成方案,实现数据存储与检索的高效结合,具备大数据平台运维与性能调优能力。
项目经验(脱敏处理)
1. 数据仓库迁移项目:主导传统SQLServer向Hadoop生态迁移方案设计,完成集群搭建与运维,实现离线数据仓库从0-1建设,采用Hive进行数据建模与ETL开发,优化数据处理流程提升整体效率30%。
2. 实时数据处理系统:基于Java开发Kafka实时消费模块,实现数据写入HBase并同步至ElasticSearch构建二级索引,支持实时查询与统计功能,保障数据一致性与高可用性。
3. 实时数仓建设项目:采用Flink CDC技术实现数据实时采集,构建基于Kafka的实时数仓架构,完成多维度指标统计与实时分析,支撑业务系统秒级响应需求。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
8年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接