技能标签
专业技能
精通Hadoop、Hive、Spark、HBase等大数据生态系统技术，具备MR与Spark调优经验。熟悉Flume、Sqoop、Azkaban、Seatunnel等数据采集与调度工具。掌握Flink实时计算框架及Kafka消息队列技术，具备ClickHouse时序数据库开发经验。熟悉Linux系统运维及Shell脚本开发，了解Hudi数据湖和Dlink实时数据同步技术。
工作履历（脱敏处理）
主导数据仓库建设，完成从数据源接入到数仓ods/dw层开发的全流程设计，构建统一数据资产体系。开发实时计算平台，采用Flink进行订单流与发券流的实时处理，实现复杂事件处理与核销判断。设计数据同步方案，通过Flume采集业务数据并经Kafka传输，利用Flink进行数据清洗与Join操作，最终写入ClickHouse存储。优化数据处理流程，提升数据质量与计算效率，支撑广告投放与业务分析需求。
项目经验（脱敏处理）
数据仓库建设：基于Seatunnel实现MySQL、SFTP及公众号数据源的ETL处理，构建ods层数据仓库。通过Hive进行dw层数据建模，开发多维分析视图支持人群圈选与广告投放决策。采用Azkaban进行任务调度，确保数据时效性与一致性。
实时分析平台：开发Dashboard系统，集成活动报告、标签广场等模块，通过Flink进行实时数据计算并推送至MySQL。设计MQ消息通知机制，实现前后端数据同步。优化数据处理流程，提升报表生成效率30%。
业务数据采集：搭建Flume采集Web API订单流与发券流，经Kafka传输后使用Flink进行数据清洗、字段扩展及流式Join操作。设计数据回写方案，将处理结果存入HBase与ClickHouse，支撑业务实时分析需求。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
3年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求，欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接