IT人力外包人才简历库

精通大数据采集与处理技术，具备完整的数据仓库开发能力。熟练掌握Flume、Kafka、Spark、Flink等实时数据处理框架，精通HiveQL优化及Hive数据仓库建模。熟悉Hadoop生态体系，包括HDFS、YARN、MapReduce等核心组件，具备集群部署与调优经验。精通SQL性能调优及复杂查询优化，熟练使用Python进行数据清洗与分析，掌握Numpy、Pandas等数据分析工具。熟悉Linux系统运维及Shell脚本开发，具备ClickHouse、FineBI等数据可视化工具使用经验。熟悉ETL工具Kettle及调度工具Azkaban、海豚调度器。

主要负责数据仓库架构设计与开发，主导离线数仓优化及实时数据处理系统建设。完成多个数据可视化看板开发项目，实现业务数据的高效采集与可视化展示。设计并部署分布式数据采集系统，保障业务数据与日志数据的稳定接入。主导数仓调度任务维护工作，优化数据处理流程提升系统运行效率。具备完整的数据生命周期管理经验，包括数据采集、清洗、存储、分析及可视化展示等环节。

1. 数据可视化看板开发项目：基于FineBI构建可视化分析平台，实现ClickHouse与MySQL数据源的实时对接。设计数据采集方案，通过Kettle进行ETL开发，完成数据清洗与标准化处理。优化看板查询性能，采用分片集群架构提升数据处理效率，实现多维度数据可视化展示。2. 全民减价商城离线数仓项目：参与数据仓库模型设计，构建ODS/DWD/DWS分层架构。实现GMV、用户留存等核心指标开发，优化HQL执行效率，确保每日任务准时完成。3. 商城数据采集系统：搭建Flume+Kafka+HDFS数据采集架构，设计日志数据采集方案，实现业务数据与用户行为数据的分布式存储。优化数据采集流程，解决小文件存储问题，保障数据采集系统的稳定性与扩展性。