岗位职责:
1、负责数据仓库开发相关技术文档、技术标准、编码规范的制定;
2、负责数据治理、数据资产建设、模型集市建设等,设计相关主题的事实表和维度表等;
3、负责基于Hadoop、Spark及GreenPlum平台的海量数据处理、数据计算、数据开发和任务运维等。
任职要求:
1、具备大数据数据仓库开发经验,熟悉Hive、Spark、Impala、Hbase等常用组件;
2、了解数据仓库架构,熟悉数据仓库建模方法;
3、了解SparkSQL、HiveSQL、GreenPlume等常见性能调优方法;
4、熟悉ETL开发流程,能够独立完成ETL相关流程设计及开发;
5、有流式计算开发经验,如SparkStreaming、Flink,并对其中一项有深入研究,加分;
6、性格积极且沉稳,勤奋严谨,强烈的进取心、求知欲和团队合作精神。