崗位職責:
1.深入理解行業(yè)數據,理解和提煉標準,結合數據的技術特點設計數據模型和加工生產邏輯,并不斷提煉共性需求,形成企業(yè)級統(tǒng)一數據模型;
2.主導項目數據架構、數據模型設計,確保項目建設滿足架構原則、規(guī)范和標準,為項目建設提供數據架構設計支持;
3.負責數據源調研、入庫、離線和實時數據處理的全流程開發(fā)工作,并保證數據質量;
4.制定數據湖倉相關技術規(guī)劃、標準制定,并且推動團隊遵循標準;
任職要求:
1.本科及以上學歷,7年以上工作經驗;
2.熟悉Hadoop生態(tài)系統(tǒng),熟悉Hive、HBase、Kafka、Spark、Flink、Hudi/Iceberg等組件的工作原理,熟悉MPP數據庫如Clickhouse、Doris、StarRocks等;
3.熟悉Hive SQL語言,熟悉scala語言,熟悉java, python等至少一種編程語言;
4.較強的業(yè)務理解能力,善于抽象提煉企業(yè)領域數據模型,有豐富的數據倉庫建設、數據模型設計經驗;
5.熟悉數據治理(數據管理)的理論知識,例如DAMA、DCMM、數據資產管理白皮書等優(yōu)先;
6.具備優(yōu)秀的邏輯思維能力和自驅力,有良好的溝通能力和團隊協(xié)作精神