職位描述
1、根據(jù)業(yè)務(wù)需求,負(fù)責(zé)需求可行性和開發(fā)工作量評估及開發(fā)文檔編寫工作;
2、負(fù)責(zé)大數(shù)據(jù)平臺相關(guān)應(yīng)用的模型設(shè)計(jì)和ETL開發(fā)工作,如大數(shù)據(jù)平臺(Hive/Spark//Flink等),數(shù)據(jù)倉庫(Oracle/Mysql/starrocks等),數(shù)據(jù)管理和服務(wù)平臺(袋鼠云);
3、負(fù)責(zé)大數(shù)據(jù)平臺相關(guān)應(yīng)用的日常運(yùn)維、優(yōu)化工作;
4、配合業(yè)務(wù)人員進(jìn)行數(shù)據(jù)測試及問題處理;
5、完成日常平臺系統(tǒng)的監(jiān)測和分析,保障系統(tǒng)穩(wěn)定正常的運(yùn)行;
6、完成領(lǐng)導(dǎo)交辦的其他事項(xiàng);
學(xué)歷及專業(yè)要求:計(jì)算機(jī)科學(xué)與技術(shù)、信息管理與信息系統(tǒng)、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)等相關(guān)專業(yè);
工作經(jīng)驗(yàn)要求:3年以上數(shù)據(jù)倉庫及ETL開發(fā)相關(guān)經(jīng)驗(yàn),熟悉數(shù)據(jù)倉庫的概念和建模經(jīng)驗(yàn)豐富。有Hive SQL /Spark SQL/ Flink SQL等大數(shù)據(jù)處理相關(guān)經(jīng)驗(yàn)優(yōu)先
工作能力要求:
1. 扎實(shí)的數(shù)據(jù)倉庫和模型設(shè)計(jì)基礎(chǔ)知識,并至少掌握一種模型設(shè)計(jì)工具,精通范式、維度建模等主流模型理論;
2. 精通Mysql、Oracle等數(shù)據(jù)庫,能熟練進(jìn)行SQL優(yōu)化,存儲過程的開發(fā);
3. 熟悉ETL開發(fā)過程和規(guī)范,精通Informatica或者Hadoop體系任一一種ETL工具的使用;
4. 熟悉Linux平臺,熟練使用Hive SQL、Spark SQL, 掌握J(rèn)ava/Scala/Python其中任一一種編程語言,能夠進(jìn)行相關(guān)技術(shù)開發(fā);
5. 熟悉Hadoop體系Hive、Spark、HBase、Flink、Kafka、流式計(jì)算等技術(shù);
6.學(xué)習(xí)能力強(qiáng),喜歡研究新技術(shù),有團(tuán)隊(duì)觀念,具備獨(dú)立解決問題的能力;
7.良好的溝通和團(tuán)隊(duì)協(xié)作能力