崗位職責(zé)
1.負(fù)責(zé)基于當(dāng)前數(shù)據(jù)現(xiàn)狀搭建數(shù)據(jù)管道與存儲(chǔ)架構(gòu),形成數(shù)據(jù)湖。
2.負(fù)責(zé)與各業(yè)務(wù)平臺(tái)對(duì)接,實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)清洗與轉(zhuǎn)換。
3.負(fù)責(zé)數(shù)據(jù)分析平臺(tái)系統(tǒng)穩(wěn)定性保障。
4.負(fù)責(zé)清洗、整合多源數(shù)據(jù)(如日志、業(yè)務(wù)系統(tǒng)數(shù)據(jù)),構(gòu)建特征庫(kù),為機(jī)器學(xué)習(xí)模型提供高質(zhì)量輸入;使用Python/SQL/Java/scala等語(yǔ)言實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化、缺失值處理及異常檢測(cè);開(kāi)發(fā)數(shù)據(jù)支撐API或可視化圖表,降低數(shù)據(jù)使用門(mén)檻。
任職資格
1.本科及以上學(xué)歷、學(xué)位,計(jì)算機(jī)、軟件工程、人工智能等相關(guān)專業(yè)。
2.精通Java語(yǔ)言或scala語(yǔ)言,精通Hadoop、Storm、Spark、flink等大數(shù)據(jù)生態(tài)組件,深刻理解原理和適用場(chǎng)景。
3.精通Hive、HBase倉(cāng)庫(kù)設(shè)計(jì),深刻理解MR運(yùn)行原理和機(jī)制。
4.至少3年以上數(shù)據(jù)開(kāi)發(fā)相關(guān)工作經(jīng)驗(yàn),能夠獨(dú)立開(kāi)發(fā)設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)、ETL設(shè)計(jì)、OLAP開(kāi)發(fā)、報(bào)表開(kāi)發(fā)等;具備較強(qiáng)的應(yīng)用系統(tǒng)分析與設(shè)計(jì)能力,有良好、規(guī)范的編程習(xí)慣和文檔編寫(xiě)習(xí)慣。