崗位職責(zé):
1.對接上下游系統(tǒng),完成數(shù)據(jù)的集成與整合;
2.負(fù)責(zé)數(shù)據(jù)平臺的ETL開發(fā)、運(yùn)維、流程優(yōu)化、異常處理;
3.負(fù)責(zé)數(shù)據(jù)與業(yè)務(wù)的邏輯梳理、mapping編寫、數(shù)據(jù)作業(yè)任務(wù)的開發(fā)測試;
4.負(fù)責(zé)面向業(yè)務(wù)的olap,報(bào)表等BI可視化開發(fā);
5.參與實(shí)時計(jì)算鏈路的開發(fā)
崗位要求:
1、技能:熟練掌握Hadoop、Spark和Flink等大數(shù)據(jù)處理技術(shù);熟悉常見的數(shù)據(jù)倉庫和數(shù)據(jù)湖架構(gòu),熟悉數(shù)據(jù)流管道設(shè)計(jì)和實(shí)現(xiàn)。
2、經(jīng)驗(yàn):本科以上具有3年及以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),有扎實(shí)的Shell和SQL編程經(jīng)驗(yàn),熟練使用常見的開發(fā)工具和框架;擁有數(shù)據(jù)治理、清洗、判重、融合、存儲、計(jì)算等數(shù)據(jù)開發(fā)經(jīng)驗(yàn);有大數(shù)據(jù)平臺服務(wù)分層框架,數(shù)據(jù)中臺設(shè)計(jì)開發(fā)經(jīng)驗(yàn)者更佳。
3、其他:具有良好的溝通協(xié)調(diào)能力、組織管理能力及文檔編寫能力,能吃苦耐勞、認(rèn)真負(fù)責(zé),有良好的團(tuán)隊(duì)協(xié)作精神;有良好的文字功底和良好的溝通表達(dá)能力,有責(zé)任心、有耐心。
4. 政治背景過硬,無境外背景,需提供無犯罪記錄證明和政審材料