核心職責(zé) :
1. 參與數(shù)據(jù)中臺(tái)核心模塊的設(shè)計(jì)與開(kāi)發(fā),包括數(shù)據(jù)集成、實(shí)時(shí)計(jì)算、元數(shù)據(jù)管理、數(shù)據(jù)服務(wù)API等;
2. 基于大數(shù)據(jù)生態(tài)技術(shù)棧構(gòu)建高并發(fā)、低延遲的數(shù)據(jù)處理管道;
3. 優(yōu)化數(shù)據(jù)存儲(chǔ)與查詢性能,保障平臺(tái)在PB級(jí)數(shù)據(jù)規(guī)模下的穩(wěn)定性;
4. 設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控、血緣追蹤等數(shù)據(jù)治理功能;
5. 與數(shù)據(jù)科學(xué)家、分析師協(xié)作,提供可復(fù)用的數(shù)據(jù)服務(wù)能力。
任職要求 :
1. 學(xué)歷經(jīng)驗(yàn):本科及以上學(xué)歷,5年以上Java開(kāi)發(fā)經(jīng)驗(yàn),2年以上大數(shù)據(jù)平臺(tái)相關(guān)項(xiàng)目二次研發(fā)經(jīng)驗(yàn);
2. 技術(shù)能力: - 熟悉數(shù)據(jù)中臺(tái)架構(gòu),具備二次開(kāi)發(fā)能力(包括DolphinScheduler調(diào)度工具二次研發(fā)(必須),數(shù)據(jù)中臺(tái)開(kāi)發(fā)、數(shù)據(jù)治理等設(shè)計(jì)理念); - 熟悉OLAP引擎(Doris(必須)、MongoDB、redis、ES等); - 理解數(shù)據(jù)治理體系(質(zhì)量、安全、血緣);
3. 工程素養(yǎng): - 熟練使用Git、CI/CD流程,具備模塊化設(shè)計(jì)與編碼規(guī)范意識(shí); - 能編寫(xiě)高可讀性技術(shù)文檔,有單元測(cè)試/集成測(cè)試實(shí)踐經(jīng)驗(yàn);
4. 軟技能:邏輯清晰,具備技術(shù)方案落地能力,善于跨團(tuán)隊(duì)協(xié)作。