崗位職責(zé):
1、負(fù)責(zé)使用集團(tuán)及公司自研的大數(shù)據(jù)平臺(tái),對(duì)內(nèi)部各業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行采集、清洗1.轉(zhuǎn)換和加載(ETL/ELT)工作,確保數(shù)據(jù)準(zhǔn)確、及時(shí)地進(jìn)入數(shù)據(jù)平臺(tái)。
2.參與數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)湖的設(shè)計(jì)、建模及分層建設(shè),構(gòu)建規(guī)范的數(shù)據(jù)模型,提供穩(wěn)定高效的數(shù)據(jù)基礎(chǔ)層。
3.開發(fā)和優(yōu)化數(shù)據(jù)處理流程及任務(wù),包括離線批處理和可能的實(shí)時(shí)流處理,提升數(shù)據(jù)處理效率和資源利用率。
4.負(fù)責(zé)數(shù)據(jù)質(zhì)量的監(jiān)控和管理,建立數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則,保障數(shù)據(jù)資產(chǎn)的可靠性
5.與業(yè)務(wù)團(tuán)隊(duì)、數(shù)據(jù)分析師和應(yīng)用開發(fā)工程師緊密協(xié)作,理解數(shù)據(jù)需求,提供高質(zhì)量的數(shù)據(jù)支持,助力內(nèi)部運(yùn)營(yíng)分析、報(bào)表可視化及 AI/ML 應(yīng)用開發(fā)。
6.編寫相關(guān)技術(shù)設(shè)計(jì)文檔、開發(fā)規(guī)范和操作手冊(cè),負(fù)責(zé)數(shù)據(jù)任務(wù)的日常監(jiān)控和維護(hù)。
任職要求:
1.精通 SQL,具備復(fù)雜 SQL 編寫、性能調(diào)優(yōu)以及常用數(shù)據(jù)庫(kù)(如 MySQLPostgreSQL)的使用經(jīng)驗(yàn)。
2.熟練掌握至少一種主流編程語(yǔ)言(如 Python,Java,Scala),并有實(shí)際的數(shù)據(jù)處理或腳本開發(fā)經(jīng)驗(yàn),
3.扎實(shí)的數(shù)據(jù)倉(cāng)庫(kù)理論基礎(chǔ),熟悉維度建模等方法,理解數(shù)據(jù)倉(cāng)庫(kù)各層的作用和設(shè)計(jì)原則。
4.熟悉大數(shù)據(jù)生態(tài)圈的常用技術(shù)或工具,如 Hadoop、Spark、Hive 等
5.具備良好的數(shù)據(jù)敏感度和分析能力,能夠從數(shù)據(jù)中發(fā)現(xiàn)問(wèn)題,
6.具備良好的溝通協(xié)作能力和解決問(wèn)題的能力,對(duì)數(shù)據(jù)工作充滿熱情。