【崗位職責(zé)】
1.數(shù)據(jù)平臺(tái)與架構(gòu)維護(hù):負(fù)責(zé)公司數(shù)據(jù)平臺(tái)的日常維護(hù)與優(yōu)化,解決數(shù)據(jù)高頻寫(xiě)入、多維度查詢的常見(jiàn)問(wèn)題;結(jié)合業(yè)務(wù)增長(zhǎng)規(guī)劃數(shù)據(jù)存儲(chǔ)(如 MySQL 分庫(kù)分表)和計(jì)算方案,提前設(shè)計(jì)數(shù)據(jù)量逐步增多后向大數(shù)據(jù)體系(Hadoop/Spark)遷移的技術(shù)路徑,保障數(shù)據(jù)鏈路穩(wěn)定可擴(kuò)展。?
2.ETL 開(kāi)發(fā)與需求攻堅(jiān):承接內(nèi)部積壓的數(shù)據(jù)開(kāi)發(fā)需求,基于 MySQL 完成數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載(ETL)全流程開(kāi)發(fā);設(shè)計(jì)增量 / 全量數(shù)據(jù)同步方案,優(yōu)化數(shù)據(jù)處理效率,構(gòu)建高質(zhì)量數(shù)據(jù)模型與數(shù)據(jù)集市。?
3.可視化報(bào)表開(kāi)發(fā):作為核心工作,根據(jù)業(yè)務(wù)核心指標(biāo)設(shè)計(jì)并開(kāi)發(fā)可視化報(bào)表;保障報(bào)表數(shù)據(jù)實(shí)時(shí)性(尤其業(yè)務(wù)高峰期),支持業(yè)務(wù)端通過(guò)報(bào)表快速定位問(wèn)題、獲取數(shù)據(jù)洞察,輔助決策落地。?
4.調(diào)度與數(shù)據(jù)質(zhì)量管控:基于 DolphinScheduler 搭建數(shù)據(jù)專(zhuān)屬調(diào)度體系,優(yōu)化任務(wù)依賴邏輯,降低業(yè)務(wù)峰值期數(shù)據(jù)延遲率;建立數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則(如數(shù)據(jù)一致性、準(zhǔn)確性校驗(yàn)),定期輸出質(zhì)量報(bào)告,推動(dòng)異常問(wèn)題解決。
5.協(xié)作與技術(shù)沉淀:聯(lián)動(dòng)業(yè)務(wù)、后端團(tuán)隊(duì),將業(yè)務(wù)需求轉(zhuǎn)化為技術(shù)方案;沉淀數(shù)據(jù)開(kāi)發(fā)最佳實(shí)踐,編寫(xiě)技術(shù)文檔并參與團(tuán)隊(duì)分享,提升整體開(kāi)發(fā)效率。?
【任職要求】
學(xué)歷與專(zhuān)業(yè):
本科及以上學(xué)歷,計(jì)算機(jī)、軟件工程、數(shù)據(jù)科學(xué)相關(guān)專(zhuān)業(yè)優(yōu)先;非相關(guān)專(zhuān)業(yè)但有 3 年以上數(shù)據(jù)開(kāi)發(fā)實(shí)戰(zhàn)經(jīng)驗(yàn)者亦可。?
工作經(jīng)驗(yàn):?
3 年及以上數(shù)據(jù)開(kāi)發(fā)工作經(jīng)驗(yàn),有零售、電商類(lèi)平臺(tái)數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;有數(shù)據(jù)平臺(tái)從 0 到 1 搭建,可獨(dú)立完成全鏈路數(shù)據(jù)開(kāi)發(fā)工作,或 MySQL 向大數(shù)據(jù)體系(Hadoop/Spark)遷移項(xiàng)目經(jīng)驗(yàn),能獨(dú)立輸出遷移方案者優(yōu)先。?
技術(shù)能力:?
1.數(shù)據(jù)庫(kù)與 SQL:精通 MySQL 索引優(yōu)化、事務(wù)原理,能獨(dú)立編寫(xiě)復(fù)雜 SQL(如多表關(guān)聯(lián)統(tǒng)計(jì))和存儲(chǔ)過(guò)程,有分庫(kù)分表設(shè)計(jì)調(diào)優(yōu)經(jīng)驗(yàn);?
2.ETL 開(kāi)發(fā):理解 ETL 流程原理,熟練使用 DataX/Kettle/Flink CDC等工具,能開(kāi)發(fā)實(shí)時(shí)數(shù)據(jù)同步、離線歷史數(shù)據(jù)回溯腳本,會(huì)設(shè)計(jì)數(shù)據(jù)模型(星型 / 雪花模型);?
3.調(diào)度工具:熟練掌握 DolphinScheduler 的任務(wù)編排、資源配置與故障排查,能自定義調(diào)度告警規(guī)則,保障核心任務(wù)不中斷;?
4.大數(shù)據(jù)技術(shù):掌握 Hadoop/Spark 離線計(jì)算、Flink 實(shí)時(shí)處理原理,能獨(dú)立設(shè)計(jì)實(shí)時(shí)看板、匯總報(bào)表方案,了解 Hive/HBase 存儲(chǔ)特性;?
5.可視化工具:熟練使用 Tableau/Power BI/ECharts/DataV 中的至少 1 種,能開(kāi)發(fā)支持下鉆分析的報(bào)表。?
6.編程語(yǔ)言:熟悉一個(gè)或以上主流編程語(yǔ)言,如python、java等,可通過(guò)編程語(yǔ)言進(jìn)行基礎(chǔ)的數(shù)據(jù)處理和數(shù)據(jù)分析。
軟技能:1.能快速理解全鏈路數(shù)據(jù)需求,輸出貼合業(yè)務(wù)的技術(shù)方案;2.擅長(zhǎng)問(wèn)題排查,能通過(guò)日志、校驗(yàn)規(guī)則定位數(shù)據(jù)異常,12 小時(shí)內(nèi)輸出解決方案;3.會(huì)規(guī)劃需求優(yōu)先級(jí),結(jié)合業(yè)務(wù)節(jié)奏高效推進(jìn)落地,不影響核心數(shù)據(jù)支撐;4.溝通能力強(qiáng),能向非技術(shù)團(tuán)隊(duì)解釋數(shù)據(jù)邏輯,推動(dòng)跨部門(mén)共識(shí)。
【薪資待遇】
1.薪資:試用期:總薪資*80%
轉(zhuǎn)正后:基礎(chǔ)薪資+績(jī)效
2.上班時(shí)間:8:30-18:00;單雙休調(diào)休。