崗位職責
- 負責MySQL分庫分表場景下的數(shù)據(jù)清洗、轉(zhuǎn)換與遷移,保障數(shù)據(jù)準確、完整、一致。
- 設計并優(yōu)化數(shù)據(jù)清洗邏輯,解決異常、重復、缺失等質(zhì)量問題。
- 開發(fā)并維護數(shù)據(jù)清洗工具/平臺,支持批量/實時需求;編寫高質(zhì)量Java代碼,完成單元測試與性能調(diào)優(yōu)。
- 協(xié)同業(yè)務、運維團隊,監(jiān)控并快速恢復清洗任務,推動數(shù)據(jù)治理體系持續(xù)優(yōu)化。
任職要求
一、技術(shù)能力
1. 本科及以上學歷,計算機相關(guān)專業(yè),3年以上Java開發(fā)經(jīng)驗,有一定的團隊管理經(jīng)驗。
2. 精通Java多線程、集合框架、JVM調(diào)優(yōu),熟悉Spring Boot/Spring Cloud等框架。
3. 深入理解MySQL數(shù)據(jù)庫原理,熟悉索引優(yōu)化、SQL調(diào)優(yōu)、事務隔離機制。
4. 具備分庫分表實際項目經(jīng)驗,熟悉ShardingSphere/MyCat/Vitess等中間件。
5. 掌握數(shù)據(jù)清洗方法(ETL、正則表達式、模糊匹配等),熟悉Kettle/DataX等工具者優(yōu)先。
6.熟悉分布式事務(Seata、TCC等)、分布式鎖等分布式系統(tǒng)技術(shù)。
7.能獨立分析分庫分表環(huán)境下的數(shù)據(jù)一致性問題,提出解決方案并落地。
二、加分項
1. 有大數(shù)據(jù)處理經(jīng)驗(Hadoop/Spark/Flink)。
2. 熟悉數(shù)據(jù)倉庫建模、數(shù)據(jù)治理(DQC)相關(guān)技術(shù)。
3. 有金融、電商等高并發(fā)場景下的數(shù)據(jù)清洗經(jīng)驗。