【崗位職責(zé)】
1、負(fù)責(zé)核心數(shù)據(jù)平臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)設(shè)計(jì)與開(kāi)發(fā)工作,確保系統(tǒng)的高性能、高穩(wěn)定性和高擴(kuò)展性;
2、主導(dǎo)數(shù)據(jù)需求分析、數(shù)據(jù)建模、ETL/ELT 開(kāi)發(fā)、測(cè)試和上線等全流程工作;
3、解決海量數(shù)據(jù)處理、實(shí)時(shí)計(jì)算、數(shù)據(jù)傾斜等技術(shù)難題,持續(xù)優(yōu)化數(shù)據(jù)任務(wù)的性能與資源消耗;
4、負(fù)責(zé)關(guān)鍵模塊(如實(shí)時(shí)數(shù)據(jù)鏈路、核心數(shù)倉(cāng)模型)的技術(shù)攻關(guān),制定解決方案,確保數(shù)據(jù)項(xiàng)目的順利交付;
5、制定并推動(dòng)團(tuán)隊(duì)執(zhí)行數(shù)據(jù)開(kāi)發(fā)規(guī)范、數(shù)據(jù)建模規(guī)范和數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn);
6、組織并執(zhí)行代碼評(píng)審(Code Review / SQL Review),保障數(shù)據(jù)產(chǎn)出的準(zhǔn)確性與時(shí)效性,提升團(tuán)隊(duì)整體開(kāi)發(fā)質(zhì)量;
7、參與數(shù)據(jù)開(kāi)發(fā)與發(fā)布流程(DataOps)的建設(shè)與優(yōu)化,提升數(shù)據(jù)測(cè)試、部署和監(jiān)控的自動(dòng)化水平;
8、組織并參與技術(shù)分享,推動(dòng)技術(shù)團(tuán)隊(duì)在大數(shù)據(jù)架構(gòu)上的演進(jìn)與創(chuàng)新。
【任職要求】
1、本科學(xué)歷,大數(shù)據(jù)、計(jì)算機(jī)科學(xué)、軟件工程或相關(guān)領(lǐng)域?qū)I(yè);
2、5 年以上大數(shù)據(jù)平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn),有大型互聯(lián)網(wǎng)公司數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)湖建設(shè)經(jīng)驗(yàn)者優(yōu)先;
3、編程與計(jì)算引擎: 精通 Python、Java 或 Scala 編程語(yǔ)言,深入理解 JVM 原理;熟練掌握 Hadoop 生態(tài)(HDFS, Yarn, Hive),并精通 Spark 或 Flink 中至少一種主流計(jì)算引擎;
4、數(shù)據(jù)架構(gòu)與建模: 熟悉數(shù)據(jù)倉(cāng)庫(kù)建模理論(如維度建模),掌握數(shù)據(jù)分層、數(shù)據(jù)湖、湖倉(cāng)一體等架構(gòu)設(shè)計(jì)思想;
5、數(shù)據(jù)存儲(chǔ)與查詢(xún): 具備良好的 SQL 編寫(xiě)與優(yōu)化能力,熟悉主流 OLAP 引擎(如 ClickHouse, Doris, StarRocks)及 NoSQL 數(shù)據(jù)庫(kù)(如 HBase, Elasticsearch, Redis)的使用場(chǎng)景與調(diào)優(yōu);
6、數(shù)據(jù)管道與中間件: 掌握常用數(shù)據(jù)同步工具(如 DataX, Flink CDC),并精通消息隊(duì)列 Kafka 的使用與原理;
7、基礎(chǔ)環(huán)境與運(yùn)維: 熟悉 Linux 操作系統(tǒng)和常用 Shell 腳本,具備大數(shù)據(jù)組件的部署、監(jiān)控和問(wèn)題排查能力。