崗位職責(zé)
負(fù)責(zé)基于 Apache Doris 的數(shù)據(jù)倉庫建設(shè)與性能優(yōu)化工作;
參與數(shù)倉模型設(shè)計(ODS、DWD、DWS、ADS 各層級),完成數(shù)據(jù)集市與指標(biāo)體系開發(fā);
負(fù)責(zé)編寫和維護(hù) ETL流程(調(diào)度、任務(wù)拆分、數(shù)據(jù)清洗、增量同步、快照拉鏈等);
優(yōu)化SQL查詢性能,解決分布式查詢、導(dǎo)入、分區(qū)、Rollup 等相關(guān)性能問題;
任職要求
計算機(jī)、信息管理、數(shù)學(xué)或相關(guān)專業(yè),本科及以上學(xué)歷;
精通Doris數(shù)據(jù)庫架構(gòu)與SQL調(diào)優(yōu),有實際生產(chǎn)項目經(jīng)驗;
熟悉主流ETL開發(fā)工具或調(diào)度框架(如DataX、Airflow、RestCloud等);
熟悉數(shù)倉分層建模思想(ODS、DWD、DWS、ADS)及 Kimball模型設(shè)計方法;
具備扎實的SQL功底和Shell/Python腳本能力,能獨立開發(fā)ETL任務(wù);
熟悉MySQL、Hive、ClickHouse、SparkSQL等數(shù)據(jù)庫者優(yōu)先;
有電商、制造、供應(yīng)鏈、CRM 等行業(yè)數(shù)據(jù)倉庫建設(shè)經(jīng)驗者優(yōu)先。
加分項
有數(shù)據(jù)中臺、指標(biāo)口徑管理或數(shù)據(jù)血緣平臺經(jīng)驗;
熟悉Doris集群部署、冷熱分層存儲、物化視圖優(yōu)化;
能根據(jù)業(yè)務(wù)邏輯獨立設(shè)計指標(biāo)體系和主題域數(shù)據(jù)集市;
有使用 RestCloud、FineBI、OpenMetadata 等工具經(jīng)驗者加分。