崗位職責(zé)
1.架構(gòu)設(shè)計(jì)與規(guī)劃:設(shè)計(jì)和規(guī)劃數(shù)據(jù)中臺(tái)的整體技術(shù)架構(gòu),包括數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、治理、服務(wù)等模塊,制定中長期技術(shù)演進(jìn)路線。
2.技術(shù)選型與評(píng)估:深入理解業(yè)務(wù)需求,評(píng)估和選擇適合企業(yè)需求的大數(shù)據(jù)技術(shù)棧(如Hadoop、Spark、Flink、Kafka、Hive、DataX、Airflow等),確保技術(shù)方案的先進(jìn)性與穩(wěn)定性。
3.核心系統(tǒng)設(shè)計(jì):主導(dǎo)數(shù)據(jù)倉庫/數(shù)據(jù)湖分層架構(gòu)設(shè)計(jì)、數(shù)據(jù)建模(維度建模、Data Vault等)、元數(shù)據(jù)管理、數(shù)據(jù)血緣、數(shù)據(jù)質(zhì)量體系等核心系統(tǒng)的架構(gòu)設(shè)計(jì)。
4.平臺(tái)集成與對(duì)接:設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)中臺(tái)與各業(yè)務(wù)系統(tǒng)、外部數(shù)據(jù)源、數(shù)據(jù)應(yīng)用之間的集成方案,支持跨系統(tǒng)、跨網(wǎng)絡(luò)的數(shù)據(jù)安全引接與服務(wù)輸出。
5.數(shù)據(jù)治理架構(gòu):構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、主數(shù)據(jù)管理等治理體系的技術(shù)架構(gòu),推動(dòng)數(shù)據(jù)資產(chǎn)化落地。
6.性能與穩(wěn)定性保障:優(yōu)化數(shù)據(jù)處理性能,設(shè)計(jì)高并發(fā)、低延遲的數(shù)據(jù)服務(wù)架構(gòu),確保平臺(tái)的高可用性與容災(zāi)能力。
7.團(tuán)隊(duì)指導(dǎo)與協(xié)作:指導(dǎo)開發(fā)、運(yùn)維、數(shù)據(jù)治理團(tuán)隊(duì)理解并實(shí)施架構(gòu)方案,組織技術(shù)評(píng)審,解決關(guān)鍵技術(shù)難題。
8.國產(chǎn)化適配:主導(dǎo)或參與數(shù)據(jù)中臺(tái)在國產(chǎn)化硬件、操作系統(tǒng)、數(shù)據(jù)庫等信創(chuàng)環(huán)境下的適配與優(yōu)化工作。
9.技術(shù)前瞻與創(chuàng)新:跟蹤大數(shù)據(jù)、數(shù)據(jù)湖、湖倉一體、DataOps、AI融合等前沿技術(shù),推動(dòng)技術(shù)創(chuàng)新與落地。
任職要求
1.計(jì)算機(jī)、軟件工程、信息技術(shù)或相關(guān)專業(yè)本科及以上學(xué)歷,5年以上大數(shù)據(jù)平臺(tái)開發(fā)或架構(gòu)經(jīng)驗(yàn),3年以上數(shù)據(jù)中臺(tái)項(xiàng)目架構(gòu)經(jīng)驗(yàn)。
2.精通主流大數(shù)據(jù)技術(shù)棧(Hadoop生態(tài)、Spark、Flink、Kafka等),熟悉數(shù)據(jù)倉庫建模理論與實(shí)踐。
3.具備百萬級(jí)企業(yè)數(shù)據(jù)中臺(tái)或數(shù)據(jù)平臺(tái)整體架構(gòu)設(shè)計(jì)交付案例,熟悉數(shù)據(jù)采集、清洗、存儲(chǔ)、計(jì)算、服務(wù)全流程。
4.深入理解數(shù)據(jù)治理核心領(lǐng)域(元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)安全)的技術(shù)實(shí)現(xiàn)方案。
5.熟悉微服務(wù)架構(gòu)、API網(wǎng)關(guān)、容器化(Docker/K8s)、云原生技術(shù),具備平臺(tái)化、服務(wù)化設(shè)計(jì)能力。
6.具備良好的溝通協(xié)調(diào)能力、系統(tǒng)思維,能夠推動(dòng)團(tuán)隊(duì)技術(shù)落地。
7.具備較強(qiáng)的技術(shù)文檔編寫能力,能清晰表達(dá)復(fù)雜技術(shù)方案。