職位概要
我們正在尋找?位兼具技術(shù)深度與管理能?的“數(shù)據(jù)負(fù)責(zé)?”,能夠統(tǒng)籌公司整體數(shù)據(jù)體系
建設(shè),負(fù)責(zé)數(shù)據(jù)采集、集成、清洗、存儲(chǔ)、特征加?及數(shù)據(jù)質(zhì)量管理等全流程?作。
該職位要求候選?既能親?下場(chǎng)解決復(fù)雜數(shù)據(jù)問(wèn)題,也能帶領(lǐng)?團(tuán)隊(duì)打造穩(wěn)定、?質(zhì)量
的數(shù)據(jù)基礎(chǔ)設(shè)施,為公司后續(xù)的算法、分析與產(chǎn)品提供堅(jiān)實(shí)?撐。
主要職責(zé)
1. 數(shù)據(jù)架構(gòu)規(guī)劃與實(shí)施
負(fù)責(zé)數(shù)據(jù)平臺(tái)架構(gòu)設(shè)計(jì),建?從原始數(shù)據(jù)到特征數(shù)據(jù)的全流程標(biāo)準(zhǔn);
優(yōu)化數(shù)據(jù)流轉(zhuǎn)、同步與更新機(jī)制,確保系統(tǒng)的穩(wěn)定性、可擴(kuò)展性與成本效率。
2. 數(shù)據(jù)采集與整合
設(shè)計(jì)與維護(hù)多源數(shù)據(jù)接?(API、爬取、?件批量導(dǎo)?等);
負(fù)責(zé)供應(yīng)商或外部數(shù)據(jù)源的技術(shù)對(duì)接、格式轉(zhuǎn)換與數(shù)據(jù)驗(yàn)證。
3. 數(shù)據(jù)清洗與質(zhì)量管理
建??動(dòng)化的數(shù)據(jù)清洗、校驗(yàn)和異常監(jiān)控機(jī)制;
招聘需求
1設(shè)計(jì)數(shù)據(jù)標(biāo)準(zhǔn)化流程(?期、時(shí)區(qū)、單位、ID匹配等),保證數(shù)據(jù)?致性與可追
溯性。
4. 特征?程與數(shù)據(jù)加?
建?特征?成與管理體系(版本控制、時(shí)間窗?、延遲期、可復(fù)現(xiàn)性);
與建模團(tuán)隊(duì)協(xié)作,優(yōu)化特征設(shè)計(jì)及數(shù)據(jù)交付效率。
5. 數(shù)據(jù)平臺(tái)與基礎(chǔ)設(shè)施
規(guī)劃并管理數(shù)據(jù)存儲(chǔ)、備份、權(quán)限、安全與合規(guī);
參與數(shù)據(jù)集群、管道調(diào)度、數(shù)據(jù)湖或數(shù)倉(cāng)的設(shè)計(jì)與維護(hù)。
6. 團(tuán)隊(duì)建設(shè)與管理
招聘、培養(yǎng)并帶領(lǐng)數(shù)據(jù)?程師團(tuán)隊(duì);
制定研發(fā)規(guī)范與流程,推動(dòng)代碼質(zhì)量與團(tuán)隊(duì)協(xié)作效率提升。
任職要求
技術(shù)能?
精通 Python 與 SQL,熟悉主流數(shù)據(jù)庫(kù)與分布式計(jì)算框架(如 Spark、
ClickHouse、Presto、Flink 等);
熟悉 數(shù)據(jù)編排?具(Airflow、Prefect、Argo等)與任務(wù)調(diào)度機(jī)制;
了解 云端與容器化環(huán)境(AWS、GCP、K8s、Docker);
具備數(shù)據(jù)質(zhì)量管理與?動(dòng)化測(cè)試經(jīng)驗(yàn)(如 Great Expectations、Soda、?研框架
等);
理解時(shí)間序列數(shù)據(jù)與特征滯后處理,熟悉版本化數(shù)據(jù)管理與數(shù)據(jù)契約概念;
具備基礎(chǔ)的Linux、Git、CI/CD 流程知識(shí)。
經(jīng)驗(yàn)背景
5年以上數(shù)據(jù)?程或數(shù)據(jù)平臺(tái)搭建經(jīng)驗(yàn);
?少2年技術(shù)團(tuán)隊(duì)管理或項(xiàng)?負(fù)責(zé)?經(jīng)驗(yàn);
有復(fù)雜系統(tǒng)中構(gòu)建?可?數(shù)據(jù)架構(gòu)的成功案例;
招聘需求
2熟悉多源異構(gòu)數(shù)據(jù)治理與數(shù)據(jù)合規(guī)(隱私、版權(quán)、使?協(xié)議等)。
個(gè)?特質(zhì)
強(qiáng)執(zhí)??與問(wèn)題導(dǎo)向,能獨(dú)?解決模糊環(huán)境下的復(fù)雜問(wèn)題;
既有戰(zhàn)略思維,?愿意親?編程和調(diào)試;
注重質(zhì)量、穩(wěn)定性與?程可復(fù)現(xiàn)性;
善于跨部門溝通,能與算法、運(yùn)維、業(yè)務(wù)等多??效協(xié)作。
加分項(xiàng)(可選但強(qiáng)烈歡迎)
有AI / NLP / ?模型 / 推薦系統(tǒng) / ?控 / 科研數(shù)據(jù)等項(xiàng)?經(jīng)驗(yàn);
熟悉 特征商店(Feature Store)、數(shù)據(jù)湖(Data Lake)、數(shù)據(jù)契約(Data
Contract) 實(shí)踐;
對(duì)數(shù)據(jù)可觀測(cè)性(data observability)、特征漂移(drift)、數(shù)據(jù)版本化等有實(shí)戰(zhàn)經(jīng)
驗(yàn);
有創(chuàng)業(yè)?態(tài),愿意在?標(biāo)準(zhǔn)與??由度的環(huán)境中搭建從0到1的體系。