職位描述
數(shù)據(jù)治理數(shù)據(jù)庫開發(fā)大數(shù)據(jù)開發(fā)PythonShellHadoopFlinkKafkaHADOOP 生態(tài)云原生數(shù)據(jù)平臺
任職要求:
· 通知大專及以上學歷,計算機科學, 軟件工程, 數(shù)據(jù)科學等相關專業(yè)。
· 5 年以上數(shù)據(jù)工程師經(jīng)驗,具備專業(yè)技能:精通 Linux 操作系統(tǒng),熟練使用 SQL,掌握至少一種大數(shù)據(jù)平臺(Hadoop 生態(tài)或云原生數(shù)據(jù)平臺)運維與數(shù)據(jù)治理實戰(zhàn)經(jīng)驗。
· 腳本語言(Python/Shell)。
· 熟悉大數(shù)據(jù)組件(如 Dataworks, Maxcompute, EMR, Flink, Redis, Kafka, CK, Hologres)的原理, 部署與調優(yōu)。
· 了解數(shù)據(jù)治理核心領域(數(shù)據(jù)質量, 元數(shù)據(jù), 數(shù)據(jù)安全, 合規(guī)),有數(shù)據(jù)治理工具(如 Collibra, Alation, Apache Atlas)使用經(jīng)驗者優(yōu)先。
· 熟悉至少一種云平臺(阿里云, AWS, Azure)的數(shù)據(jù)服務(如 EMR, Redshift, BigQuery),具備阿里云環(huán)境下數(shù)據(jù)平臺運維經(jīng)驗者優(yōu)先。
· 掌握數(shù)據(jù) pipeline 開發(fā)與優(yōu)化技巧,有 ETL 工具(如 DTS, DataStage, Informatica)或調度工具(Airflow)使用經(jīng)驗者優(yōu)先。
· 了解監(jiān)控與告警工具(CMS, Prometheus, Grafana), 容器化技術(K8s, Docker)者優(yōu)先。
· 具備良好的溝通協(xié)調能力,能有效對接業(yè)務, 合規(guī), 技術等跨團隊需求。
· 較強的問題分析與解決能力,能快速定位并處理平臺故障, 數(shù)據(jù)質量問題。
· 有責任心,抗壓能力強,具備持續(xù)學習新技術的熱情。
加分項:
· 持有 阿里云ACP認證, AWS SAA等相關證書。
· 主導過大型企業(yè)級數(shù)據(jù)治理項目,或有零售,金融,地產(chǎn)等行業(yè)數(shù)據(jù)合規(guī)經(jīng)驗。
· 熟悉數(shù)據(jù)建模理論,具備數(shù)據(jù)倉庫設計經(jīng)驗。
查看全部