崗位職責(zé):
1、配合產(chǎn)品規(guī)劃、完善數(shù)據(jù)產(chǎn)品功能、服務(wù)、業(yè)務(wù)流程,并解決系統(tǒng)開發(fā)、運(yùn)行中出現(xiàn)的各種問題等;
2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫規(guī)劃、設(shè)計(jì)、開發(fā)及各業(yè)務(wù)數(shù)據(jù)采集、清洗、整合、調(diào)度、優(yōu)化等工作;
3、參與內(nèi)部數(shù)據(jù)治理工作,包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)權(quán)限管理、制定數(shù)據(jù)開發(fā)規(guī)范等;
4、負(fù)責(zé)解決大數(shù)據(jù)集群和線上數(shù)據(jù)服務(wù)實(shí)際問題,保障大數(shù)據(jù)集群及應(yīng)用安全、高效、穩(wěn)定運(yùn)行
5、負(fù)責(zé)大數(shù)據(jù)中心數(shù)據(jù)運(yùn)維、ETL設(shè)計(jì)和任務(wù)配置、數(shù)據(jù)共享開放等;
6、配合產(chǎn)品部門進(jìn)行數(shù)據(jù)處理、查詢、開發(fā)、統(tǒng)計(jì)和分析工作;
任職要求:
1、3年以上大數(shù)據(jù)離線數(shù)倉(cāng)項(xiàng)目開發(fā)經(jīng)驗(yàn),熟練掌握倉(cāng)庫模型設(shè)計(jì)以及ETL開發(fā);
2、熟練掌握Hadoop生態(tài)系統(tǒng)及相關(guān)技術(shù),如Hdfs、Hive、Spark、Scale、Kafka、Flink等;
3、熟練掌握基于Doris、dolphinscheduler自建數(shù)據(jù)平臺(tái)的部署、運(yùn)維以及應(yīng)用;
4、熟悉大數(shù)據(jù)完整業(yè)務(wù)處理流程,包括數(shù)據(jù)采集、清洗、預(yù)處理、存儲(chǔ)、任務(wù)調(diào)度、分析挖掘和可視化等;
4、熟悉MySQL、Clickhouse、ElasticSearche、Redis等數(shù)據(jù)庫;
5、精通數(shù)據(jù)倉(cāng)庫設(shè)計(jì)原則、熟練應(yīng)用SQL進(jìn)行復(fù)雜業(yè)務(wù)查詢、數(shù)據(jù)操作以及SQL性能調(diào)優(yōu);
6、擁有良好的問題解決能力和團(tuán)隊(duì)合作精神,能夠在高強(qiáng)度工作環(huán)境獨(dú)立開展工作;