(和國(guó)網(wǎng)對(duì)接)
具備4年以上大數(shù)據(jù)技術(shù)開(kāi)發(fā)工作經(jīng)驗(yàn),參與過(guò)中型規(guī)模項(xiàng)目(9-15人團(tuán)隊(duì)),負(fù)責(zé)關(guān)鍵模塊的設(shè)計(jì)和實(shí)現(xiàn)。
1、編程和腳本語(yǔ)言:熟悉Java、Scala、Python等編程語(yǔ)言,能夠編寫(xiě)高效的數(shù)據(jù)處理和分析代碼,同時(shí)熟練使用Shell腳本進(jìn)行系統(tǒng)操作和自動(dòng)化任務(wù)。
2、大數(shù)據(jù)處理框架:熟悉Hadoop生態(tài)系統(tǒng),包括HDFS、MapReduce、YARN等,能夠進(jìn)行分布式數(shù)據(jù)處理;熟練使用Spark進(jìn)行數(shù)據(jù)處理,了解其核心組件和優(yōu)化技術(shù);了解Flink等實(shí)時(shí)數(shù)據(jù)處理框架,具備流計(jì)算處理能力。
3、數(shù)據(jù)存儲(chǔ)和管理:熟悉NoSQL數(shù)據(jù)庫(kù),如HBase、Hive、ClickHouse等,能夠設(shè)計(jì)和優(yōu)化數(shù)據(jù)模型,進(jìn)行大規(guī)模數(shù)據(jù)存儲(chǔ);了解數(shù)據(jù)倉(cāng)庫(kù)技術(shù),如Impala、Presto、Doris等,能夠進(jìn)行大規(guī)模數(shù)據(jù)查詢和分析。
4、數(shù)據(jù)流和消息系統(tǒng):熟練使用Kafka、RabbitMQ、Datahub等消息隊(duì)列系統(tǒng),能夠?qū)崿F(xiàn)高吞吐量的數(shù)據(jù)流處理;了解實(shí)時(shí)數(shù)據(jù)處理技術(shù),如Flink、Storm,能夠構(gòu)建低延遲的數(shù)據(jù)處理管道
5、數(shù)據(jù)處理和分析:具備數(shù)據(jù)清洗、預(yù)處理、轉(zhuǎn)換和建模的能力,能夠處理復(fù)雜的數(shù)據(jù)集;熟悉數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)算法,能夠使用工具如Spark MLlib、Scikit-learn進(jìn)行數(shù)據(jù)分析和建模。
6、數(shù)據(jù)中臺(tái)開(kāi)發(fā)能力:熟悉數(shù)據(jù)中臺(tái)相關(guān)生態(tài)組件的使用和優(yōu)化,如Dataworks、MaxCompute、QuickBI等,能夠編寫(xiě)復(fù)雜SQL腳本進(jìn)行業(yè)務(wù)指標(biāo)的計(jì)算分析,能夠完成數(shù)據(jù)中臺(tái)腳本開(kāi)發(fā)與數(shù)據(jù)處理工作。
7、數(shù)據(jù)可視化:熟練使用數(shù)據(jù)可視化工具,如QuickBI、帆軟報(bào)表等,能夠?qū)?shù)據(jù)分析結(jié)果可視化展示,以便更好地進(jìn)行數(shù)據(jù)驅(qū)動(dòng)的決策。
8、數(shù)據(jù)湖:了解Apache Hudi和Delta Lake等數(shù)據(jù)湖技術(shù),能夠基于數(shù)據(jù)湖開(kāi)展數(shù)據(jù)分析和處理工作。
1.本科及以上學(xué)歷,計(jì)算機(jī)專(zhuān)業(yè)優(yōu)先。
2.java開(kāi)發(fā)工作經(jīng)驗(yàn)5年以上,后臺(tái)服務(wù)開(kāi)發(fā)3年以上 。
3.具備較強(qiáng)的業(yè)務(wù)分析能力,能夠獨(dú)立解決問(wèn)題 。
4.能夠獨(dú)立進(jìn)行需求對(duì)接并進(jìn)行大數(shù)據(jù)開(kāi)發(fā) 。
5.在項(xiàng)目中使用flink或者spark等大數(shù)據(jù)開(kāi)發(fā)工作經(jīng)驗(yàn)4年以上者優(yōu)先 。
6.具備大規(guī)模分布式后臺(tái)服務(wù)開(kāi)發(fā)工作經(jīng)驗(yàn)4年以上者優(yōu)先