(和國網(wǎng)對接)
具備4年以上大數(shù)據(jù)技術(shù)開發(fā)工作經(jīng)驗,參與過中型規(guī)模項目(9-15人團隊),負責關(guān)鍵模塊的設(shè)計和實現(xiàn)。
1、編程和腳本語言:熟悉Java、Scala、Python等編程語言,能夠編寫高效的數(shù)據(jù)處理和分析代碼,同時熟練使用Shell腳本進行系統(tǒng)操作和自動化任務(wù)。
2、大數(shù)據(jù)處理框架:熟悉Hadoop生態(tài)系統(tǒng),包括HDFS、MapReduce、YARN等,能夠進行分布式數(shù)據(jù)處理;熟練使用Spark進行數(shù)據(jù)處理,了解其核心組件和優(yōu)化技術(shù);了解Flink等實時數(shù)據(jù)處理框架,具備流計算處理能力。
3、數(shù)據(jù)存儲和管理:熟悉NoSQL數(shù)據(jù)庫,如HBase、Hive、ClickHouse等,能夠設(shè)計和優(yōu)化數(shù)據(jù)模型,進行大規(guī)模數(shù)據(jù)存儲;了解數(shù)據(jù)倉庫技術(shù),如Impala、Presto、Doris等,能夠進行大規(guī)模數(shù)據(jù)查詢和分析。
4、數(shù)據(jù)流和消息系統(tǒng):熟練使用Kafka、RabbitMQ、Datahub等消息隊列系統(tǒng),能夠?qū)崿F(xiàn)高吞吐量的數(shù)據(jù)流處理;了解實時數(shù)據(jù)處理技術(shù),如Flink、Storm,能夠構(gòu)建低延遲的數(shù)據(jù)處理管道
5、數(shù)據(jù)處理和分析:具備數(shù)據(jù)清洗、預處理、轉(zhuǎn)換和建模的能力,能夠處理復雜的數(shù)據(jù)集;熟悉數(shù)據(jù)挖掘和機器學習算法,能夠使用工具如Spark MLlib、Scikit-learn進行數(shù)據(jù)分析和建模。
6、數(shù)據(jù)中臺開發(fā)能力:熟悉數(shù)據(jù)中臺相關(guān)生態(tài)組件的使用和優(yōu)化,如Dataworks、MaxCompute、QuickBI等,能夠編寫復雜SQL腳本進行業(yè)務(wù)指標的計算分析,能夠完成數(shù)據(jù)中臺腳本開發(fā)與數(shù)據(jù)處理工作。
7、數(shù)據(jù)可視化:熟練使用數(shù)據(jù)可視化工具,如QuickBI、帆軟報表等,能夠?qū)?shù)據(jù)分析結(jié)果可視化展示,以便更好地進行數(shù)據(jù)驅(qū)動的決策。
8、數(shù)據(jù)湖:了解Apache Hudi和Delta Lake等數(shù)據(jù)湖技術(shù),能夠基于數(shù)據(jù)湖開展數(shù)據(jù)分析和處理工作。
1.本科及以上學歷,計算機專業(yè)優(yōu)先。
2.java開發(fā)工作經(jīng)驗5年以上,后臺服務(wù)開發(fā)3年以上 。
3.具備較強的業(yè)務(wù)分析能力,能夠獨立解決問題 。
4.能夠獨立進行需求對接并進行大數(shù)據(jù)開發(fā) 。
5.在項目中使用flink或者spark等大數(shù)據(jù)開發(fā)工作經(jīng)驗4年以上者優(yōu)先 。
6.具備大規(guī)模分布式后臺服務(wù)開發(fā)工作經(jīng)驗4年以上者優(yōu)先