崗位職責(zé):
負(fù)責(zé)數(shù)據(jù)平臺的設(shè)計(jì)與研發(fā),支撐大規(guī)模數(shù)據(jù)的高效處理;
開展大數(shù)據(jù)相關(guān)技術(shù)的調(diào)研、選型與落地,持續(xù)提升平臺性能與穩(wěn)定性;
參與實(shí)時計(jì)算、批處理架構(gòu)的建設(shè)與優(yōu)化,保障數(shù)據(jù)鏈路的高可用與可擴(kuò)展性。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)或相關(guān)專業(yè),具備良好的工程實(shí)踐能力與問題解決能力;
2、熟悉 Linux/Unix 環(huán)境,精通 Java 或 Scala,熟練掌握 Python、Shell 等腳本語言;
3、掌握MapReduce、Spark、Flink等并行計(jì)算引擎;
4、掌握Hadoop、Hive、Hudi、Paimon等數(shù)據(jù)湖倉存儲組件;
5、有實(shí)時計(jì)算、大數(shù)據(jù)量數(shù)據(jù)處理項(xiàng)目經(jīng)驗(yàn);
6、熟悉 Redis、Elasticsearch、HBase、Druid、ClickHouse 等分布式存儲系統(tǒng),并具備實(shí)際調(diào)優(yōu)經(jīng)驗(yàn)者優(yōu)先;
7、加分:熟悉數(shù)據(jù)挖掘的常用算法,能夠進(jìn)行海量數(shù)據(jù)處理者優(yōu)先