工作職責(zé)
1、大模型相關(guān)數(shù)據(jù)獲取和處理:深度參與大模型/AI相關(guān)業(yè)務(wù)的開(kāi)發(fā),負(fù)責(zé)數(shù)據(jù)構(gòu)建,管理和質(zhì)量提升工作;
2、數(shù)據(jù)工程算法開(kāi)發(fā):負(fù)責(zé)大模型數(shù)據(jù)工程能力構(gòu)建,開(kāi)發(fā)高效的數(shù)據(jù)獲取、過(guò)濾清洗等基礎(chǔ)功能,并根據(jù)業(yè)務(wù)需求結(jié)合AI方法提升數(shù)據(jù)質(zhì)量。
工作要求
1、本科以上學(xué)歷,計(jì)算機(jī)相關(guān)專(zhuān)業(yè),3年以上開(kāi)發(fā)經(jīng)驗(yàn),熟悉合法合規(guī)的數(shù)據(jù)獲取機(jī)制和方法,熟悉數(shù)據(jù)過(guò)濾清洗、質(zhì)量提升等算法和流程,有大數(shù)據(jù)或大模型相關(guān)從業(yè)經(jīng)驗(yàn)者優(yōu)先;
2、熟練掌握java、scala或python等編程語(yǔ)言,擁有spark/hadoop開(kāi)發(fā)經(jīng)驗(yàn),深入理解大規(guī)模分布式數(shù)據(jù)處理流程;
3、精通互聯(lián)網(wǎng)協(xié)議、熟悉正則表達(dá)式,熟悉數(shù)據(jù)挖掘和搜索引擎相關(guān)知識(shí)技能,具備開(kāi)發(fā)網(wǎng)絡(luò)爬蟲(chóng)、處理網(wǎng)頁(yè)信息等工作經(jīng)驗(yàn);
4、對(duì)新技術(shù)保持好奇心,同時(shí)具有良好的溝通、學(xué)習(xí)和分析解決問(wèn)題能力。