工作單位:用電公司
崗位職責(zé):
1、負(fù)責(zé)收集公司各產(chǎn)品線相關(guān)的數(shù)據(jù),并進(jìn)行清洗、轉(zhuǎn)換和加載操作,確保數(shù)據(jù)的質(zhì)量和可用性。
2、負(fù)責(zé)構(gòu)建高質(zhì)量、領(lǐng)域適配的指令數(shù)據(jù)對(duì),并通過(guò)清洗、增強(qiáng)、評(píng)估確保數(shù)據(jù)在語(yǔ)義一致性、多樣性和安全性上滿足微調(diào)需求。
3、負(fù)責(zé)將多源異構(gòu)數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化知識(shí),并通過(guò)高效存儲(chǔ)與檢索系統(tǒng)支撐大模型的知識(shí)增強(qiáng)與應(yīng)用。
崗位要求:
1、本科及以上學(xué)歷(計(jì)算機(jī)、電氣工程、數(shù)學(xué)、人工智能等相關(guān)專業(yè)),具有良好的溝通協(xié)調(diào)能力、邏輯思維能力和學(xué)習(xí)能力;
2、3年以上數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)或者1年以上大模型數(shù)據(jù)工程相關(guān)經(jīng)驗(yàn),有電力領(lǐng)域數(shù)據(jù)治理? 經(jīng)驗(yàn)者優(yōu)先;精通Java、Python(Pandas/Numpy)、SQL;
3、熟悉以下至少一項(xiàng)技術(shù),1)精通數(shù)據(jù)清洗、ETL流程?,處理過(guò)TB級(jí)數(shù)據(jù)?,2)熟悉數(shù)據(jù)質(zhì)量評(píng)估?(重復(fù)率、信息密度、毒性檢測(cè)),熟悉數(shù)據(jù)增強(qiáng)技術(shù);3)有結(jié)構(gòu)化知識(shí)轉(zhuǎn)化經(jīng)驗(yàn),熟悉向量數(shù)據(jù)庫(kù) 或圖數(shù)據(jù)庫(kù)。
4、開(kāi)發(fā)過(guò)自動(dòng)化數(shù)據(jù)清洗工具或數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)?,熟悉多模態(tài)數(shù)據(jù)處理優(yōu)先