中国僵尸片,亚洲欧美国产另类视频,亚洲精品无码人妻无码,亚洲有码转帖,亚洲欧美精品伊人久久,97精品依人久久久

崗位職責(zé)：
1. 負(fù)責(zé)大模型（LLM）預(yù)訓(xùn)練、微調(diào)和對(duì)齊階段的數(shù)據(jù)處理工作(文本、語音、視頻)，包括數(shù)據(jù)收集、清洗、去重、標(biāo)注、格式轉(zhuǎn)換及質(zhì)量評(píng)估。
2.搭建大型的數(shù)據(jù)平臺(tái)，支持模型開發(fā)全周期的數(shù)據(jù)需求和數(shù)據(jù)處理；分析數(shù)據(jù)分布特征，識(shí)別并解決數(shù)據(jù)偏差、噪聲等問題，確保訓(xùn)練數(shù)據(jù)的多樣性和高質(zhì)量
3.開發(fā)自動(dòng)化數(shù)據(jù)處理工具與腳本，優(yōu)化數(shù)據(jù)清洗、標(biāo)注及質(zhì)量評(píng)估的效率和規(guī)模化能力
4.負(fù)責(zé)海量數(shù)據(jù)的爬取、清洗、解析、處理、存儲(chǔ)
5.與算法團(tuán)隊(duì)和數(shù)據(jù)標(biāo)注專家緊密協(xié)作，根據(jù)模型訓(xùn)練需求定制數(shù)據(jù)策略，提升預(yù)訓(xùn)練效果
6.研究和開發(fā)AI智能體技術(shù)，包括智能體的設(shè)計(jì)、實(shí)現(xiàn)和優(yōu)化，以支持大模型在各種應(yīng)用場(chǎng)景下的數(shù)據(jù)處理需求

任職要求：
1.計(jì)算機(jī)科學(xué)、人工智能、數(shù)學(xué)、統(tǒng)計(jì)學(xué)相關(guān)專業(yè)本科及以上學(xué)歷
2.具有構(gòu)造大模型預(yù)訓(xùn)練和SFT數(shù)據(jù)的實(shí)戰(zhàn)經(jīng)驗(yàn)，能夠針對(duì)特定領(lǐng)域或任務(wù)構(gòu)建對(duì)應(yīng)高質(zhì)量SFT數(shù)據(jù)，設(shè)計(jì)和執(zhí)行復(fù)雜的數(shù)據(jù)管道，以支持大規(guī)模數(shù)據(jù)集的自動(dòng)化處理和標(biāo)注
3.掌握Python及主流數(shù)據(jù)處理工具庫，理解數(shù)據(jù)清洗技術(shù)；熟悉數(shù)據(jù)質(zhì)量評(píng)估指標(biāo)（如多樣性、信息熵、毒性檢測(cè)）及統(tǒng)計(jì)分析工具
4.深入了解AI智能體技術(shù)和框架(如Langchain、Autogen)，包括感知、決策、執(zhí)行等模塊的設(shè)計(jì)和實(shí)現(xiàn)。
5.熟悉Scrapy、Selenium、Playwright等爬蟲框架，分布式爬蟲架構(gòu)（如Scrapy-Redis、Kafka+Celery）具備開發(fā)大規(guī)模數(shù)據(jù)爬取系統(tǒng)的經(jīng)驗(yàn)
6.熟悉多項(xiàng)大數(shù)據(jù)處理相關(guān)的框架（Spark、Flink、Ray、數(shù)據(jù)湖）優(yōu)先
7.有醫(yī)療數(shù)據(jù)處理相關(guān)經(jīng)驗(yàn)者優(yōu)先，發(fā)表過數(shù)據(jù)處理相關(guān)頂會(huì)論文，或參與過開源項(xiàng)目者優(yōu)先