職位描述: 1.負(fù)責(zé)大模型預(yù)訓(xùn)練數(shù)據(jù)的清洗、去噪與結(jié)構(gòu)化處理,構(gòu)建高質(zhì)量語料庫,支持模型訓(xùn)練需求。 2.設(shè)計并實現(xiàn)基于Python的高效數(shù)據(jù)處理Pipeline,優(yōu)化數(shù)據(jù)預(yù)處理流程,提升數(shù)據(jù)質(zhì)量。 3.擅長對接數(shù)據(jù)采集(上游)與模型訓(xùn)練(下游),制定數(shù)據(jù)規(guī)范、質(zhì)量監(jiān)控及閉環(huán)優(yōu)化策略,確保數(shù)據(jù)-模型高效協(xié)同。 核心技能要求: 1.編程能力 a. 熟練掌握Python語言,熟練使用正則表達式,掌握面向?qū)ο缶幊碳邦惖睦^承等,有html,json等數(shù)據(jù)處理經(jīng)驗。 b. 熟練掌握Linux,能夠自主進行conda環(huán)境配置與依賴管理,擅長使用grep/awk/sed等命令進行文本處理。 c. 具備NLP實戰(zhàn)經(jīng)驗,熟悉中文分詞技術(shù),掌握文本分類模型訓(xùn)練流程及調(diào)優(yōu)方法,有實際項目經(jīng)驗 2.加分項 a. 熟悉lxml,BeautifulSoup等技術(shù),有一定的爬蟲經(jīng)驗。 b. 熟悉DeepSeek、通義千問等國產(chǎn)大模型的選型、量化、推理加速及ollama部署,具備Prompt工程和RAG優(yōu)化等垂直領(lǐng)域適配經(jīng)驗。 c. 熟練部署并優(yōu)化開源工具,掌握容器化封裝、性能調(diào)優(yōu)及生產(chǎn)級落地能力,確保高效穩(wěn)定服務(wù)于業(yè)務(wù)場景。 d. 有spark分布式和并發(fā)數(shù)據(jù)處理經(jīng)驗; 任職資格: 1.本科及以上學(xué)歷(研究生優(yōu)先),計算機、數(shù)據(jù)科學(xué)、人工智能相關(guān)專業(yè)。 2.1年以上數(shù)據(jù)清洗/處理經(jīng)驗,有LLM或NLP項目經(jīng)驗者優(yōu)先。 3.具備良好的數(shù)據(jù)敏感度,能獨立解決復(fù)雜數(shù)據(jù)問題。 4.強烈的責(zé)任心與團隊協(xié)作能力,適應(yīng)快節(jié)奏技術(shù)迭代。