崗位職責(zé):
1.負(fù)責(zé)使用 Python 開發(fā)高效、獲取公開或授權(quán)的網(wǎng)絡(luò)數(shù)據(jù);
2.優(yōu)化程序,確保數(shù)據(jù)獲取的穩(wěn)定性和效率;
3.對采集的數(shù)據(jù)進(jìn)行清洗、去重、結(jié)構(gòu)化存儲(如MySQL、CSV等);
4.構(gòu)建自動化數(shù)據(jù)采集與監(jiān)控系統(tǒng),確保數(shù)據(jù)更新的及時性;
5.配合數(shù)據(jù)分析師或業(yè)務(wù)團(tuán)隊(duì),提供高質(zhì)量的數(shù)據(jù)支持;
6.編寫技術(shù)文檔,維護(hù)采集代碼,優(yōu)化數(shù)據(jù)采集流程。
任職要求:
1.具有2年以上數(shù)據(jù)開發(fā)經(jīng)驗(yàn),計(jì)算機(jī)相關(guān)專業(yè)??萍耙陨?;
2.熟練掌握 Python,熟悉 Requests、Scrapy、BeautifulSoup、Selenium 等;
3.熟悉 HTML/CSS/JavaScript,能解析動態(tài)網(wǎng)頁(如Ajax、SPA等);
4.掌握 XPath、正則表達(dá)式(Regex) 等數(shù)據(jù)提取技術(shù);
5.熟悉數(shù)據(jù)庫(MySQL、SQL等),能設(shè)計(jì)合理的數(shù)據(jù)存儲方案;
6.了解 HTTP/HTTPS 協(xié)議,熟悉 Headers、Cookies、Session 等網(wǎng)絡(luò)請求機(jī)制