1、精通web,app抓取原理及技術(shù),熟悉常用的爬蟲(chóng)網(wǎng)絡(luò)框架及重要組件。
2、熟悉linux開(kāi)發(fā)環(huán)境和數(shù)據(jù)庫(kù),具備5年及以上java、python開(kāi)發(fā)經(jīng)驗(yàn),有安卓、ios開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。
3、具備js逆向、驗(yàn)證碼破解、app反編譯能力,精通爬蟲(chóng)相關(guān)技術(shù),如:httpClient/jSoup/xpath/CSS/正則表達(dá)式/驗(yàn)證碼加密處理/代理池等網(wǎng)頁(yè)信息抽取技術(shù),熟悉掌握熟悉xposedappnium等工具。
4、熟悉http(s)、TCP等網(wǎng)絡(luò)協(xié)議,熟練掌握Fiddler、charles、Http debugger等抓捕工具。
5、有金融行業(yè)大規(guī)模數(shù)據(jù)抓取經(jīng)驗(yàn)者優(yōu)先,有通用爬蟲(chóng)設(shè)計(jì)經(jīng)驗(yàn)者優(yōu)先。
6、熟悉分布式爬蟲(chóng)系統(tǒng)的開(kāi)發(fā)與維護(hù);熟悉數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換和存儲(chǔ);熟悉爬蟲(chóng)策略和防屏蔽規(guī)則,爬蟲(chóng)系統(tǒng)的優(yōu)化,監(jiān)控和報(bào)警,提升網(wǎng)頁(yè)抓取的效率和質(zhì)量。
7、有良好的團(tuán)隊(duì)協(xié)作能力、學(xué)習(xí)和理解能力,能較快了解和掌握新知識(shí);具備優(yōu)秀的邏輯思維,具備良好的溝通和推動(dòng)能力,主動(dòng)性強(qiáng)。