職位描述
數(shù)據(jù)采集數(shù)據(jù)清洗PythonScrapyrequests
工作職責(zé)：
1. 負責(zé)設(shè)計和搭建高效的分布式爬蟲系統(tǒng)；
2. 開發(fā)、維護爬蟲系統(tǒng)，包括調(diào)度、抓取、維護、驗證等爬蟲工作；
3. 對不同網(wǎng)站的防御機制和反爬蟲策略進行深入研究，提煉關(guān)鍵技術(shù)點。
4. 能夠解決協(xié)議反爬、風(fēng)控、人機識別等高級問題。
5. 負責(zé)爬蟲技術(shù)難點的攻克;
任職要求：
1. 對Python和計算機網(wǎng)絡(luò)有深入理解，能夠熟練運用多線程技術(shù)，掌握主流爬中框架；
2. 精通JavaScript逆向工程、虛擬機、代碼混淆、抽象語法樹(AST)等技術(shù)，并有實際的JavaScript逆向和分析；
3. 熟悉常見反爬機制，驗證碼識別，IP代理池應(yīng)用lp池、headers認(rèn)證和cookie等;
4. 能夠分析網(wǎng)絡(luò)鏈路，并處理TLS/HTTP2等協(xié)議流量識別、IP識別問題；
5. 了解基本的機器學(xué)習(xí)算法，可解決一些基礎(chǔ)的圖像驗證碼識別、人機對抗等問題；
6. 熟悉Redis、MySQL、MongoDB等數(shù)據(jù)庫技術(shù)，并有SQL或NOSQL數(shù)據(jù)庫實踐經(jīng)驗；
7. 熟悉wireshark tcpdump等進行流量分析，了解大部分計算機網(wǎng)絡(luò)基本原理；
8. 了解分布式隊列、中間件等基礎(chǔ)架構(gòu)組件；
1. 負責(zé)設(shè)計和搭建高效的分布式爬蟲系統(tǒng)；
2. 開發(fā)、維護爬蟲系統(tǒng)，包括調(diào)度、抓取、維護、驗證等爬蟲工作；
3. 對不同網(wǎng)站的防御機制和反爬蟲策略進行深入研究，提煉關(guān)鍵技術(shù)點。
4. 能夠解決協(xié)議反爬、風(fēng)控、人機識別等高級問題。
5. 負責(zé)爬蟲技術(shù)難點的攻克;
任職要求：
1. 對Python和計算機網(wǎng)絡(luò)有深入理解，能夠熟練運用多線程技術(shù)，掌握主流爬中框架；
2. 精通JavaScript逆向工程、虛擬機、代碼混淆、抽象語法樹(AST)等技術(shù)，并有實際的JavaScript逆向和分析；
3. 熟悉常見反爬機制，驗證碼識別，IP代理池應(yīng)用lp池、headers認(rèn)證和cookie等;
4. 能夠分析網(wǎng)絡(luò)鏈路，并處理TLS/HTTP2等協(xié)議流量識別、IP識別問題；
5. 了解基本的機器學(xué)習(xí)算法，可解決一些基礎(chǔ)的圖像驗證碼識別、人機對抗等問題；
6. 熟悉Redis、MySQL、MongoDB等數(shù)據(jù)庫技術(shù)，并有SQL或NOSQL數(shù)據(jù)庫實踐經(jīng)驗；
7. 熟悉wireshark tcpdump等進行流量分析，了解大部分計算機網(wǎng)絡(luò)基本原理；
8. 了解分布式隊列、中間件等基礎(chǔ)架構(gòu)組件；
工作地點
成都市-郫都區(qū)-古楠街97號
相似職位
- 爬蟲工程師實習(xí)150-200元/天
成都 - 成華
成都筑川科技有限公司 - 爬蟲工程師8000-13000元
成都 - 郫都
中鐵科學(xué)研究院集團有限公司 - Python工程師(爬蟲方向)6000-10000元·13薪
成都 - 錦江
成都中啟易聯(lián)科技有限公司 - 爬蟲工程師5000-10000元·13薪
成都 - 錦江
成都中啟易聯(lián)科技有限公司 - 高級爬蟲工程師1-1.6萬
成都 - 錦江
四川仙氣飄飄科技有限公司 - 爬蟲工程師/Python工程師（可遠程辦公）6000-10000元
成都 - 武侯
成都愛車保信息技術(shù)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
田蜜/人事經(jīng)理
立即溝通
中鐵科學(xué)研究院集團有限公司中鐵科研院是中國中鐵股份有限公司旗下唯一的科研企業(yè)，前身是鐵道部1959年成立的隧道科學(xué)技術(shù)研究所（四川成都）、坍方科學(xué)技術(shù)研究所（陜西西安）和1960年成立的高原鐵路科學(xué)技術(shù)研究所（青海格爾木），1961年分別組建成立鐵道部科學(xué)研究院西南所、西北所，2000年由科研事業(yè)單位轉(zhuǎn)制進入中國鐵路工程總公司并分別成立中鐵西南院、西北院，2014年8月合并重組成立中鐵科研院。中鐵科研院在國內(nèi)首次引入隧道施工“新奧法”，率先研究和應(yīng)用“預(yù)應(yīng)力錨索抗滑樁技術(shù)”，為攻克青藏鐵路高原凍土世界性難題作出了突出貢獻。自主研發(fā)了HSP超前地質(zhì)預(yù)報儀、地層CT探測儀、軌道管養(yǎng)智能機器人、智慧工地管控平臺、隧道施工監(jiān)測及防坍塌預(yù)警系統(tǒng)等高新技術(shù)產(chǎn)品。形成了土木工程全生命周期的科技綜合服務(wù)，可提供設(shè)計咨詢、產(chǎn)業(yè)咨詢、情報咨詢、科研與技術(shù)服務(wù)、監(jiān)理、特種施工、運營維管、數(shù)智化建設(shè)、網(wǎng)絡(luò)安全、環(huán)境保護、文化遺產(chǎn)保護、鄉(xiāng)村振興、科技成果轉(zhuǎn)化等一攬子綜合技術(shù)服務(wù)。獲得各類科技成果獎577項，其中國家級獎項37項，省部級獎項248項。擁有有效專利、軟件著作權(quán)等826項，主持或參編國家部委、行業(yè)規(guī)范135項，主編、參編、翻譯著作84部。主持和參建3個國家級實驗室，建設(shè)8個省部級實驗室。構(gòu)建“3+13+N”研發(fā)架構(gòu)，組建13個專業(yè)研發(fā)中心、28個專業(yè)研發(fā)團隊，瞄準(zhǔn)23個研發(fā)方向。擁有博士、碩士研究生500余人，占員工總數(shù)50%，擁有各類專家300余人，博士碩士生導(dǎo)師21人。首席專家嚴(yán)金秀是第16屆國際隧道與地下空間協(xié)會主席，也是首位當(dāng)選的中國專家。中鐵科研院著力建設(shè)中國中鐵智能建造專業(yè)研發(fā)中心、國際隧道和地下空間咨詢中心、“雙碳”專業(yè)研發(fā)分中心，致力于打造中鐵隧安、中鐵防災(zāi)、中鐵質(zhì)檢、中鐵文保、中鐵健康維管、智能建造、中鐵網(wǎng)安、中鐵智庫、低碳環(huán)保等品牌，成為科技創(chuàng)新引領(lǐng)能力突出、服務(wù)支撐中國中鐵主責(zé)主業(yè)作用顯著、科技產(chǎn)業(yè)化優(yōu)勢明顯的科技產(chǎn)業(yè)集團。
公司主頁