職位描述
反爬蟲分布式爬蟲爬蟲開發(fā)數(shù)據(jù)采集數(shù)據(jù)清洗PythonFlaskDjangoSELENIUM MYSQLMongoDB
崗位職責：
1. 負責爬蟲項目的需求分析與方案設計，針對各類目標網(wǎng)站（如公開數(shù)據(jù)平臺、行業(yè)資訊站點等）制定高效、合規(guī)的爬取策略
2. 獨立完成爬蟲程序的開發(fā)、調(diào)試與優(yōu)化，熟練運用requests、Scrapy、BeautifulSoup、Selenium等工具，解決反爬機制（如IP封鎖、驗證碼、動態(tài)加載）問題
3. 負責爬取數(shù)據(jù)的清洗、解析、存儲（如MySQL、MongoDB）及質(zhì)量校驗，確保數(shù)據(jù)的準確性、完整性和時效性
4. 維護現(xiàn)有爬蟲系統(tǒng)的穩(wěn)定運行，監(jiān)控數(shù)據(jù)抓取狀態(tài)，及時處理異常情況（如網(wǎng)站結(jié)構(gòu)變更、爬取效率下降）并迭代優(yōu)化
5. 與數(shù)據(jù)分析師、產(chǎn)品經(jīng)理等協(xié)作，根據(jù)業(yè)務需求輸出標準化數(shù)據(jù)成果，支撐業(yè)務決策與產(chǎn)品迭代。
2. 獨立完成爬蟲程序的開發(fā)、調(diào)試與優(yōu)化，熟練運用requests、Scrapy、BeautifulSoup、Selenium等工具，解決反爬機制（如IP封鎖、驗證碼、動態(tài)加載）問題
3. 負責爬取數(shù)據(jù)的清洗、解析、存儲（如MySQL、MongoDB）及質(zhì)量校驗，確保數(shù)據(jù)的準確性、完整性和時效性
4. 維護現(xiàn)有爬蟲系統(tǒng)的穩(wěn)定運行，監(jiān)控數(shù)據(jù)抓取狀態(tài)，及時處理異常情況（如網(wǎng)站結(jié)構(gòu)變更、爬取效率下降）并迭代優(yōu)化
5. 與數(shù)據(jù)分析師、產(chǎn)品經(jīng)理等協(xié)作，根據(jù)業(yè)務需求輸出標準化數(shù)據(jù)成果，支撐業(yè)務決策與產(chǎn)品迭代。
崗位要求：
1. 本科及以上學歷，計算機、軟件工程、數(shù)據(jù)科學等相關專業(yè)優(yōu)先，3-5年Python爬蟲開發(fā)經(jīng)驗，有大規(guī)模分布式爬蟲、高并發(fā)數(shù)據(jù)抓取項目經(jīng)驗者優(yōu)先
2. 精通Python語言基礎，熟練掌握爬蟲核心庫（requests、Scrapy、lxml、PyQuery）及異步爬蟲技術（aiohttp、asyncio）
3. 熟悉常見反爬手段（UA偽裝、Cookie池、IP代理池、滑塊驗證識別），能獨立設計應對方案
4. 掌握HTML/CSS/JavaScript解析，能處理動態(tài)渲染頁面（如Selenium、Playwright、Pyppeteer）
5. 熟練使用至少一種數(shù)據(jù)庫（MySQL/MongoDB/Redis），具備數(shù)據(jù)清洗、格式轉(zhuǎn)換及批量處理能力
2. 精通Python語言基礎，熟練掌握爬蟲核心庫（requests、Scrapy、lxml、PyQuery）及異步爬蟲技術（aiohttp、asyncio）
3. 熟悉常見反爬手段（UA偽裝、Cookie池、IP代理池、滑塊驗證識別），能獨立設計應對方案
4. 掌握HTML/CSS/JavaScript解析，能處理動態(tài)渲染頁面（如Selenium、Playwright、Pyppeteer）
5. 熟練使用至少一種數(shù)據(jù)庫（MySQL/MongoDB/Redis），具備數(shù)據(jù)清洗、格式轉(zhuǎn)換及批量處理能力
工作地點
濟南歷城區(qū)漢浴金谷A4-3-10層
相似職位
- Python開發(fā)工程師（爬蟲方向）（雙休+五險一金）7000-12000元
濟南 - 歷城
濟南職伴互聯(lián)網(wǎng)有限公司 - Python爬蟲開發(fā)工程師1-1.5萬·13薪
濟南 - 歷下
山東易構(gòu)軟件技術股份有限公司 - python爬蟲工程師7000-13000元
濟南 - 歷下
山東辰華科技信息有限公司 - python爬蟲工程師1-1.5萬
濟南 - 歷下
山東辰華科技信息有限公司 - python爬蟲工程師7000-11000元
濟南 - 歷下
煙臺富美特信息科技股份有限公司 - python爬蟲工程師1.2-1.6萬
濟南 - 歷城
濟南一建集團有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
謝女士/HR
當前在線立即溝通
濟南職伴互聯(lián)網(wǎng)有限公司濟南職伴互聯(lián)網(wǎng)有限公司是一家專業(yè)從事互聯(lián)網(wǎng)信息服務、軟件開發(fā)與銷售、信息技術領域內(nèi)的技術開發(fā)、技術服務、技術咨詢，技術轉(zhuǎn)讓等、擁有一批長期專業(yè)從事軟件開發(fā)、軟件定制的專業(yè)人才，具有雄厚的經(jīng)濟實力，全方位滿足市場信息化需求。公司尊崇“以人為本”的經(jīng)營理念，力求“小而美”。公司主營業(yè)務：互聯(lián)網(wǎng)信息服務、軟件開發(fā)與銷售、網(wǎng)絡技術、信息技術鄰域內(nèi)技術開發(fā)、技術服務、技術咨詢、技術轉(zhuǎn)讓等等。公司管理團隊均畢業(yè)于國內(nèi)本科院校，擁有多年在國內(nèi)外知名企業(yè)工作經(jīng)驗，具備良好專業(yè)素質(zhì)，核心技術人員一直專注軟件開發(fā)行業(yè)，具有豐富經(jīng)驗。公司非常重視人才培養(yǎng)，通過培訓、實戰(zhàn)、交流等方式促進員工發(fā)展，實現(xiàn)公司及員工的共同進步。加入職伴，夢想起航！
公司主頁