職位信息

1、負責設計和開發(fā)分布式的網絡爬蟲應用，包括調度、抓取、入庫等內容，進行互聯網相關信息的抓取和分析。

2、網絡爬蟲架構設計、功能開發(fā)及優(yōu)化。

3、網頁信息抽取等核心算法的研究和優(yōu)化。負責公司運營平臺開發(fā)工作。

4、負責解決項目相關的開發(fā)需求以及Bug修正，相關的問題的溝通協調工作。

任職要求：

1、統(tǒng)招研究生或本科，計算機或相關專業(yè)；

2、兩年或兩年以上爬蟲開發(fā)經驗；

3、熟悉爬蟲原理，掌握常見的反爬蟲技術，精通Scrapy框架，熟練使用Splash；

4、精通WebDriver，掌握http協議，熟悉html、dom、xpath等常見的數據抽取技術；

5、熟練使用MySQL、MongoDB，熟悉Hadoop、HBase、Elastic Search等技術；

6、扎實的算法和數據結構能力，有大規(guī)模代理服務器管理經驗和模板失效應對的經驗優(yōu)先。