搜索:Firefox

python用selenium进行数据爬取

原创 2018-03-02 11:51 阅读(138)次
现在数据爬取无非针对两种数据:网页和API接口,API返回的数据基本是json,xml这类的格式。 而网页的数据则复杂的多,很多数据可能是用javascript的动态加载的。如果这时候只用httpclient或者python的requests来获取就无法满足。 模拟浏览器就可以攻破js这堵墙。selenium这方面技术的翘楚。 本文讲解win10环境,python3使用selenium爬取网页数据。 python 3 默认是没有selenium,需要安装。用pip安装pip install selenium 安装完成后,本文用firefox来作为启动的浏览器。#引入selenium包 fr...