第一步，找数据源，发现数据源url的pattern
试试抓取数字货币价格，
数据源：https://coinmarketcap.com/zh/currencies/bitcoin/
点击历史数据，然后选择开始结束日期：
https://coinmarketcap.com/zh/currencies/bitcoin/historical-data/?start=20190201&end=20190228
可以发现查询历史价格的URLpattern，
base_url=https://coinmarketcap.com/zh/currencies/bitcoin/historical-data/?start=xx&end=yy
xx=开始时间，yyyymmdd
yy=结束时间，yyyymmdd
爬虫默认模板代码：
1 | def on_start(self): |
从2015年01月开始抓取，到2018年12月。
需要注意的是每个月都按照31天处理的，尝试了网页可以正常返回不会报错。
第二步，解析页面内容
构造好url地址后，就是解析页面内容了。
修改爬虫模板代码：
1 | def detail_page(self, response): |
添加了字段，text_right，这个字段就是网页table的正文。提取出正文后，还要将数据切分为一行一行的，然后每一行映射为特定字段，保存到文本csv或者数据库中，这些如果需要自行实现下吧。
上面稍微麻烦的是定位需提取内容的css的表达式。这本来是一件比价恶心（耗时，易错）的事情，我上学那阵子是很烦这个的。不过，pyspider已经做了非常强大的封装处理，网页上可以可视化选择，自动生成css选择的表达式，直接使用就行了。
这个我也是第一次使用，不妨演示下
一般点击1,2,4就行了，不用复制出来，点击4之前光标移动到输入选择器位置就行了 。
第三步，保存结果
通过重写on_result方法保存结果，
例如：
1 | def on_result(self,result): |
这里的每个result都是上面构造的map形式数据，本文中是key为url，title，text_right的map
这里的text_right是包含所有行列的文本串，需要进一步解析。
解析的工作有时候放到第二步也可以，第二步中text_right可以直接构造为list返回过来，个人更喜欢抓取和解析包村分离操作，抓取只负责将数据load下来，至于后续解析由其他模块负责。
还有一种更好的思路是直接获取到对方网址拉取数据的接口，通过直接向接口发送查询数据获得结构化的数据，然后直接解析入库。这种方式基本上不需要爬虫进行css选择器之类的处理了。
其他可参考技术
1,，使用代理
验证代理有效性：
参考：https://www.jianshu.com/p/588241a313e7
1 | import requests |
后续可以使用专业代理工具：squid
2，伪装浏览器头部
fake-useragent库：伪装浏览器Header
参考：https://blog.csdn.net/jmshl/article/details/88687752