Posts

爬虫技术难学吗?作为一个过来人给出一些经验之谈

爬虫技术难学吗?作为一个过来人给出一些经验之谈，总结一下自己的一些爬虫的经验。搞爬虫的初衷就是解决自己站点内容来源的问题，这过程中采集过很多个网站，过程中主要使用的工具从前期的`scrapy`，后面工作中也使用过`phpspider`，后面接触到golang语言，也自己据它实现过`rpc`形式的`分布式爬虫`。