👉在爬虫技术泛滥的今天，同学们哪怕不是干这一行的，也大都耳濡目染知道什么是爬虫（使用任何技术手段，批量获取网站信息的一种方式，关键在于批量）👈

💩<-🐷但是，我想说的是：现在是大数据时代，数据就是核心，数据就是生产力，越来越多的企业开始注重采集用户数据。🐷->💩

🎈既然如此，那那些拥有庞大数据量的公司难道就会将他们宝贵的数据拱手相送给我们这些爬虫工程师吗？答案肯定是否定的，而他们保护自己数据的一大措施就是反爬虫！🎈

---

下面，老师就带领同学们走入反爬虫的世界，深入理解其概念以及常见的反爬虫措施&对应的解决方法！ 💨💨💨

---

1. 首先，我们应该知道的是反爬虫的原因有三：
   ①爬虫占总PV较高（PV指页面访问的次数，每打开或刷新一次页面，算一个PV）；
   ②数据被批量抓走，会使数据拥有者丧失市场竞争力；
   ③法律的灰色地带。
   

2. 其次，关于反爬虫我们应该了解的一些重要概念：
   ①爬虫：网络爬虫也叫网络蜘蛛，它特指一类自动批量下载网络资源的程序，这是一个比较口语化的定义。更加专业和全面对的定义是：网络爬虫是伪装成客户端与服务端进行数据交互的程序。关键在于批量！
   ②反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式，关键也在于批量。
   ③误伤：在反爬虫过程中，错误的将普通用户识别为爬虫，误伤率高的反爬虫策略，效果再好也不能用。（伤敌一千，自损八百的招式可不能用！）
   ④拦截：成功阻止爬虫访问，这里会有拦截率的概念，通常来说，拦截率高的反爬虫策略，误伤的可能性就越高，因此需要权衡利与弊。
   ⑤资源：机器成本与人力成本的总和。（做啥事都要考虑成本，毕竟——成年人的世界不容易！）

3. 最后也是本堂课的重点——反爬虫，反爬虫，它究竟有哪些方向呢？
   ①基于身份识别进行反爬；
   ②基于爬虫行为进行反爬；
   ③基于数据加密进行反爬（

   除特别声明，本站所有文章均为原创，如需转载请以超级链接形式注明出处：SmartCat's Blog