爬虫的由来
爬虫的由来能够上溯到因特网（互联网技术）问世之时，一开始互联网技术都还没检索。搜索引擎没被开发设计以前，互联网技术仅仅文件传输协议(FTP)站点的集合，用户可在各种网站中导行以寻找特定共享文档。
为了能搜索和组成网络上可利用的分布式系统数据信息，大家创立了一个自动化程序，称之为网络爬虫/智能机器人，能够爬取网络上的所有网站，再将全部网页页面上的内容拷贝到数据库系统中制做引索。
爬虫的高速发展
伴随着互联网发展，互联网上的网络资源越来越日益丰富多彩但是却啾唧不堪入目，数据的获得成本费越来越更高了。
随之，也日渐演化出更为智能化，且适用范围更强大的爬虫手机软件。
他们类似蛛蛛根据辐射源出来的蜘蛛网来获得信息，进而从这当中捕捉到它自己想要的猎食，因此爬虫又被称为网页页面蛛蛛，自然相比蜘蛛网来讲，爬虫手机软件更具有自觉性。此外，爬虫还有一些不常用名称，像蚂蚁/模拟程序/蜘蛛。
爬虫的流程大体如下所示：
一般，爬取网页数据信息时，只需2个步骤：
打开网站→将实际的信息从页面中拷贝并另存到报表或资源中。
简单的说就是，爬取和拷贝。
爬虫的君子协议
百度搜索引擎的爬虫是善意的，能够查找你的一切信息内容，并发放给别的用户浏览，因此他们还特意界定了robots.txt文件，做为君子协议。
Robots协议（爬虫协议书）的全称为“网络爬虫排除标准”（Robots Exclusion Protocol），网址根据Robots协议告知百度搜索引擎什么网页页面能够爬取，什么网页页面不可以爬取。该协议书是世界互联网界流通的职业道德，并没有载入法律法规，可是每一个爬虫都应遵循此项协议书。
以淘宝的robots.txt为例子，
以 Allow 项的值开头 URL 是容许 robot 浏览的。比如，Allow：/article 容许百度搜索爬虫模块浏览 /article.htm、/article/http://12345.com 等。
以 Disallow 项为开头的连接是不可以百度搜索爬虫模块浏览的。比如，Disallow：/product/ 不可以百度搜索爬虫模块浏览 /product/http://12345.com 等。
最后一行，Disallow：/ 严禁百度搜索爬虫浏览除开 Allow 要求网页页面外的其他全部网页页面。
因此你也是不能从百度上获取到淘宝网的内部商品信息的。
君子协议虽然好，但是事儿很快就被一些人破坏，于是就有了反爬虫。
爬虫与反爬虫
爬虫与反爬虫是“矛”与“盾”的攻防关联，拥有爬虫当然就有了反爬虫。
一些企业为了确保云服务器正常运行，减少云服务器运行工作压力与成本费，迫不得已施展各种各样方式来阻拦爬虫技术工程师毫无节制地为网络服务器索要网络资源，这种做法也称为反爬虫。
在爬虫与反爬虫的比拼上，一些反爬方式经常会令人赞叹不已，例如，文字搞混反爬虫、动态性3D渲染反爬虫、信息内容校检反爬虫、代码加密反爬虫……这些。
反爬虫理论是是否对爬虫开展防御力的，其完成基本原理是啥？下列便以信息内容校检反爬为例子，请《鹿鼎记》的韦香主来给大家做一下演试。
假定天地会赤火堂香主派人在京都前去扬州市将一封至关重要的密信交到青木堂香主韦小宝，大家能将这件事情抽象化为下面的图：
这件事的核心内容是「帮派成员-甲将关键密信交到帮派成员-乙」。假定甲、乙彼此互不相识亦从没有过会晤，那「帮派成员-甲」怎么判断密信交给「帮派成员-乙」，而非给错人——给别的「帮派成员-丁」呢？
在历史在实践中毫无疑问吃了这种亏，遂天地会使用了接头暗号这种方法来保证甲、乙彼此是同一帮派成员，这才有了：
地镇高岗，一派溪山千载秀；
门朝海洋，三河合水几万年流。
暗语仅有帮派成员才懂得，且不可泄露。甲、乙彼此见面时由「帮派成员-甲」讲出「地镇高岗，一派溪山千载秀」，「帮派成员-乙」听到后务必接下来一句「门朝海洋，三河合水几万年流」。假如「帮派成员-乙」不清楚下一句是什么，或是胡说八道一气，那样「帮派成员-甲」就能判断他并不是接头人，反而是假冒的。
相同的，「帮派成员-乙」要听见帮派成员-甲讲出「地镇高岗，一派溪山千载秀」。不然「帮派成员-甲」便是假冒的，极有可能会将假密信交到青木堂韦小宝。
天地会接头人相互之间传递消息（密信）很像是大家在研发 WEB 应用中的 Client 和 Server，抽象地看起来像是那样：
问题来了，Client 和 Server 中间要不要天地会这种暗语呢？
答案就是必须！
Client 如同「帮派成员-甲」，Server 如同「帮派成员-乙」，而他们的密信极有可能会被「帮派成员-丁」取走或仿冒。即然天地会有接头暗号，那样 Client 和 Server 之间用哪些来保障传递消息是第一手传出，而不是被阻拦伪造的呢？
没有错，签名验证！
签名验证是当前 IT 行业领域用途广泛的 API 接口数据保护方式之一，它可以有效预防信息协调器要被伪造或伪造的信息作为正常的信息解决。
需要注意的是，它的功能是避免信息协调器要被伪造或伪造的信息作为正常的信息解决，而并不是避免信息接纳端接受谣言，实际上插口在接到信息的那一刻无法断定消息的真伪。这一点至关重要，千万别混淆了。
假定 Client 要把「下一个月 5 号暗杀鳌拜」这封关键密信交到 Server，抽象图如下所示：
如果这时候产生假冒事情，会引发什么影响：
别的「帮派成员-丁」从 Client 那边得到消息后展开了仿冒，将暗杀鳌拜的时间也从 5 号改成 6号，造成 Server 发送的暗杀时间 6 号。这么一来，声东击西暗杀鳌拜事情就会成为一方延迟时间出手，此次策划许久的刺杀行动极有可能会不成功，并且会导致很大的损害。
大家应用签名验证来改变这一消息传递和验证的事。在这里可以简易将签名验证了解为在本消息的基础上一定规则的计算和加密，最后将加密结论放进消息中一并推送，消息接受者取得消息后依照同样的规则进行计算和加密，把自己计算所得到的加密值和传送来的加密值开展核对，如果两值同样则意味着消息没被阻拦仿冒，相反能够判断消息被阻拦仿冒。
签名验证被广泛运用，比如免费下载实际操作系统镜像文件时官网可以提供文件信息 MD5 值、阿里/腾讯官方/华为公司等公司扩大开放的插口中身份验证的部分 sign 值等。
之上反爬方式出自《Python3 反爬虫原理与绕过实战演练》
《Python 3 反爬虫原理与绕过实战演练》 韦世东 著
这书是网络爬虫行业第一本专业详细介绍反爬虫的书籍，被称作爬虫工程师不可错过的“武林秘籍”，腾讯官方、蚂蜂窝技术工程师倾情强烈推荐。
知其所以然，学有所用，才德兼备，这书从防御2个视角进行解读，叙述了爬虫技术与反爬虫科技的抵抗全过程，并详细介绍了这里面的原理和具体完成方式。
从这本书中我们将了解到了之上文中提到的签名验证及其文字搞混、动态性3D渲染、加密破译、代码加密与行为短信验证码等反爬虫技术性形成的原因和绕过方式。
爬虫技术是一把双刃剑，希望大家能将学习到的技术性用以安全防护，提升运用防水等级，以剑养剑，攻防兼备才可以在科技的江湖中傲笑江湖~
结语
网络爬虫自身并没有违反法律法规。但程序流程运行中很有可能对别人运营网址导致毁坏，抓取的信息有可能会涉及到个人隐私或商业秘密，数据信息本身就可能会产生纠纷。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
