因特网的诞生，是为了使人们更方便地共享数据，交流通信。因特网是桥梁，它连接着全世界的人。点击网站，浏览都是人为的，和你聊天的也是有生命的人。但是，随着科技的发展，人们对数据的渴望，各种各样的网络机器人应运而生，此时，你不知道屏幕那端与你交谈的人是一只狗，你也不知道你网站的浏览量是由人点击还是由机器爬出。

一、搜索引擎时代的网络爬虫。

简而言之，网络爬虫就是一种自动获取因特网公开数据的工具。

在此，我们需要强调的是，网络爬虫爬取的是互联网上的公开数据，而不是通过特殊技术非法侵入网站服务器的非公开数据。

也许您会问，什么是“公共数据”？简单地说，就是把让用户浏览、获取的数据公开在网站上。

二、大数据时代的网络爬虫。

大数量的爬虫行为会在网络带宽、服务器计算力等方面给网站带来很大的压力，但几乎没有任何好处。为减低毫无兴趣的压力，避免自己的数据被别人集中收集，网站肯定会通过技术手段限制爬虫；而另一方面，爬虫则想尽办法突破这一限制，以获取石油般的数据。

三、网络爬虫的自制力。

爬行技术本身也许并不意味着善与恶，但人们利用爬行技术就有善与恶的区别。怎样使用爬虫，怎样使用爬取的数据，都会产生潜在的法律问题。这是一种技术开发人员都应该考虑的问题。不管出于什么目的，网络爬虫都不能突破法律的底线，但它必须遵循一定的规范。