活动地址：CSDN21天学习挑战赛
文章目录
- 一、爬虫合不合法
- 二、什么是爬虫
- 三、爬虫的分类
- 四、为什么学网络爬虫
一、爬虫合不合法
随着Python在最近几年的流行，Python中的爬虫也逐渐进入到大家的视野中，但是很多小伙伴，还是在担心爬虫的合法性。今天就来和大家一起讨论一下爬虫的合法性。
大家可能在网上看到很多有关程序员写爬虫被抓这样的新闻
- 只因写了一段爬虫，公司200多人被抓！
爬虫的本身是合法的，但是如何使用爬虫去获取数据的这一行为是具有风险的，我们举个例字：
某某写了一个爬虫程序，为了获取网站付费数据，造成他人数据被不正当地复制、使用。当然这也是很多小伙伴最感兴趣的部分，但是还是建议大家不要随便的抓取网站付费数据。
大多数公司和个人使用的爬虫都是没有问题的，不必人人自危，只要把握住不要爬取个人信息，不要利用爬虫非法获利，不要爬取网站的付费内容，基本上不会有问题。
爬虫的本身是合法，但利用爬虫非法获取商业、个人数据也将将面临更高的处罚风险。
二、什么是爬虫
网络爬虫（网页蜘蛛、网络机器人）
网络爬虫(Web crawler) ，是一种按照一定的规则，自动地抓取万维网信息
的程序或者脚木。是模拟浏览器去访问和获取互联网上信息的一个程序
在大数据时代，信息的采集是一项重要的工作， 而互联网中的数据是海量的，如果单纯靠人力进行信息采集，不仅低效繁琐，搜集的成本也会提高。如何自动高效地获取互联网中我们感兴趣的信息并为我们所用是一个重要的问题，而爬虫技术就是为了解 决这些问题而生的。
三、爬虫的分类
从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL,在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。
通用网络爬虫 特点：关键字获取既定的目标 覆盖率很大（百度 谷歌 雅虎…搜索引擎）
聚焦网络爬虫 特点：到互联网上有选择有目的去抓取特定的目标和相关的主要内容增量网络爬虫
增量式网络爬虫 特点：只采取增量式更新或者只爬行新产生或者是已经发生变化的网页
深层网络爬虫 特点：深层 大部分内容是可以通过静态链接获取到的，隐藏在搜索表单之后的一些数据有可能需要用户提交一些关键词才可以获得的WEB页面
四、为什么学网络爬虫
我们初步认识了网络爬虫,但是为什么要学习网络爬虫呢?只有清晰地知道我
们的学习目的，才能够更好地学习这一项知识。
在此，总结了4种常见的学习爬虫的原因:
1.可以实现搜索引擎。
我们学会了爬虫编写之后，就可以利用爬虫自动地采集互联网中的信息，采集回来后进行相应的存储或处理，在需要检索某些信息的时候，只需在采集回来的信息中进行检索，即实现了私人的搜索引擎。
2.大数据时代，可以让我们获取更多的数据源。
在进行大数据分析或者进行数据挖掘的时候，需要有数据源进行分析。我们可以从某些提供数据统计的网站获得，也可以从某些文献或内部资料中获得，但是这些获得数据的方式，有时很难满足我们对数据的需求，而手动从互联网中去寻找这些数据，则耗费的精力过大。此时就可以利用爬虫技术，自动地从互联网中获取我们]感兴趣的数据内容，并将这些数据内容爬取回来，作为我们的数据源，再进行更深层次的数据分析，并获得更多有价值的信息。
3.可以更好地进行搜索引 擎优化(SEO)
对于很多SEO从业者来说，为了更好的完成工作，那么就必须要对搜索引擎的工作原理非常清楚，同时也需要掌握搜索引擎爬虫的工作原理。
而学习爬虫，可以更深层次地理解搜索引擎爬虫的工作原理，这样在进行搜索引擎优化时，才能知己知彼，百战不殆。
4.有利于就业
从就业来说，爬虫工程师方向是不错的选择之一，因为目前爬虫工程师的需求越来越大，而能够胜任这方而岗位的人员较少，所以属于一个比较紧缺的职业方向，并且随着大数据时代和人工智能的来临，爬虫技术的应用将越来越广泛，在未来会拥有很好的发展空间。
