欢迎来到我的NodeJs专题系列，更多精彩内容持续更新中，敬请关注！

现在基本上很多教程教大家Node入门一般都是通过http模块去创建一个简单的服务器，然后可以通过浏览器去访问。

看的多了，没多大意思，那么今天我来给大家分享一下如何用Node写一个简单的爬虫吧。

爬虫是什么？

在做爬虫之前，我们首先得弄清楚什么是爬虫，爬虫的原理是什么？

爬虫就是我们可以通过程序去访问别人的网站的源代码，并对其进行分析数据过滤，清洗。最后存储到我们自己的数据库中。

由于NodeJs是运行在服务器端，将不会像运行在浏览器端那样请求别的网站的时候会有跨域的问题。所以我们可以通过NodeJs去获取到别的网站页面的源代码。

在所有的后端语言中，最快捷方便的爬虫应该是python了。提供了非常多的优秀的爬虫框架！

Node中的内置模块

我们要想通过Node获取页面的源代码，我们需要用到的模块是http 或者 https,两个模块下提供的方法都一样，只是协议不一样。

所以我们需要用到https模块

const https = require("https")

这时候， 我们可以通过https.get方法去获取一个url的源代码了。

第二个参数是一个回调函数，它里面包含了这个响应所有的信息。其中，我们可以通过on去监听data方法去不断的读取获取到的数据。

我们来看下效果：

额。好像出问题了，这和我们的预期好像不太一样啊，

再给我次机会吧。我查了资料，这和https这个模块有关系。我们需要设置对应的请求头信息，什么意思呢？就是我们要将这个爬虫伪装成一个浏览器。

所以这时候，我们需要将get的参数设置成一个对象的形式。具体的配置如下：

设置好请求头后。接下来我们可以愉快的玩耍了吧~再来跑一次。

呀，好像有效果了。但是…………这都返回了啥啊，看不懂的样子。

返回了一堆的buffer

Buffer

buffer在Nodejs中是一种很重要的数据结构，它和我们平时使用的数组非常类似，但是功能更为强大。

那可能大家有疑问，为什么不直接给我返回一个字符串呢？返回一我看不懂的buffer干嘛 ？

要知道，我们的数组只能存储js中的基本数据类型。无法储存图片，文件等数据，这些数据都是二进制的，刚好buffer可以完美解决这个问题。所以一般来说，NodeJs中都会返回buffer类型的数据

那如果将beffer转成字符串呢？也很简单，我们将结果toString一下即可。

接下来我们将获取到的结果储存写入一个文件中去。

获取到了源代码后。我们需要从中获取我们想要的信息。这时候问题来了。我们通过https获取过来的是串字符串，该怎么过滤我们想要的信息呢？

这时候不得不提到大名鼎鼎的cheerio了。

cheerio

cheerio可以加载一段Html字符串，然后可以通过jQuery的方式去操作它。

首先cheerio是一个第三方的库。所以我们需要手动安装它

npm i cheerio

基本用法：

我们直接来看下结果

我们可以看到，页面中的职位和薪资都已被我爬取出来啦。可用的数据有很多，大家可以根据自己的需要将对应的数据存储到自己的数据库中去。

好啦，一个小小的爬虫就做好了。

总结：

1. Nodejs中的内置模块fs https url 等的基本使用。
2. Nodejs返回的结果一般都是基于buffer,它类似于数组，但功能更强大
3. 第三方库cheerio可以让我们使用jquery的api来操作字符串。

这里是【畅哥聊技术】的《NodeJs》专题系列。更多内容持续更新中。

下期我们接着聊，未完待续。。