如何在Debian上使用Node.js进行爬虫开发

在Debian上做爬虫开发，Node.js是个相当顺手的工具。具体怎么搭起来？下面一步步拆解，保证清晰好上手。

1. 安装Node.js

先解决环境问题。Debian系统上装Node.js，推荐用NodeSource的二进制分发库，版本随你挑，这里以14.x为例。

使用NodeSource安装Node.js

1. 添加NodeSource库：打开终端，跑下面这条命令，把14.x版本的源加进去（想换其他版本，改一下URL里的版本号就行）：

   curl -fsSL https://deb.nodesource.com/setup_14.x | sudo -E bash -

2. 安装Node.js：接着执行这条，Node.js和npm一次性搞定：

   sudo apt-get install -y nodejs

3. 验证安装：装完检查一下，跑下面两个命令，看到版本号就说明成了：

   node -v
   npm -v

2. 创建一个新的Node.js项目

工作目录里建个新项目，名字随便起，比如叫my-crawler：

mkdir my-crawler
cd my-crawler
npm init -y

npm init -y会快速生成一个默认的package.json，省得手动填一堆信息。

3. 安装爬虫相关的库

发HTTP请求用axios（或者request，不过axios更现代），解析HTML用cheerio——这两个是爬虫黄金搭档。

安装axios和cheerio

npm install axios cheerio

装完就能在项目里直接require了。

4. 编写爬虫代码

新建一个index.js，把下面这段代码贴进去。这是一个最简示例：抓取目标网页的标题并打印出来。

const axios = require('axios');
const cheerio = require('cheerio');

async function crawl(url) {
  try {
    const response = await axios.get(url);
    const html = response.data;
    const $ = cheerio.load(html);
    const title = $('title').text();
    console.log(`Title of the page: ${title}`);
  } catch (error) {
    console.error(`Error fetching the page: ${error.message}`);
  }
}

// 替换为你想要爬取的URL
crawl('https://example.com');

逻辑很直白：axios拿到页面HTML，cheerio解析DOM，然后提取