怎么用Node爬取網(wǎng)頁(yè)的數(shù)據(jù)并寫入Excel文件？下面本篇文章通過(guò)一個(gè)實(shí)例來(lái)講解一下用Node.js爬取網(wǎng)頁(yè)的數(shù)據(jù)并生成Excel文件的方法，希望對(duì)大家有所幫助！

UNI-APP開發(fā)(仿餓了么)：進(jìn)入學(xué)習(xí)

相信寶可夢(mèng)是很多90后的童年回憶，身為程序員不止一次的也想做一款寶可夢(mèng)游戲，但是做之前應(yīng)該先要整理一下有多少寶可夢(mèng)，他們的編號(hào)，名字，屬性等信息整理出來(lái)，本期將用 Node.js 簡(jiǎn)單的實(shí)現(xiàn)一個(gè)從寶可夢(mèng)網(wǎng)頁(yè)數(shù)據(jù)的爬取，到把這些數(shù)據(jù)生成Excel文件，直至做接口讀取Excel訪問(wèn)到這些數(shù)據(jù)。

爬取數(shù)據(jù)

既然是爬取數(shù)據(jù)，那我們先找一個(gè)有寶可夢(mèng)圖鑒數(shù)據(jù)的網(wǎng)頁(yè)，如下圖：

這個(gè)網(wǎng)站是用PHP寫的，前后沒(méi)有做分離，所以我們不會(huì)讀接口來(lái)捕獲數(shù)據(jù)，我們使用 crawler 庫(kù)，來(lái)捕獲網(wǎng)頁(yè)中的元素從而得到數(shù)據(jù)。提前說(shuō)明一下，用 crawler 庫(kù)，好處是你可以用 jQuery 的方式在Node環(huán)境中捕獲元素。

安裝：

yarn add crawler

實(shí)現(xiàn)：

const Crawler = require("crawler"); const fs = require("fs") const { resolve } = require("path")  let crawler = new Crawler({     timeout: 10000,     jQuery: true, });  let crawler = new Crawler({     timeout: 10000,     jQuery: true, });  function getPokemon() {     let uri = "" // 寶可夢(mèng)圖鑒地址     let data = []     return new Promise((resolve, reject) => {         crawler.queue({             uri,             callback: (err, res, done) => {                 if (err) reject(err);                 let $ = res.$;                 try {                     let $tr = $(".roundy.eplist tr");                     $tr.each((i, el) => {                         let $td = $(el).find("td");                         let _code = $td.eq(1).text().split("n")[0]                         let _name = $td.eq(3).text().split("n")[0]                         let _attr = $td.eq(4).text().split("n")[0]                         let _other = $td.eq(5).text().split("n")[0]                         _attr = _other.indexOf("屬性") != -1 ? _attr : `${_attr}+${_other}`                         if (_code) {                             data.push([_code, _name, _attr])                         }                     })                     done();                     resolve(data)                 } catch (err) {                     done()                     reject(err)                 }              }         })     }) }

在生成實(shí)例的時(shí)候，還需要開啟 jQuery 模式，然后，就可以使用 $ 符了。而以上代碼的中間部分的業(yè)務(wù)就是在捕獲元素爬取網(wǎng)頁(yè)中所需要的數(shù)據(jù)，使用起來(lái)和 jQuery API 一樣，這里就不再贅述了 。

getPokemon().then(async data => {     console.log(data) })

最后我們可以執(zhí)行并打印一下傳過(guò)來(lái)的 data 數(shù)據(jù)，來(lái)驗(yàn)證確實(shí)爬取到了格式也沒(méi)有錯(cuò)誤。

寫入Excel

既然剛才已經(jīng)爬取到數(shù)據(jù)了，接下來(lái)，我們就將使用 node-xlsx 庫(kù)，來(lái)完成把數(shù)據(jù)寫入并生成一個(gè) Excel 文件中。

首先，我們先介紹一下，node-xlsx 是一個(gè)簡(jiǎn)單的 excel 文件解析器和生成器。由 TS 構(gòu)建的一個(gè)依靠 SheetJS xlsx 模塊來(lái)解析/構(gòu)建 excel 工作表，所以，在一些參數(shù)配置上，兩者可以通用。

安裝：

yarn add node-xlsx

實(shí)現(xiàn)：

const xlsx = require("node-xlsx")  getPokemon().then(async data => {     let title = ["編號(hào)", "寶可夢(mèng)", "屬性"]     let list = [{         name: "關(guān)都",         data: [             title,             ...data         ]     }];     const sheetOptions = { '!cols': [{ wch: 15 }, { wch: 20 }, { wch: 20 }] };     const buffer = await xlsx.build(list, { sheetOptions })     try {         await fs.writeFileSync(resolve(__dirname, "data/pokemon.xlsx"), buffer, "utf8")     } catch (error) { } })

其 name 則是Excel文件中的欄目名，而其中的 data 類型是數(shù)組其也要傳入一個(gè)數(shù)組，構(gòu)成二維數(shù)組，其表示從 ABCDE…. 列中開始排序傳入文本。同時(shí)，可以通過(guò)!cols來(lái)設(shè)置列寬。第一個(gè)對(duì)象wch:10 則表示 第一列寬度為10 個(gè)字符，還有很多參數(shù)可以設(shè)置，可以參照 xlsx 庫(kù) 來(lái)學(xué)習(xí)這些配置項(xiàng)。

最后，我們通過(guò) xlsx.build 方法來(lái)生成 buffer 數(shù)據(jù)，最后用 fs.writeFileSync 寫入或創(chuàng)建一個(gè) Excel 文件中，為了方便查看，我這里存入了 名叫 data 的文件夾里，此時(shí)，我們?cè)?data 文件夾 就會(huì)發(fā)現(xiàn)多出一個(gè)叫 pokemon.xlsx 的文件，打開它，數(shù)據(jù)還是那些，這樣把數(shù)據(jù)寫入到Excel的這步操作就完成了。

讀取Excel

讀取Excel其實(shí)非常容易甚至不用寫 fs 的讀取， 用xlsx.parse 方法傳入文件地址就能直接讀取到。

xlsx.parse(resolve(__dirname, "data/pokemon.xlsx"));

當(dāng)然，我們?yōu)榱蓑?yàn)證準(zhǔn)確無(wú)誤，直接寫一個(gè)接口，看看能不能訪問(wèn)到數(shù)據(jù)。為了方便我直接用 express 框架來(lái)完成這件事。

先來(lái)安裝一下：

yarn add express

然后，再創(chuàng)建 express 服務(wù)，我這里端口號(hào)就用3000了，就寫一個(gè) GET 請(qǐng)求把讀取Excel文件的數(shù)據(jù)發(fā)送出去就好。

const express = require("express") const app = express(); const listenPort = 3000;  app.get("/pokemon",(req,res)=>{     let data = xlsx.parse(resolve(__dirname, "data/pokemon.xlsx"));     res.send(data) })  app.listen(listenPort, () => {     console.log(`Server running at http://localhost:${listenPort}/`) })

最后，我這里用 postman 訪問(wèn)接口，就可以清楚的看到，我們從爬取到存入表格所有的寶可夢(mèng)數(shù)據(jù)都接收到了。

結(jié)語(yǔ)

如你所見，本文以寶可夢(mèng)為例，來(lái)去學(xué)習(xí)怎么用Node.js爬取網(wǎng)頁(yè)的數(shù)據(jù)，怎么把數(shù)據(jù)寫入Excel文件，以及怎么讀取到Excel文件的數(shù)據(jù)這三個(gè)問(wèn)題，其實(shí)實(shí)現(xiàn)難度并不大，但有些時(shí)候蠻實(shí)用的，如果擔(dān)心忘記可以收藏起來(lái)喲~