Node.js高效处理CSV与Excel技巧

Node.js中如何高效处理CSV与Excel文件？本文详细介绍了使用 `papaparse`、`csv-parser`、`csv-writer` 和 `xlsx` 等库，在Node.js环境中实现CSV和Excel文件的读取、写入与转换操作的方法。针对CSV文件，推荐使用 `csv-parser` 进行流式读取，将其解析为JSON数组，并通过 `csv-writer` 将对象数组轻松写入CSV文件。对于Excel文件，则可利用 `xlsx` 库加载工作簿，转换为JSON格式，或将JSON数据转化为工作表并保存为.xlsx文件。此外，本文还针对大文件处理提出了建议，如采用流式读取或转换为CSV格式，以有效降低内存占用，确保Node.js应用在高数据量场景下的稳定运行。掌握这些技巧，可显著提升Node.js在数据导入、导出及报表生成等任务中的效率。

使用papaparse、csv-parser和xlsx等库可高效处理Node.js中的CSV和Excel文件。1. 读取CSV可用csv-parser流式解析为JSON数组；2. 写入CSV可通过csv-writer将对象数组写入文件；3. 读取Excel使用xlsx库加载工作簿并转为JSON；4. 写入Excel则将JSON数据转换为工作表并保存为.xlsx文件；5. 大文件处理建议采用流式读取或转换为CSV以降低内存占用。

处理CSV和Excel文件在Node.js中非常常见，尤其是在数据导入、导出或报表生成场景中。通过使用一些成熟的第三方库，可以轻松实现读取、写入和转换操作。

读取和写入CSV文件

CSV是一种简单高效的表格数据格式，Node.js中处理CSV推荐使用 papaparse 或 csv-parser 与 csv-writer 搭配。

npm install csv-parser csv-writer

使用 csv-parser 将CSV解析为JSON数组：

const fs = require('fs');
const csv = require('csv-parser');
const results = [];

fs.createReadStream('data.csv')
  .pipe(csv())
  .on('data', (row) => {
    results.push(row);
  })
  .on('end', () => {
    console.log(results); // 打印所有行
  });

使用 csv-writer 将数据写入CSV：

const createCsvWriter = require('csv-writer').createObjectCsvWriter;

const csvWriter = createCsvWriter({
  path: 'output.csv',
  header: [
    {id: 'name', title: 'Name'},
    {id: 'age', title: 'Age'}
  ]
});

csvWriter.writeRecords([
  {name: 'Alice', age: 25},
  {name: 'Bob', age: 30}
])
.then(() => console.log('CSV文件已生成'));

读取和写入Excel文件

Excel文件（.xlsx）结构更复杂，推荐使用 xlsx 库（也叫 SheetJS），它支持多种格式且无需依赖Office软件。

npm install xlsx

加载Excel文件并提取第一个工作表的数据：

const XLSX = require('xlsx');

// 读取文件
const workbook = XLSX.readFile('data.xlsx');
const sheetName = workbook.SheetNames[0]; // 取第一个工作表
const worksheet = workbook.Sheets[sheetName];

// 转为JSON数组
const data = XLSX.utils.sheet_to_json(worksheet);
console.log(data);

将JSON数据写入新的Excel文件：

const XLSX = require('xlsx');

const data = [
  {姓名: '张三', 年龄: 28},
  {姓名: '李四', 年龄: 32}
];

// 创建工作表
const worksheet = XLSX.utils.json_to_sheet(data);

// 创建工作簿
const workbook = XLSX.utils.book_new();
XLSX.utils.book_append_sheet(workbook, worksheet, '用户数据');

// 写入文件
XLSX.writeFile(workbook, 'output.xlsx');

处理大型文件的建议

对于大体积的CSV或Excel文件，避免一次性加载全部内容到内存。

今天关于《Node.js高效处理CSV与Excel技巧》的内容介绍就到此结束，如果有什么疑问或者建议，可以在golang学习网公众号下多多回复交流；文中若有不正之处，也希望回复留言以告知！