大佬教程收集整理的这篇文章主要介绍了如何从 Node.js 中的文本文件中批量读取行，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。
我试图找出一种方法来打开 Node.Js Stream 以将文本/CSV 文件作为流读取，以便：
我一直在使用 readline 并取得了一些成功，但它不太好用，因为 pause() doesn't stop it right away，并且它在前一批仍在处理时不断读取更多行。最终结果是下游 API 调用阻塞并发批处理，我受到了限制。
我想在处理批处理时“关闭水龙头”，这样如果我受到限制，我可以退避，退避，然后重试直到批处理完全处理，然后我可以继续阅读。
有一个基于 event-stream 的旧包 split 处理行拆分，但两个项目都已存档。
这是可以用 Transform Stream
解决的问题吗？csv 示例
npm i csv-parser --save
@R_675_5276@sv = require('csv-parser')
const fs = require('fs')
let counter = 0;
let batch = []
const stream = fs.createReadStream('FILE_PATH')
.pipe(csv())
.on('data',(data) => {
console.log('data',data)
batch.push(data)
counter ++
if(counter > 5000) {
stream.pause()
setTimeout(() => {
// YOUR ASYNC PROCESSING
counter = 0;
batch = []
stream.resume()
},5000)
}
})
.on('error',(E) => {
console.error(E)
})
.on('end',() => {
console.log('end');
// YOUR ASYNC PROCESSING
});
以 txt 为例
npm i line-by-line --save
const LineByLineReader = require('line-by-line')
let counter = 0;
let batch = []
rl = new LineByLineReader('FILE_PATH');
rl.on('line',(linE) => {
console.log('line',linE)
batch.push(linE)
counter ++
if(counter > 5000) {
rl.pause()
setTimeout(() => {
// YOUR ASYNC PROCESSING
counter = 0;
batch = []
rl.resume()
},() => {
console.log()
// YOUR ASYNC PROCESSING
})
以上是大佬教程为你收集整理的如何从 Node.js 中的文本文件中批量读取行全部内容，希望文章能够帮你解决如何从 Node.js 中的文本文件中批量读取行所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。