javascript – 如何从JSON文件目录向mongoDB添加许多记录？

所以简短的回答可能是将collection.insert([entry],…)改为collection.insertOne(entry,…),你就完成了.

然后,对于长时间的回答,您说“大约有一百万个json文件”,这通常需要一个完全异步的方法,并且开销最小.

示例代码中存在两个(潜在的)瓶颈：

> fs.readFileSync,这是一个阻塞操作
>连接,插入记录和关闭数据库连接

两者都执行“大约一百万次”.当然,导入通常不会一次又一次地进行,并且(希望)不会在需要其性能用于其他重要任务的机器上进行.尽管如此,示例代码仍然可以更加健壮.

考虑使用glob模块获取json文件列表.

glob('imports/**/*.json',function(error,files) {...})

这样可以轻松地以异步方式为您提供完整的文件列表.

然后考虑只连接一次数据库,插入所有内容并关闭一次.

保持与样本中的步骤大致相同,我建议如下：

var glob = require('glob'),mongodb = require('mongodb'),fs = require('fs'),MongoClient = mongodb.MongoClient,mongoDSN = 'mongodb://localhost:27017/my_database_name',collection; //  moved this to the "global" scope so we can do it only once

function insertRecord(json,donE) {
    var recordID = json.recordID || null,recordText = json.recordText || null;

    //  the question implies some kind of validation/sanitation/preparation..
    if (recordID && recordText) {
        //  NOTE: insert was changed to insertOne
        return collection.insertOne({recordID: recordID,recordText: recordText},donE);
    }

    done('No recordID and/or recordText');
}

function runOnFile(file,donE) {
    //  moved to be async
    fs.readFile(file,data) {
        if (error) {
            return done(error);
        }

        var json = JSON.parse(data);

        if (!json) {
            return done('Unable to parse JSON: ' + filE);
        }

        insertRecord(json,donE);
    });
}

function processFiles(files,donE) {
    var next = files.length ? files.shift() : null;

    if (next) {
        return runOnFile(next,function(error) {
            if (error) {
                console.error(error);
                // you may or may not want to stop here by throwing an Error
            }

            processFiles(files,donE);
        });
    }

    done();
}

MongoClient.connect(mongoDSN,db) {
    if (error) {
        throw new Error(error);
    }

    collection = db.collection('users');

    glob('imports/**/*.json',files) {
        if (error) {
            throw new Error(error);
        }

        processFiles(files,function() {
            console.log('all done');
            db.close();
        });
    });
});

注意：您可以使用insertMany收集多个“条目”记录以利用多个插入的性能增益,但我感觉插入的记录比描述的更复杂,如果处理不当,可能会给出一些内存问题.