C&C++   发布时间:2022-04-03  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了逐行改进C的阅读文件?大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
我正在解析一个~500GB的日志文件,我的C版需要3.5分钟,而我的Go版需要1.2分钟.

我正在使用C的流来流式传输文件的每一行进行解析.

#include <fstream>
#include <string>
#include <iostream>

int main( int argc,char** argv ) {
   int linecount = 0 ;
   std::string line ;
   std::ifstream infile( argv[ 1 ] ) ;
   if ( infile ) {
      while ( getline( infile,line ) ) {
          linecount++ ;
      }
      std::cout << linecount << ": " << line << '\n' ;
   }
   infile.close( ) ;
   return 0 ;
}

首先,为什么使用这段代码这么慢?
其次,我如何改进它以使其更快?

解决方法

众所周知,C标准库iostream很慢,标准库的所有不同实现都是这种情况.为什么?因为该标准对实施提出了许多要求,这些要求会抑制最佳性能.标准库的这一部分大约在20年前设计,在高性能基准测试中并不具备真正的竞争力.

你怎么能避免它?使用其他库来实现高性能异步I / O,例如boost asio或操作系统提供的本机功能.

如果你想保持在标准范围内,functionstd :: basic_istream :: read()可以满足你的性能需求.但在这种情况下,你必须自己进行缓冲和计数.这是如何做到的.

#include <algorithm>
#include <fstream>
#include <iostream>
#include <vector>

int main( int,char** argv ) {
   int linecount = 1 ;
   std::vector<char> buffer;
   buffer.resize(1000000); // buffer of 1MB size
   std::ifstream infile( argv[ 1 ] ) ;
   while (infile)
   {
       infile.read( buffer.data(),buffer.size() );
       linecount += std::count( buffer.begin(),buffer.begin() + infile.gcount(),'\n' );
   }
   std::cout << "linecount: " << linecount << '\n' ;
   return 0 ;
}

让我知道,如果它更快!

大佬总结

以上是大佬教程为你收集整理的逐行改进C的阅读文件?全部内容,希望文章能够帮你解决逐行改进C的阅读文件?所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: