C&C++   发布时间:2022-04-03  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了在C/C++中搜索大文件中的数据大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
我有一个日志文件,其格式为:

DATE-TIME ### attribute1  ### attribute2 ###attribute3 

 

我必须在此日志文件搜索输入属性(从命令行输入)并输出与输入属性匹配的行.
一个天真的方法可能是这样的

scan the entire file line by line
search for the attribute
print if found,else ignore.

这种方法很慢,因为它需要O(n)比较,其中n是可能非常大的行数.
另一种方法可能是使用散列表,但是为大文件保留这样的内存中散列表可能是不可能的.
那么,最可行的解决方案是什么?如何在各种属性上索引整个文件

编辑:
日志文件可能大约是100K行,几乎就像linux上的系统日志文件一样.
在一次调用中,用户可以搜索多个属性,这些属性在第一个属性搜索完成之前是未知的,就像交互式控制台一样.

谢谢,

解决方法

您可以通过仅在其中存储哈希值和文件偏移来减小哈希表的大小.如果属性仅具有固定的,相对较少的值,则您更有可能将整个哈希表适合内存.您为该属性的每个可能值分配一个id,然后为每个id值存储一个大的文件偏移列表.

当然,如果在程序的同一运行中,您执行多个不同的搜索,则哈希表才会有用.

显而易见的解决方案是将数据填充到数据库中,但我认为OP足够聪明,已经意识到已经并且有其他原因专门请求非数据库解决问题的方法.

大佬总结

以上是大佬教程为你收集整理的在C/C++中搜索大文件中的数据全部内容,希望文章能够帮你解决在C/C++中搜索大文件中的数据所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。