Bash   发布时间:2022-05-13  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了shell – 逐步通过大文件大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
我有几个大型数据文件(约100MB-1GB的文本)和一个数万个时间戳的排序列表,它们索引感兴趣的数据点.时间戳文件如下所示:

12345
15467
67256
182387
199364
...

数据文件如下所示:

Line of text
12345 0.234 0.123 2.321
More text
Some unimportant data
14509 0.987 0.543 3.600
More text
15467 0.678 0.345 4.431

第二个文件中的数据全部按时间戳排列.我想使用第一个文件的时间戳来浏览第二个文件,在输出文件中打印时间戳和第四个数据项.我一直在用这个:

grep -wf time.stamps data.file | awk '{print $1 "\t" $4 }'  >> output.file

对于每个数据文件,这需要一天的顺序.问题是这个命令搜索整个数据文件中的每一行time.stamps,但我只需要搜索从最后一个数据点获取.有没有办法加快这个过程?

解决方法

你可以完全用awk做到这一点……

awk 'NR==FNR{a[$1]++;next}($1 in a){print $1,$4}' timestampfile datafile

大佬总结

以上是大佬教程为你收集整理的shell – 逐步通过大文件全部内容,希望文章能够帮你解决shell – 逐步通过大文件所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。
标签: