中文分词在大量数据模糊查询中的应用

大佬教程收集整理的这篇文章主要介绍了中文分词在大量数据模糊查询中的应用，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

最近在做建筑行业相关的项目，遇到的一个应用场景是解析材料名称。由于输入的数据中材料名称非常不规范，而且数量量又非常大，所以处理起来比较困难。

名称不规范的意思是，比如标准材料叫：“圆钢”，材料中出现的名称有：“钢筋圆钢”，“圆钢HPB300”，“钢筋 圆钢（≤Φ10）”等等，也就是说材料名称前面或者后面很多修饰语（一般情况是前面是材料分类，后面是型号信息）。

一般的思路就是关键字匹配，但是由于数据量比较大，一般上千条，而标准材料数量也上千条左右。所以用这种方法的话，就是两个for循环，循环次数非常多：

for _,v := range materialList {
	for _,v1 := range standardList { // 一共上千条
		if Strings.Contain(v,v1) {
			// 找到了标准材料
			do something
			break
		}
	}
}

新的思路是使用中文分词，将标准材料放在字典里面，如下：

{

// 键为标准材料名称，值为材料信息

“圆钢”: xxxxxxx,

"螺纹钢": xxxxxxx,

......

}

在解析材料数据的时候，先对材料进行分词，比如“钢筋圆钢”就会分为“钢筋”，“圆钢”，“圆钢HPB300”会分为"圆钢"，“HPB300”等等。

分词之后，在词的数组中从后往前（针对我的应用场景）在字典中查找，直到键匹配成功。一般分词之后词的数量不会太多，基本都在5条以内，所以效率比较高。

这样将以前的内部循环匹配查找转换为分词操作和字典查找，只要分词操作性能高的话，整体查找效率会比第一种方法高很多。

其他类似场景也可以使用这种思路来提升程序的性能。

最后推荐一个我使用的go的中文分词库：segohttps://github.com/huichen/sego

大佬总结

以上是大佬教程为你收集整理的中文分词在大量数据模糊查询中的应用全部内容，希望文章能够帮你解决中文分词在大量数据模糊查询中的应用所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。