怎么判断字符串相似度
|
admin
2023年3月22日 17:58
本文热度 731
|
一直不理解,为什么要计算两个字符串的相似度呢。什么叫做两个字符串的相似度。经常看别人的博客,碰到比较牛的人,然后就翻了翻,终于找到了比较全面的答案和为什么要计算字符串相似度的解释。因为搜索引擎要把通过爬虫抓取的页面给记录下来,那么除了通过记录url是否被访问过之外,还可以这样,比较两个页面的相似度,因为不同的url中可能记录着相同的内容,这样,就不必再次记录到搜索引擎的存储空间中去了。还有,大家毕业的时候都写过论文吧,我们论文的查重系统相信也会采用计算两个字符串相似度这个概念。
以下叙述摘自编程之美一书:
许多程序会大量使用字符串。对于不同的字符串,我们希望能够有办法判断其相似程序。我们定义一套操作方法来把两个不相同的字符串变得相同,具体的操作方法为:
1.修改一个字符(如把“a”替换为“b”);
2.增加一个字符(如把“abdd”变为“aebdd”);
3.删除一个字符(如把“travelling”变为“traveling”);
比如,对于“abcdefg”和“abcdef”两个字符串来说,我们认为可以通过增加/减少一个“g”的方式来达到目的。上面的两种方案,都仅需要一 次 。把这个操作所需要的次数定义为两个字符串的距离,而相似度等于“距离+1”的倒数。也就是说,“abcdefg”和“abcdef”的距离为1,相似度 为1/2=0.5。
给定任意两个字符串,你是否能写出一个算法来计算它们的相似度呢?
原文的分析与解法
不难看出,两个字符串的距离肯定不超过它们的长度之和(我们可以通过删除操作把两个串都转化为空串)。虽然这个结论对结果没有帮助,但至少可以知道,任意两个字符串的距离都是有限的。我们还是就住集中考虑如何才能把这个问题转化成规模较小的同样的子问题。如果有两个串A=xabcdae和B=xfdfa,它们的第一个字符是 相同的,只要计算A[2,...,7]=abcdae和B[2,...,5]=fdfa的距离就可以了。但是如果两个串的第一个字符不相同,那么可以进行 如下的操作(lenA和lenB分别是A串和B串的长度)。
1.删除A串的第一个字符,然后计算A[2,...,lenA]和B[1,...,lenB]的距离。
2.删除B串的第一个字符,然后计算A[1,...,lenA]和B[2,...,lenB]的距离。
3.修改A串的第一个字符为B串的第一个字符,然后计算A[2,...,lenA]和B[2,...,lenB]的距离。
4.修改B串的第一个字符为A串的第一个字符,然后计算A[2,...,lenA]和B[2,...,lenB]的距离。
5.增加B串的第一个字符到A串的第一个字符之前,然后计算A[1,...,lenA]和B[2,...,lenB]的距离。
6.增加A串的第一个字符到B串的第一个字符之前,然后计算A[2,...,lenA]和B[1,...,lenB]的距离。
在这个题目中,我们并不在乎两个字符串变得相等之后的字符串是怎样的。所以,可以将上面的6个操作合并为:
1.一步操作之后,再将A[2,...,lenA]和B[1,...,lenB]变成相字符串。
2.一步操作之后,再将A[2,...,lenA]和B[2,...,lenB]变成相字符串。
3.一步操作之后,再将A[1,...,lenA]和B[2,...,lenB]变成相字符串。
通过以上1和6,2和5,3和4的结合操作,最后两个字符串每个对应的字符会相同,但是这三种操作产生的最终的两个字符串是不一样的。我们不知道通过上述的三种结合那种使用的操作次数是最少的。所以我们要比较操作次数来求得最小值。
该文章在 2023/3/22 17:58:31 编辑过
| |
全部评论1 |
|
admin
2023年3月22日 18:0
很有意思的课题。不过既然是相似,就是模糊匹配,就没有标准,如果定义了严格的标准,那就是伪命题,只能说达到某种程度的相似要求,而不能称标准,只要实现你的需求就是合理的。
相似度匹配问题涉及几个方面 1、长度相似 2、大小写相似(这个简单) 3、字符或词组并集数量。
我相信根据以上三点你应该有想法了。
我的判断方式是,定义一个统计匹配次数的变量(完全相等不在下面处理流程考虑范围之内),每个测试项目都记做一分,即计数变量加一。
预处理:取长度较长的串定义为原串,将较短的定义为测试串。将原串和测试串全部转为大写或小写。 1、如果两串长度在70%以上则看做相似(这个值根据需要可调),+1 2、将被测试串与原串做包含测试(str.indexof(test)),如果命中+1 3、将原串和被测试串分别分割为三个子串,将它们各自的左中右子串做包含测试,每命中一个 +2。 4、将被测试串循环位移若干字符(可调),重复3#操作,重复次数根据移动字符数计算。
你可以选择选取以上几个条件进行判断,你也可以加入其它测试条件,组成10分制,达到6分看做相似。你也可以简单地单独采用一种方式判断,比如长度接近的情况下,选取第3个测试方法,将串分三部分,分别做包含测试,出现2次匹配就看做相似。 该评论在 2023/3/22 18:04:44 编辑过
|