当我们在说:我们代码的测试覆盖率为100%的时候,我们在说什么


有一句经典的话:世界是怎么样的,取决与你怎么看他。
柏拉图也有一句经典的论断:我们认识外部世界的方法,就像被套住了脖子关在一个山洞里,只能通过背后透射近来的一点光亮,看到山洞墙壁上的斑驳。这就是我们认识的世界。
量子物理里面也有类似观点:你观测电子的方法无可避免的干扰了电子的行为(著名的测不准原理)。

说了这么多,只是为le说明,当我们在说测试覆盖率为100%的时候,你要多问自己几个问题。
当有人对你说:我单元测试代码的覆盖率为100%了!
你的第一反映是什么?
“哇,恭喜哈,走庆祝去”,如果是这样的话,那有一天你会为遗漏的问题付出代价。
“等一等,你用的是什么工具?”。对,你用的是什么工具来观测覆盖率的?

以Java代码为例子,我们来看看不同工具的测试覆盖率的表现。

我们按下面这段例子代码:
package test.unit;

public class Branch {
        public String getValue(int condition){
                String ret = null;
                if (condition > 10){
                        ret = "true";
                }
                return ret;
        }
}

测试代码为:
package test.unit;

import junit.framework.TestCase;

public class TestBranch extends TestCase{
        public void testBranch(){
                Branch b = new Branch();
                String real_val = b.getValue(20);
                assertTrue(real_val.equals("true"));
        }
}

然后我们先用比较常见的eclemma这个工具来观测测试覆盖率。

从上面的图种我们看到测试覆盖率为100%!

但是细心的同学们都可以发现,实际上有一个逻辑分支是没有测试的:b.getValue(x), x < 10。
我们仔细看eclemma的覆盖率,你会发现eclemma统计的是代码覆盖率,而实际上还存在一种分支覆盖率,这个eclemma没有统计出来。

分支覆盖率的意思是:要遍历所有的if条件表达式可能的值。

我们用另外一个工具(eCobertura)来观察测试覆盖率,你对分支覆盖就有点印象了。
对上面代码,我们用eCobertura统计的结果为:分支覆盖率50%,代码覆盖率100%

为了更好理解分支覆盖,我们再增加一个函数:
package test.unit;

public class Branch {
        public String getValue(int condition){
                String ret = null;
                if (condition > 10){
                        ret = "true";
                }
                return ret;
        }
        
        public String getValue(int x, int y){
                String ret = null;
                if (x > 0 && y > 0){
                        ret = "true";
                }
                return ret;
        }
}

测试函数:
package test.unit;

import junit.framework.TestCase;

public class TestBranch extends TestCase{
        public void testBranch(){
                Branch b = new Branch();
                String real_val = b.getValue(20);
                assertTrue(real_val.equals("true"));
        }
        
        public void testGetValueXY(){
                Branch b = new Branch();
                String real_val = b.getValue(10, 10);
                assertTrue(real_val.equals("true"));
        }
}

然后我们用eCobertrua测试,发现这个if分支有4条路径,只测试了两条。

为什么是四条路径?这个就是之前说的,分支覆盖率会遍历所有的可能条件:x,y组合起来,就是有四种可能。

所以,以后,当我们说到测试覆盖率为多少多少的时候,一定要有一个前提,你是用什么工具观察的。

分支覆盖率是一种比严格的观察工具,要达到分支覆盖率100%,需要付出巨大的努力。因此在具体项目中实施的时候,建议能够发现两种工具结合起来:将重点代码用分支覆盖率来要求,用不重点代码用代码覆盖率来要求。

转载请注明:运维派 » 当我们在说:我们代码的测试覆盖率为100%的时候,我们在说什么

0
2.5k
3
  1. 在公司的商业化项目中代码程序覆盖率100%基本是形式主义,因为要达成这个目标比开发这些功能还要更细致,这是项目时间不允许的。