注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

网易杭州 QA Team

务实 专注 分享 做有态度的QA

 
 
 
 
 

日志

 
 

如何进行产品上线前质量评估?  

来自lingbaomei   2017-03-21 11:12:31|  分类: 测试理论 |举报 |字号 订阅

  下载LOFTER 我的照片书  |
前段时间组内做了个关于产品上线前质量评估方面的讨论,对于如何进行上线前质量的评估,我做了些思考和总结,故希望记录下来。项目中在上线前通常需要QA对产品质量进行评估,是否建议上线,所以QA对于产品质量的评估是需要慎重的,也值得我们花心思去重视,从而更好得做出判断。自己总结了下,质量评估大多都是从以下主要几个方面来进行:
1、风险分析
(1)遗留bug风险分析
(2)测试覆盖范围压缩风险
(3)测试时间压缩风险
(4)回归测试时间压缩风险
(5)回归测试进度受阻风险
(6)Reopen Bug数风险
(7)Bug数量风险
(8)冒烟测试通过率风险
(9)其他风险,如人力因素:开发人员、测试人员不够熟悉业务等。
小结:不同的风险点及不同的风险级别,可作为产品质量评估的重要准则之一,如果出现风险点较多,并且都是高风险,极大可能存在很多未必发现的bug,通常产品质量评估为不会建议上线。但如果按照上面的风险标准来评估,风险点不多,并级别都较小,产品质量评估还是能往良好去评。如果介于中间情况,需要结合其他方面一起综合评估是否能适合上线。
2、测试类型分析
(1)功能测试
(2)易用性测试
(3)安全性测试
(4)性能测试
小结:测试过程中覆盖的类型越多,能发现的问题可能性也较大,测试类型的覆盖及测试情况均能作为质量评估的参考。
3、测试的不同阶段执行情况
(1)冒烟测试
(2)新功能测试
(3)回归测试
小结:测试一般会经历以上几个基本的阶段,不同阶段轮次也可能不同,可能有多轮,根据测试对象的情况而定的测试计划。不同阶段的执行情况,如用例通过率,发现bug情况,也可作为产品过程质量的参考,但最终的质量如何也要结合其他方面分析,如bug收敛情况及bug的严重情况,如新功能测试阶段问题很多,通过率很低,但是新功能测试后期收敛很好,回归测试阶段情况也良好,bug严重程度不高,那总体来看该产品最终质量是良好的。
4、Bug统计及分析
(1)Bug严重程度分布情况
(2)Bug进度情况(收敛情况)
小结:bug的收敛情况通常会作为测试结束的很大的参考标准,如果bug收敛情况不好,但又接近固定的上线时间,可想该产品潜在问题会相对多,风险是高的,质量也会不理想。如果bug情况收敛得很好,测试中后期都已处于收敛情况,回归测试用例执行、自动化测试等均没有再发现新问题,通常这种情况下该产品的质量是良好的。
5、持续集成及自动化情况(作为回归情况的参考):
(1)接口测试情况;
(2)静态代码检查情况;
小结:接口测试及静态代码检查自动化情况可作为辅助参考,通常出现问题的地方都不是接口问题及代码规范,但如果有做了这些自动化,而又情况良好,可谓是多方面校验质量,那对于评估质量时结合其他方面分析时也有正面的参考。
6、其他
(1)需求测试阶段变更情况;
(2)交互测试阶段变更情况;
小结:项目实践过程中,难免会遇到测试阶段有需求或者交互变更,看变更的具体情况,如果涉及到逻辑变动大,或者代码改动大,可能引起的风险会很高;同时如果频繁变更,整个产品不管从引起的风险,还是从总体来看,质量就不能算是好。

虽然以上几点作为上线前的评估产品质量的参考点,但实践中还是需要具体问题具体分析,产品质量坏可以容易评估出来,bug一直不收敛,到了上线时间bug都没修复完成,遗留bug一堆,这种通常都会认为不建议上线,产品质量不过关;但是除了这种极端情况,通常我们都会评估为良好或者一般,这时就要综合各方面来评估,但其实也未必是准确的,因为即使没有发现很多问题,并不能说明产品没有问题,很有可能是测试方法有问题没有发现潜在的问题,从而上线后用户频繁使用才暴露了问题,所以只能做到尽量多从各个方面来验证产品和评估产品,同时还需要上线后继续跟踪产品情况。以上所列的方面都仅供参考,看起来偏理论有点虚,但实际上我经历的项目中确有以上实践,至于是否适合你,具体还要看你所在项目团队情况。
  评论这张
 
阅读(400)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017