AI在闲鱼测试实践：如何应用AI技术通过图片找bug

随着人工智能（AI）技术的快速发展，其在软件测试领域的应用也日益广泛。AI技术为测试手段带来了更多的可能性，使得测试人员能够更快速、准确地发现软件中的问题。本文将结合闲鱼的测试实践，介绍如何应用AI技术通过图片找bug。
一、前言
闲鱼作为国内知名的二手交易平台，其用户体验至关重要。为了提供高质量的APP给用户，闲鱼的测试团队一直在积极探索和应用新的测试技术。随着AI技术的普及，测试团队开始尝试将AI技术应用于图片找bug中，以提高测试效率和准确性。
二、模型选型
在应用AI技术进行图片找bug时，首先需要确定要解决的问题和所需的模型类型。通过对历史bug的分析，我们发现一些常见的bug类型，如整体页面空白、部分控件显示异常和文本异常等。针对这些问题，我们选择了不同的模型进行解决。
对于整体页面空白这类问题，我们选择了使用TensorFlow搭建的卷积神经网络（CNN）模型进行识别。该模型能够通过学习正常和异常图片的特征，自动识别出是否存在页面空白或异常。
对于文本异常这类问题，我们采用了OCR（光学字符识别）+LSTM（长短期记忆）的方法。首先使用OCR技术识别出图片中的文本内容，然后利用LSTM模型对文本进行序列建模，判断是否存在乱码等问题。
三、模型训练与重训练
为了训练这些模型，我们需要准备大量的样本数据。我们通过收集历史bug的截图和模拟正常情况的图片来构建训练样本。这些样本经过标注后用于训练模型。
在模型训练完成后，我们还需要定期进行模型重训练，以适应软件更新和新的bug类型。为了提高效率，我们在前端实现了一个勾选图片去重训练的入口。通过Jenkins定时任务，读取所有需要重训练的图片并执行重训练脚本，然后将新模型替换旧模型即可。经过几轮自动迭代后，模型的识别准确率有了大幅提升。
四、图片处理与人工甄别
虽然AI模型能够自动识别出一些常见的问题，但仍然存在一些特殊情况需要人工甄别。例如，有些截图可能存在大面积空白，但从业务角度来说这类图片是正确的，比如搜索中间页。针对这种情况，我们在AI模型的输出结果中加入了人工甄别环节。测试人员可以对AI模型的输出结果进行筛选和确认，以提高最终结果的准确性。
此外，我们还采取了一些图片处理措施来提升结果的易读性和可操作性。例如，对于一些尺寸较小或难以辨识的问题点，我们通过图片放大、标注和分类等方式进行处理，使得测试人员能够更快速地定位和解决问题。
五、总结与展望
通过应用AI技术进行图片找bug，闲鱼的测试团队取得了显著的成果。我们成功地提高了测试效率和准确性，减少了漏测和误测的情况。未来，我们将继续探索和应用新的AI技术，以进一步优化测试流程和提高产品质量。同时，我们也希望与业界同行分享我们的经验和技术成果，共同推动软件测试领域的发展。