| 描述 |
kylinTOP
|
loadrunner | Jmeter |
| 企业平台 |
BS架构，企业级平台，支持多人同时操作；支持项目管理、模块管理、用户管理、脚本用例管理、参数文件管理；支持多次运行报告历史对比、单个接口多次运行历史对比
|
单机CS架构，简单的脚本管理
|
单机CS架构，简单脚本管理
|
| 协议/业务 |
支持多种协议，支持HTTP/HTTP2、RTSP、RTMP、Socket、JAVA自定义等；
|
支持协议更多
|
支持协议较少，不支持HTTP2、SIP、RTSP、RTMP
|
| 脚本录制 |
支持浏览器录制、抓包文件录制、Swagger或har文件录制；支持录制HTTP(Ajax)、SIP、RTSP、Socket、手机与机顶盒
|
支持浏览器与抓包录制，https部分支持，例如chrome无法录制淘宝
|
支持浏览器代理录制，https部分支持，例如chrome无法录制淘宝
|
| 并发性能 |
支持actors异步io模型: 并发性强，指标时间统计精确（CPU高时也可精确得到服务器响应到达时间），占用内存少；虚拟用户共享线程（执行器只创建少量线程，因此占用内存少），单台执行器可并发万级、甚至百万级虚拟用户；
也支持线程模型: 每个虚拟用户独占一个或多个线程（模拟浏览器）； |
只支持线程模型，虚拟用户独占一个或多个线程，线程越多内存和CPU占用越高，单台执行器无法并发太多用户（百级千级）；当执行器CPU高时指标统计不准确，例如服务器回复响应时间为1秒，但由于执行器CPU太高，导致2秒才处理响应，则统计指标时间为2秒，不准确。
|
只支持线程模型，线程越多占用内存（默认1个线程1MB内存）和CPU越高，线程切换耗费CPU资源和内存，一旦并发线程多，性能极速下降；当执行器CPU高时指标统计不准确，例如服务器回复响应时间为1秒，但由于执行器CPU太高，导致2秒才处理响应，则统计指标时间为2秒，不准确。
|
| 模拟浏览器 |
录制时记录浏览器的行为，每个用户模拟浏览器一样的并发数与TCP连接数。实现模拟真实环境的场景。 举例说明
http://wenku.it168.com/d_000993218.shtml http://bbs.51testing.com/thread-1077093-1-4.html |
部分支持，11版本每个虚拟用户能并行2个HTTP请求，停留在IE6水平；12版本静态资源支持6个并发，但接口是串行的，不能直接评估系统用户数，但又没标准换算公式
|
不支持，每个虚拟用户并发时是串行执行HTTP请求，与真实浏览器并发差距大
|
| 真实浏览器 |
支持WEB UI界面自动化点击，一台电脑通过headless可以打开5到20个真实浏览器，多台电脑即可实现更大的并发。一些复杂页面例如加密、或动态页面无法使用模拟HTTP，可以通过真实浏览器并发。
|
不支持
|
不支持
|
| 接口测试 |
支持接口自动化测试，接口历史报告查看与对比；支持HTTP接口、RPC接口测试与监控
|
只支持接口性能测试，不支持接口自动化测试
|
支持接口性能与自动化测试，但报告简单
|
| 虚拟用户数据分析 |
唯一一个性能测试平台可以支持分析每个用户的详细信息，包括请求响应时间与事务时间、时间支持90% 80%、第一个Buffer时间、TCP建立时间、吞吐量、成功失败数，以便定位哪些HTTP请求花费时间长。用于分析页面情况
|
支持Web Page Diagnostics，不支持定位到每个虚拟用户
|
支持简单汇总，不支持定位到每个虚拟用户
|
| 录制与回放比较 |
支持录制日志与回放日志进行比较定位脚本问题或验证脚本是否正确，大大提高脚本效率与准确性
|
支持验证回放
|
不支持
|
| 验证脚本成功 |
回放脚本后，支持通过浏览器重复录制时的操作来验证脚本是否成功，一目了然即可看到页面是否一样
|
验证功能里支持简单页面查看
|
不支持
|
| 自动关联 |
支持比较两次录制日志标识不一样的内容，或录制与回放日志比较实现自动关联
|
支持
|
不支持
|
| 资源占用 |
资源占用率更低，同等硬件配置支持更多虚拟用户数
|
资源占用率稍高
|
大并发下资源占用较高，内存占用大导致不稳定
|
| 分布式测试 |
支持控制多个压测机实现分布式并发测试；
|
支持
|
支持
|
| 并发模型 |
强大且灵活的并发模型，包括用户数/秒、CAPS/秒、目标模型，详细请点击链接
|
支持多种并发模型
|
并发模型单一
|
| 报告与分析 |
支持合并指标、指标过滤、曲线放大缩小、比较不同测试结果、日志分析，生成HTML/word报告
|
相似功能
|
简单图表
|
| 资源监控 |
提供Monitor代理器，支持CPU、内存、I/O、交换区、磁盘读写数、吞吐量等资源指标
|
更完善，支持SNMP收集资源指标
|
不支持
|
| IP与端口 |
支持输出每个虚拟用户使用的IP与端口，以便执行失败或成功但时间超长时抓包定位问题，通过过滤IP与端口可以筛选异常的报文，以便提供证据给开发。因为在大并发性能测试时，测试问题，开发可能说是工具问题，或者无法定位问题，通过抓包即可辅助问题定位
|
不支持，无法给出
|
不支持
|
| 虚拟IP |
支持系统虚拟IP与工具虚拟IP（支持更多IP占用资源更低）
|
支持系统虚拟IP
|
不支持
|
| 网速模拟 |
支持限制每个用户上传/下载带宽
|
支持
|
不支持
|
| 扩展性 |
支持JAVA语言扩展，解决私有算法或业务处理，如加解密，JavaScript计算
|
更完善，附加的TSL或者C函数库
|
开源，用户可根据需求修改源代码
|
| 提高自己 |
工具脚本与日志完善显示协议内容与交互过程，如HTTP协议及交互过程，让您更好学习HTTP与业务
|
脚本与日志隐藏了协议，对自身学习掌握协议帮助不大，懂协议与业务交互才能更好定位脚本问题
|
HTTP支持显示HTTP协议日志
|
| 在线支持/定制需求 |
提供帮助文档与视频，在线支持，快速创建测试场景与问题解决，提高测试效率
|
自己摸索实践，资料多
|
自己摸索实践，资料多
|