cloudbau/stress3

镜像概述

stress3是一套C++程序，用于对S3兼容的对象存储进行基准测试。它的开发旨在解决其他工具存在的性能限制，通过多种操作（如创建桶、上传/下载对象、随机读取等）评估存储系统的性能表现。

系统依赖

对于Ubuntu系统，可通过以下命令安装构建项目所需的工具：

bash
sudo apt install build-essential git libcurl4-gnutls-dev libxml2-dev libssl-dev gdb cmake

子模块

项目导入以下子模块以实现核心功能：

• https://github.com/jbeder/yaml-cpp%EF%BC%9A%E7%94%A8%E4%BA%8E%E8%AF%BB%E5%8F%96%E5%9F%BA%E5%87%86%E6%B5%8B%E8%AF%95%E9%85%8D%E7%BD%AE%E6%96%87%E4%BB%B6%E5%92%8C%E5%86%99%E5%85%A5%E7%BB%93%E6%9E%9C%E6%95%B0%E6%8D%AE
• https://github.com/bji/libs3%EF%BC%9A%E5%A4%84%E7%90%86S3 API的底层交互逻辑
• https://github.com/mfycheng/ratelimiter%EF%BC%9A%E9%99%90%E5%88%B6API%E8%B0%83%E7%94%A8%E7%9A%84%E9%80%9F%E7%8E%87%EF%BC%8C%E9%81%BF%E5%85%8D%E8%BF%87%E5%BA%A6%E8%B4%9F%E8%BD%BD

使用说明

所有参数通过当前目录下的config.yaml文件配置，需包含以下字段：

• access_key：S3 API访问密钥
• secret_key：S3 API秘密密钥
• host：S3服务主机名
• timeout：请求超时时间（毫秒）
• retries：失败请求重试次数
• bucket_count：桶数量
• bucket_name：桶名称模板
• bucket_offset：桶计数起始值
• object_count：对象数量
• object_offset：对象计数起始值
• object_read_count：随机读取时每个线程处理的对象数
• object_size：对象大小（千字节）
• thread_count：随机读取线程数

可用程序

• create_buckets：创建指定数量的桶
• test_put：上传对象（需先创建桶）
• test_get：按顺序读取所有对象
• test_get_rand：多线程随机读取对象
• test_copy：复制所有对象
• test_delete：删除所有对象
• test_delete_copy：删除所有对象副本
• delete_buckets：删除所有桶（需为空）

输出统计

每个程序输出包含以下请求时间统计：

• Total time：总运行时间（秒）
• Min time：最小请求时间（毫秒）
• Med time：中位数请求时间（毫秒）
• P95/P99/PT9/PQ9 time：95/99/99.9/99.99百分位数请求时间（毫秒）
• Max time：最大请求时间（毫秒）

Docker Swarm部署示例

1. 按照官方指南创建Docker Swarm：
   https://docs.docker.com/engine/swarm/swarm-mode/
2. 准备并创建配置文件：

   bash
   docker config create config.yaml config.yaml
   

3. 启动基准测试服务：

   bash
   docker service create --name stress3 --config config.yaml cloudbau/stress3 sh -c "/opt/stress3/tools/create_config.sh; cd /opt/stress3; bin/create_buckets; sleep 300; bin/test_put; sleep 300; bin/test_get_rand; sleep 300; bin/test_delete; sleep 300; bin/delete_buckets; sleep 7200"; docker service scale stress3=100
   

警告

需在同一命令中包含资源删除操作（如delete_buckets），因为Swarm容器会自动重建，桶名称基于容器主机名，仅能从原始容器删除。 ===FULL_DESC===