warcforceone/clutch-grab

clutch-grab镜像说明

镜像概述

clutch-grab是ArchiveTeam Clutch项目的工具镜像，用于参与网页归档任务，帮助保存互联网上的内容。更多项目信息可访问ArchiveTeam维基：http://archiveteam.org/index.php?title=Clutch

核心功能

• 支持通过Warrior或直接运行方式参与归档任务
• 提供网页界面查看任务进度（默认地址：http://localhost:8001/）
• 可配置并发任务数、绑定IP地址等参数
• 兼容多种操作系统（Debian/Ubuntu、CentOS、Fedora等）

使用场景

• 个人用户贡献资源参与互联网内容归档
• 组织或团队批量运行归档任务
• 针对特定网站或内容进行归档保存

配置说明

通过Warrior运行

遵循http://archiveteam.org/index.php?title=Warrior，在Warrior界面中选择"Clutch"项目即可。

直接运行（不使用Warrior）

1. 克隆仓库并进入目录：

   bash
   git clone https://github.com/ArchiveTeam/clutch-grab.git
   cd clutch-grab
   

2. 安装依赖：

   bash
   python3 -m pip install setuptools wheel
   python3 -m pip install --upgrade seesaw zstandard requests
   ./get-wget-lua.sh
   

3. 启动归档任务（替换YOURNICKHERE为你的昵称）：

   bash
   run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE
   

4. 更多选项：

   bash
   run-pipeline3 --help
   

Docker运行示例

直接运行任务：

bash
docker run -it --name clutch-grab docker.xuanyuan.run/warcforceone/clutch-grab run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE

绑定特定IP地址：

bash
docker run -it --name clutch-grab docker.xuanyuan.run/warcforceone/clutch-grab run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE --context-value bind_address=123.4.5.6

多实例运行（不同IP）

需seesaw版本0.0.16及以上，使用--context-value参数绑定IP：

bash
run-pipeline3 pipeline.py --concurrent 2 YOURNICKHERE --disable-web-server --context-value bind_address=123.4.5.6

故障排除

wget-lua构建失败

若出现wget.pod相关错误，尝试手动移动文件：

bash
cd get-wget-lua.tmp
mv src/wget ../wget-lua
cd ..

gnutls/openssl问题

确保安装了gnutls-dev(el)和openssl-dev(el)包。

ImportError: No module named seesaw

检查权限设置：

bash
chmod o+rX -R /usr/local/lib/python2.7/dist-packages

run-pipeline命令未找到

使用pip2安装seesaw：

bash
pip2 install seesaw

其他问题

可加入IRC频道（irc.efnet.org #archiveteam）寻求帮助，或提交GitHub issue反馈。