yorko/dataset-bit

Dataset-Bit

一个轻量级、生产就绪的FastAPI Web应用，用于高质量问答数据集处理。
支持文档上传、智能文本分块、问答生成与导出功能，内置SQLite数据库和文件管理系统，开箱即可运行。

核心功能

• 📄 文档上传：支持TXT、DOCX、PDF和Markdown文件格式。
• ✂️ 智能文本分块：多种分块策略（按段落、标题、表格或自动模式）。
• 🤖 问答生成：使用兼容OpenAI API的大语言模型生成问答对。
• 📦 导出功能：支持以JSON、CSV、Markdown等多种格式导出数据集。
• 🗂 内置数据库：预初始化的SQLite数据库。
• 🗃 文件管理：上传的文件和导出内容在容器内统一管理。
• 🌍 生产就绪：无需挂载代码或依赖本地环境。

快速开始

1. 拉取镜像

bash
docker pull docker.xuanyuan.run/yorko/dataset-bit:latest

2. 运行容器

bash
docker run -d -p 8000:8000 docker.xuanyuan.run/yorko/dataset-bit:latest

然后在浏览器中打开 http://localhost:8000。

高级用法（使用Docker Compose）

创建 docker-compose.yml 文件：

yaml
version: '3.8'

services:
  web:
    image: docker.xuanyuan.run/yorko/dataset-bit:latest
    ports:
      - "8000:8000"
    environment:
      - APP_HOST=0.0.0.0
      - APP_PORT=8000
    restart: unless-stopped

启动命令：

bash
docker-compose up -d

注意事项

• 镜像内置预初始化的 dataset_bit.db 数据库及 uploads 目录下的所有文件。
• 若需持久化数据，建议挂载 /app/uploads 和 /app/exports 卷。
• 开发环境使用请参考仓库中的 docker-compose.dev.yml 示例。

许可证

MIT