intel/intel-optimized-text-embedding

Intel优化的嵌入容器

镜像概述和主要用途

Intel优化的嵌入容器是一个轻量级文本嵌入模型，可用于各种自然语言处理（NLP）任务。该模型基于https://huggingface.co/WhereIsAI/UAE-Large-V1%E9%80%9A%E8%BF%87sentence-transformers%E5%92%8CIntel%C2%AE Extension for Pytorch（IPEX）框架蒸馏得到。模型参数为23M，输入序列长度512，输出嵌入大小512。在MTEB检索任务和STS任务上分别达到46%和82%的平均准确率。模型文件和容器源代码可在https://github.com/intel/Intel-Optimized-Container-for-Embeddings%E8%8E%B7%E5%8F%96%E3%80%82

核心功能和特性

• 轻量级设计：仅23M参数，资源占用低，部署灵活
• Intel架构优化：针对Intel® Xeon®架构优化，利用Intel® Extension for Pytorch（IPEX）提升性能
• 高效推理：支持最新的Intel® Advanced Matrix Extensions（AMX），实现加速的BF16推理
• 可定制配置：支持内置torchserve配置和自定义配置文件

使用场景和适用范围

适用于需要文本嵌入生成的各类NLP任务，包括但不限于：

• 文本检索与相似度匹配
• 语义文本相似度（STS）评估
• 自然语言理解（NLU）任务
• 文档分类与推荐
• 问答系统中的上下文理解

使用方法和配置说明

运行容器

使用内置torchserve配置

bash
docker run --network=host --cap-add SYS_NICE -t -d --rm -p 7080:7080 --name=local_model docker.xuanyuan.run/intel-text-embedding:latest

使用自定义配置

将自定义配置文件挂载到容器中：

bash
docker run --network=host --cap-add SYS_NICE -t -d --rm -p 7080:7080 -v ./config.properties:/home/ubuntu/config.properties --name=local_model docker.xuanyuan.run/intel-text-embedding:latest

本地测试

使用curl发送POST请求测试模型：

bash
curl -s -X POST \
  -H "Content-Type: application/json" \
  -d @./instances.json \
  http://localhost:7080/predictions/intel_embedding_model/

训练数据集

该模型的训练使用了以下数据集：