alignmentforever/april_aligner

Aligner 模型部署指南

[Aligner Github]

[Aligner Website]

前提条件

• CUDA环境
• vLLM 安装完成
• 至少8张GPU (0-7)
• 足够的GPU内存用于加载模型

配置说明

在运行部署脚本前，需要配置以下环境变量：

1. BASE_MODEL_PATH - 基础模型路径
2. ALIGNER_MODEL_PATH - Aligner模型路径
3. BASE_PORT - 基础模型服务端口(默认8011)
4. ALIGNER_PORT - Aligner模型服务端口(默认8013)

部署步骤

1. 打开deploy_aligner.sh脚本，填写所需的模型路径：

   export BASE_MODEL_PATH='您的基础模型路径'
   export ALIGNER_MODEL_PATH='您的Aligner模型路径'
   

2. 如需要，可修改默认端口：

   export BASE_PORT=8011
   export ALIGNER_PORT=8013
   

3. 运行部署脚本：

   bash deploy_aligner.sh
   

部署详情

该脚本会启动两个vLLM服务：

1. 基础模型服务：

   • 使用GPU 0-3
   • 4路张量并行
   • 监听0.0.0.0:$BASE_PORT
   • 最大序列长度2048

2. Aligner模型服务：

   • 使用GPU 4-7
   • 4路张量并行
   • 监听0.0.0.0:$ALIGNER_PORT
   • 最大序列长度2048

两个服务都配置了以下共同参数：

• API密钥：jiayi # 不重要，仅用于初始化
• 信任远程代码
• 自动数据类型
• 强制使用eager模式
• 1GB交换空间

验证部署

脚本运行完成后，可通过以下方式验证服务是否成功启动：

curl -X GET http://localhost:$BASE_PORT/v1/models
curl -X GET http://localhost:$ALIGNER_PORT/v1/models

或者使用netstat查看端口是否被监听：

netstat -tuln | grep $BASE_PORT
netstat -tuln | grep $ALIGNER_PORT

运行推理

更改aligner_inference_demo.py中的模型路径，需要与deploy_aligner.sh中的模型路径保持一致

aligner_model = ""
base_model = ""

运行 aligner_inference_demo.py 启动Gradio-based的部署脚本

python aligner_inference_demo.py