AIGC10: AI转文服务器的搭建过程记录

图片

上图是台风席卷城市，现在企业的服务基本都是混合部署，云计算厂商的机房往往可以提供比较好的保护，一般在地下，扛多少级地震，扛多少级台风，而自建机房，往往写字楼经常停电，网络运营上经常断网。

那么怎么防护这种意外，保证服务在线，或者最短时间恢复？

答案就是多地备份，快速切换。

背景

飓风袭击亚特兰大，我们的转文服务器放在这个城市，担心断电或者断网。所以需要有一个备用的服务器来处理语音数据。

计划是在云计算厂商相对安全，距离又近的地方买一个服务器，重新搭建，来处理语音转文，左右声道拆分和角色识别。

然后是做完之后，需要通过配置能切换，同时保证功能正常。

目标

购买一个最低成本的带GPU的服务器，在阿里云上。做备用，在极端天气情况下使用备用的服务器。极端天气过后，切换到自建IDC的服务器。兼顾成本和高可用。

下面是操作步骤。记录下来，方便后续查看或者交给运维。

搭建步骤

1 购买机器

带GPU的，默认安装驱动；

图片

选择的ubuntu系统。 设置账号密码，安全组端口全部关闭。 vpc选择跟产线环境互通，可以节约流量加快速度，进一步提高安全性。

2 查看gpu显卡信息

需要先安装工具。这将显示有关图形设备的信息。来看看买的GPU的资源是否给够了，当前的版本是什么，方便排查问题。

sudo apt-get install inxi
sudo inxi -G

然后查看GPU信息：

sudo nvidia-smi

图片

这张图片显示了NVIDIA GPU的状态信息，使用了nvidia-smi命令。下面是对各个字段的解释，以及一些类比和例子：

主要信息解释

1. NVIDIA-SMI 550.90.07:
   • 这是NVIDIA系统管理接口的版本号。就像软件的版本号，指示你正在使用哪个版本的驱动程序。
2. Driver Version 550.90.07:
   • 这是当前安装的GPU驱动程序版本。如果驱动程序不更新，可能会影响GPU性能和兼容性，就像手机应用需要定期更新以修复漏洞。
3. CUDA Version 12.4:
   • CUDA是NVIDIA的并行计算平台和编程模型，版本指示支持的CUDA功能。可以类比为操作系统的版本，决定了你可以使用哪些新特性。
4. GPU Name: Tesla T4:
   • 显示了GPU的型号。在这张图中，使用的是NVIDIA的Tesla T4，适用于深度学习和高性能计算。
5. Fan Temp 44C:
   • 风扇的温度，44摄氏度。可以类比于计算机的CPU温度，帮助监控硬件是否过热。
6. Power Usage/Cap (10W / 70W):
   • 当前功耗为10瓦，最大功耗为70瓦。这表明GPU在有效使用功率，类似于电器的功率消耗。
7. Memory Usage (1MiB / 16384MiB):
   • 当前使用的内存为1 MiB，总可用内存为16,384 MiB（即16 GB）。这一点可以与计算机的内存使用情况做类比。
8. GPU Utilization (0%):
   • 目前GPU的利用率为0%，表示没有正在运行的计算任务。可以看成汽车的油门，0%意味着完全没有加速。
9. Processes:
   • 该部分显示当前正在运行的进程。这里显示“没有正在运行的进程”，意味着没有任务占用GPU资源。

类比说明

可以把这整个信息看作一辆汽车的仪表盘：

• 版本号（NVIDIA-SMI, Driver, CUDA）类似于汽车的型号和生产年份。
• 温度（Fan Temp）类似于发动机的温度表，确保它在正常范围内运行。
• 功耗（Power Usage/Cap）就像油表，显示当前油量和油箱的容量。
• 内存使用（Memory Usage）就像后备箱的空间，显示了当前使用和可用的存储空间。
• 利用率（GPU Utilization）则像车速表，表示汽车当前的运行状态。
• 进程信息就像车内的乘客，显示当前有哪些人（进程）在使用这辆车（GPU）。

通过这些信息，用户可以有效监控和管理GPU的性能，确保其在最佳状态下运行。

3 安装sftp 修改开启端口

sudo apt-get update
sudo apt-get install openssh-server

sudo vi /etc/ssh/sshd_config

# 修改端口
Port 9222

sudo systemctl restart ssh

安全组放开9222

同时IP开白，限定只有 prod ，qa环境的出网ip， 深圳 ，岳阳办公环境才能访问 .

图片

因为最近安全问题频发，所以这块必须要保证，任何开放到公网的端口都有被攻击的风险。

4 挂载NAS盘 到/sftp

sudo apt-get update && sudo apt-get install nfs-common

sudo chmod  777  -R  /etc/modprobe.d

sudo echo "options sunrpc tcp_slot_table_entries=128" >>  /etc/modprobe.d/sunrpc.conf 
sudo echo "options sunrpc tcp_max_slot_table_entries=128" >>  /etc/modprobe.d/sunrpc.conf

sudo mkdir /sftp

sudo mount -t nfs -o vers=4,minorversion=0,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport 13e6xxxx7-ojm48.us-east-1.nas.aliyuncs.com:/ /sftp


df -h | grep aliyun

进去可以看到NAS远程存储已经挂到了对应的 /sftp目录

防止录音文件太多导致爆盘。所以使用了远程存储。 还有一个原因就是远程存储价格便宜，低频的可以自动沉降。

5 安装whipser并测试

sudo apt update && sudo apt install ffmpeg

pip install setuptools-rust

pip install -U openai-whisper

whisper --help

图片

测试转文指令：

whisper  /sftp/deskqa/mp3/test2.mp3  --model small --output_format json --output_dir /sftp/deskqa/mp3j --word_timestamps True

图片

测试声道分离指令：

ffmpeg -i  /sftp/deskqa/mp3/a.wav -map_channel 0.0.0 -threads 4 /sftp/deskqa/mp3/a_l.wav -map_channel 0.0.1 -threads 4 /sftp/deskqa/mp3/a_r.wav

图片

java程序所需的基本底层能力测试通过。

6 安装wis-biz程序

安装java运行环境。

在Ubuntu上安装Java 8可以通过以下步骤完成。以下是详细的安装指令：

1. 更新包列表

首先，更新你的包列表以确保你获取到最新的软件包信息：

sudo apt-get update

2. 安装Java 8

使用以下命令安装Java 8：

sudo apt-get install openjdk-8-jdk

3. 验证安装

安装完成后，可以通过以下命令验证是否成功安装了Java 8：

java -version

你应该看到类似以下的输出，表示Java 8已成功安装：

openjdk version "1.8.0_292"
OpenJDK Runtime Environment (build 1.8.0_292-b10)
OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode)

4. 设置默认Java版本（可选）

如果你有多个Java版本安装在你的系统上，并且希望将Java 8设置为默认版本，可以使用 update-alternatives 命令：

sudo update-alternatives --config java

你会看到一个列表，显示所有已安装的Java版本。输入对应Java 8的选择编号，然后按Enter键。

5. 设置JAVA_HOME环境变量（可选）

为方便起见，你可能还希望设置 JAVA_HOME 环境变量。编辑你的 .bashrc 文件：

nano ~/.bashrc

在文件末尾添加以下行：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export PATH=$JAVA_HOME/bin:$PATH

保存并退出（在Nano中，按 Ctrl+O 保存，按 Ctrl+X 退出），然后使更改生效：

source ~/.bashrc

6. 验证环境变量设置（可选）

你可以通过以下命令验证 JAVA_HOME 环境变量是否设置正确：

echo $JAVA_HOME

输出应为 /usr/lib/jvm/java-8-openjdk-amd64。

通过这些步骤，你就可以在Ubuntu系统上成功安装并配置Java 8。

上传jar包。

添加配置文件。放在 gitops下。 wis/qa wis/prod 分别放对应的配置文件，存档，方便后面做程序更新；

目录设计：

sudo mkdir -p /sftp/deskprod/mp3 /sftp/deskprod/mp3j /sftp/deskprod/mp32 /sftp/deskprod/config /sftp/deskprod/logs

sudo touch  /sftp/deskprod/logs/wis.log

启动脚本：

/sftp/deskprod/start.sh

#!/bin/bash
sudo touch ./logs/wis.log | true
sudo mkdir -p ./logs | true

(
    until java -Xms4096m -Xmx8096m -Djava.security.egd=file:/dev/./urandom -Dlogging.config=./config/logback-spring.xml -jar wis.jar; do
                    echo "MyApp prod  wis.jar crashed with exit code $?.  Respawning... " >&2
                            sleep 5
                                done
                        ) &

7 本地测试/qa测试/产线测试

打电话，看看是不是转文成功。

下面是日志信息。

图片

标识是已经按照逻辑处理了。

找测试同学分别在qa, prod ,hk环境都测试了，可以正常的转文。 所以这块没问题了。

更新采用修改配置的方式，重新出镜像包部署。

8 监控观察

4C的cpu基本跑满了，没有浪费，内存有空闲，也接近满载，利用率很高。

图片

gpu使用率没有满的情况，因为限制了并发数，升级了whisper的版本，使用的小模型。高峰期有录音积压，平峰期可以消化掉。

图片

小结

一步一步的安装完环境，并做了测试和监控。有记录，方便重新安装的时候查阅和交割。

告警可以加上，比如GPU的利用率如果超过95%，时间超过5分钟，则告警。

CPU ,内存等也可以告警出来。

处理可以加快一些。 最好可以根据GPU的负载来，或者增加并发度，买更高级的GPU ,内存更大，处理能力更强。