由于机房服务器绑定的带宽较小，本篇主要是借助 Dante 提供 SOCKS5 转发，借助一些大带宽的服务器进行流量转发，用以加快依赖包的下载速度。 1. 找一台大带宽的服务器 安装 speedtest-cli 1 pip3 install speedtest-cli 列出对端测试服务器 1 2 3 4 5 6 7 8 9 10 11 12 13 speedtest-cli --secure --list Retrieving speedtest.net configuration... 5396) China Telecom JiangSu 5G (Suzhou, China) [747.08 km] 16204) JSQY - Suzhou (Suzhou,

1. 测试全部带宽 在目标主机上启动 iperf3 服务端 1 2 3 4 5 iperf3 -s ----------------------------------------------------------- Server listening on 5201 ----------------------------------------------------------- 在客户端主机上测试 1 iperf3 -c x.x.x.x -p 5201 -t 10 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Connecting to host x.x.x.x, port 5201 [ ID] Interval Transfer Bitrate Retr Cwnd [ 5] 0.00-1.00 sec 151 MBytes 1.27 Gbits/sec 3562 164 KBytes [ 5] 1.00-2.00 sec 134 MBytes 1.12 Gbits/sec 230 164 KBytes [ 5] 2.00-3.00 sec 124 MBytes 1.04 Gbits/sec 250 213 KBytes [ 5] 3.00-4.00 sec 122 MBytes 1.03 Gbits/sec 229

1. 什么是 Ray 2016 年，UC Berkeley 的 RISELab 发布了一个新的分布式计算框架 Ray。 2017 年，发布 Ray 相关论文之后，受到业内的广泛关注，国内主要是蚂蚁集团采用并贡献了 Ray。 2020 年，Ray 发布了 1.0 版本，引入 Placement Group 特性，增加了用户自定义任务编排的灵活性，为后续的 Ray AI Libraries 和 vLLM 等

1. Qwen 模型介绍 2023 年 4 月，阿里巴巴推出 Qwen 的测试版。 2023 年 12 月，阿里巴巴开源了 Qwen 的第一个版本。 2024 年 9 月，阿里巴巴发布了 Qwen2.5。 2025 年 1 月，阿里巴巴发布了 Qwen 2.5-Max。 Qwen 2.5 是 Qwen 大语言模型的目前最新系列。之所以说是系列，是因为在训练完一个预训

NVIDIA_VISIBLE_DEVICES 指定程序可见的 GPU 设备 1 CUDA_VISIBLE_DEVICES=0,1 可用值: 1,2，以逗号分隔的 GPU UUID 或索引列表 all，所有 GPU none，加载驱动，但无法访问 GPU void，不加载驱动 NVIDIA_DRIVER_CAPABILITIES 控制哪些驱动程序库/二进制文件将被安装在容器内 1 NVIDIA_DRIVER_CAPABILITIES=compute,utility 可用值: compute，CUDA 和 OpenCL 应用程序所需。 co