FFmpeg 使用简易教程
· ☕ 2 分钟
1. 安装 FFmpeg macOS 上执行命令: 1 brew install ffmpeg 2. FFmpeg 使用 1 ffmpeg {1} {2} -i {3} {4} {5} 五个部分的参数依次如下: 全局参数,-y、-loglevel、-preset 等用来控制的整体行为 输入文件参数,-i、-ss、-t、-stream_loop 等用来控制输入文件的读入方式 输入文

一些程序构建的优化技巧
· ☕ 2 分钟
持续更新中… 1. Golang 使用 trimpath 移除编译路径,避免暴露编译路径信息 1 go build -gcflags="all=-trimpath=${PWD}" -asmflags="all=-trimpath=${PWD}" -o ./bin/opscli ./cmd/cli/main.go 添加之前异常输出路径 /Users/shaowenchen/Code/Github/ops/main.go,添加之后异常输出路径 main.go 。 -ldflags “-w -s” 移除调试信息,减小

我在给 Ops 工具写 Copilot
· ☕ 4 分钟
1. 什么是 Ops 工具 https://www.chenshaowen.com/ops/ 是我日常运维最频繁使用的工具之一。 运维机器,我可以复用之前的脚本,批量进行操作。 运维集群,我可以复用之前的脚本,不用登录节点也可以操作机器。 如果遇到新的运维问题,我会马上编写 Task Yaml 对操作进行固化,方便下一次复用。 Ops 的核心操作是

使用 CPU 推理 llama 结构的大模型
· ☕ 4 分钟
1. 本地容器运行 启动 LLM 1 docker run --rm -p 8000:8000 shaowenchen/chinese-alpaca-2-7b-gguf:Q2_K 在 http://localhost:8000/docs 页面即可看到接口文档,如下图: 部署一个简单的 Chat UI 这里需要注意的是 OPENAI_API_HOST 参数,需要设置为你的宿主机 IP 地址,而不是 localhost 127.0.0.1,否则无法访问。 1 docker run -e OPENAI_API_HOST=http://{YOUR_HOST_IP}:8000 -e OPENAI_API_KEY=random -p 3000:3000 hubimage/chatbot-ui:main 页面效果如下: 2. K8s 快速部署 部署 LLM 应用 kubectl create

大模型部署工具 llama.cpp
· ☕ 7 分钟
1. 大模型部署工具 llama.cpp 大模型的研究分为训练和推理两个部分。训练的过程,实际上就是在寻找模型参数,使得模型的损失函数最小化,推理结果最优化的过程。训练完成之后,模型的参数就固定了,这时候就可以使用模型进行推理,对外提供服务。 llama.cpp 主要解决的是推理过程