博文
Nydus 懒加载镜像配置与实践
· ☕ 5 分钟
据统计容器中的大部分文件不会被使用。根据这一特征,Nydus 自定义了 Rafs 格式的文件系统,实现了镜像文件的按需加载,以解决大镜像导致的启动慢和占用存储的问题。而在 AI 场景下,无论是推理还是训练,镜像常常都是几个 G 起步,甚至几十个 G,Nydus 非常

增量不再,混沌当立
· ☕ 8 分钟
1. 高速前进的轮子才能保持平衡 1.1 C 端红利期已经过去 截至 2023 年 6 月,我国网民规模达 10.79 亿人,较 2022 年 12 月增长 1109 万人,互联网普及率达 76.4%。C 端人口红利期已过,上网时长也增长缓慢,各类存量场景下的应用增长空间已经不大。 在经历了 C 端的 easy 模式之后,很多

如何添加 NVIDIA GPU 节点到 Kubernetes 集群
· ☕ 6 分钟
1. 磁盘处理 1.1 查看磁盘 查看新磁盘 1 fdisk -l Disk /dev/nvme0n1: 3.91 TiB, 4294967296000 bytes, 8388608000 sectors 1.2 组建 RAID0 如果有多块小盘,更好的方式是组建一个 RAID0,这样不仅能获得更大的存储目录,还能获得更快的速度。 创建 RAID 1 mdadm --create --verbose /dev/md0 --level=0 --raid-devices=3 /dev/nvme1n1 /dev/nvme2n1 /dev/nvme3n1 查看 RAID 1 mdadm --detail /dev/md0 1.3 挂载磁盘 创建文件系统 1 mkfs.xfs -f /dev/nvme0n1 xfs 适合大文件

微信、公众号接入 GPT 服务
· ☕ 4 分钟
提供有偿接入服务,200 RMB/年;另外,提供技术支持 200 RMB/次,不超过 1 hour;关注公众号,可获得联系方式。 1. 需要提供的信息 进入 https://mp.weixin.qq.com/ 在左侧菜单栏 【设置与开发】-> 【基本设置】,就能找到下面的信息 AppID 开发者 ID,可以明文直接查看到。 AppSecret

大模型应用设计与实现指南
· ☕ 9 分钟
1. 直接使用大模型面临的问题 输出不稳定性 生成式 AI 的特点之一,输出结果的多样性。同样一个问题,问大模型多次,可能会得到不同的答案。 这种输出的不确定性,在对话、创作场景下,会给用户带来惊喜。但在确定性要求比较高的场景下,大模型进入不了采纳阶段。 数