第 5 章 NCCL 与集合通信
NCCL 集合通信的内核:Ring AllReduce 数据量推导、busbw 计算,以及 NCCL hang 的系统化排查步骤。
NCCL 集合通信的内核:Ring AllReduce 数据量推导、busbw 计算,以及 NCCL hang 的系统化排查步骤。
RDMA 与无损网络入门:IB/RoCE 两种实现、PFC/ECN/DCQCN 三件套原理,以及它们各自的风险与调优点。
用 IO 模式 × 规模 × 成本框架做存储选型:JuiceFS、3FS、Lustre、Ceph 对比,附推理场景(突发+长尾 IO)的选型建议。
Ceph 三块核心机制:CRUSH 数据分布、PG 计算与调优、BlueStore 落盘性能,含副本 3 与 EC(k,m) 的空间效率数学。
建立"数据从磁盘到进程"的底层心智:VFS、page cache、block layer、dirty page 调优,以及用 fio/strace 定位 IO 瓶颈。
现在浏览器已经将没有证书的网站标记为不安全,为了访问方便现在使用traefik 在前面做一层反代,将家中的docker里面的一些服务自动代理出来,且自动配置https的证书,这样就不需要单独去每个服务配置对应的证书,减少很多麻烦。traefik会在证书自动到期之前自动续期。 1.创建traefik服务 下面的教程,创建了服务,将443的端口映射到主机的9443端口。我们后续访问所有的服务,就...
argocd 的项目token维护,这样在gitlabci或者其他的ci项目中可以远程调用argocd,达到自动化的目的 先新增一个 proj级别的role,然后给一些修改的权限,然后再生成token 。 ``` Argocd proj role create token argocd proj role create-token¶ Create a project token arg...
今天在生产环境中使用argo workflow 的时候出现了一个limit的错误 具体argo workflow 版本为 3.3.5 报错产生的原因是有一步需要通过input/output传递几百个参数的一个json格式,然后超过了128K的限制,后来查官网文档,发现有这么一段。 错误产生的代码如下: envVarTemplateValue := wfv1.MustMarshallJSO...
argo cd本地用户管理 先看下官网的用户说明: The local users/accounts feature serves two main use-cases: Auth tokens for Argo CD management automation. It is possible to configure an API account with limite...
为什么需要https 最近使用code-server,发现有些插件无法使用,查询官方说明,如果code-server是在http的协议下运行,则会有一些功能无法使用,所以需要使用https。https则需要域名才能申请证书,正好我有一个域名 example.com 我想把*.docker.example.com专门给docker用,同时按照需要申请https证书. 免费https 哪家最流行...