GPU 调度

招商银行把 GPU 利用率从 35% 拉到 60%:单位 Token 推理成本降 60% 是怎么做到的

招商银行用 Kubernetes 统一纳管近万张异构加速卡,GPU 利用率从 35% 提到 60%+,每百万 Token 推理成本下降超 60%。本文拆解它的池化调度打法,并给没有万卡的团队一条应用层降本路径。