面向深度学习Kubernetes负载饱和调度算法设计与实现

构建深度学习云平台的基础技术Kubernetes在调度过程中使用负载均衡策略,易产生资源碎片,增加任务等待时间。Kubernetes没有考虑对GPU等外部拓展资源的评分,不能很好适应深度学习云平台的业务场景。针对以上问题提出一种负载饱和调度策略,对Kubernetes调度过程进行改进,减少资源碎片,提高资源利用率。该策略支持对用户指定的外部拓展资源进行评分,能更好适应深度学习云平台业务场景。实验结果表明,负载饱和调度策略能够减少23.40%的任务等待时间,并能将GPU利用率提升14.15%,GPU显存利用率提升6.85%。