内容包括深度学习的发展、需求、挑战及解决方案和高性能深度学习计算框架Caffe-MPI 2部分,高性能深度学习计算框架,深度学习的成功来自三个方面:
➤巨大的标记数据样本:图像(亿级)、语音(万小时) ➤ 先进算法、模型、软件:神经网络算法(DNN/ CNN/ RNN)、深度学习软件(Caffe/ TensorFlow/ MXNet) ➤高性能计算:数据样本多,需要高容量、高带宽的并行存储,模型训练时间长,需要大规模集群并行处理,节点内需要异构加速,参数达到十亿级以上,需要高带宽、低延时网络,保证节点间参数更新快速同步。 深度学习平台与GPU计算:线下训练平台( CPU +K40 /K80/M40/P100 GPU、单机4-8GPU卡、GPU集群大规模训练)、线上识别平台(CPU+M4 GPU、单机1-2卡、数据中心、云计算模式)、未来发展趋势(CPU+Pascal/Volta GPU+Nvlink)。