深度学习容器的数据读取瓶颈
深度学习容器的数据读取瓶颈
难度:进阶。本文为中文技术整理,保留来源中的技术边界;示例只用于阅读,未在本服务器执行。
GPU 利用率低可能来自读取、解码、增强、组 batch 或 PCIe 传输。应分别测量首 batch、纯数据迭代和纯模型计算,并记录卷类型、worker 数和 batch。
示例
start = time.perf_counter()
for batch in loader:
break
print(time.perf_counter() - start)
来源
- https://pytorch.org/docs/stable/data.html
深度学习容器的数据读取瓶颈
https://blog.529808.xyz//archives/tech-55f575e456fd