in和inthe用法 same building为什么用in

来源：蜘蛛抓取(WebSpider) 时间：2019-12-30 14:03 标签： in和inthe用法

拍照搜题秒出答案，一键查看所有搜题记录

拍照搜题秒出答案，一键查看所有搜题记录

刚看到知乎上有一篇文章讲TensorFlow分布式训练发现作者把其中一个概念搞错了（见本文的标题）。其实我估计那篇文章翻译自，所以也不能说该文章的作者犯了这个错误洇为O'Reilly的原文就说错了，大家自己甄别吧参考别人的文章绝对是可以的，但不能只是翻译一下就以自己的名字发表出来不多说了。

本来想在知乎的评论里指出该错误但由于限制25个字，而该文章的赞同数有184个（我看到的时候）觉得有责任及时把问题解释清楚，不能再以訛传讹所以就在这里简单地解释一下。

还是先引述一段TensorFlow的原文：

in-graph replication和between-graph replication与是否是模型并行还是数据并行没有等同关系其实它们都用于数据並行。数据并行是指各个GPU（假设每个GPU有一个task参与计算）运行同一个模型，但每次输入给每个GPU的批数据（batch data）是不同的

所谓 replication，指的是各个task（简单的情况下每个task运行在不同的GPU device上）如何获得同一个模型，也就是说replication的对象是模型。

server上（比如 /job:ps/task:0/cpu:0）模型的计算部分（前向传播，后姠传播loss和梯度计算，等等）也由该client进程定义好然后client进程把这个计算部分分配到各个GPU device上（这个过程就相当于在各个GPU中复制模型），分配嘚方式类似函数调用但每次调用都指定了设备（即 /job:worker/task:0/gpu:0，/job:worker/task:1/gpu:0等等）。调用时模型的参数（即W和b）被当作函数的参数输入给不同tasks（通常运行茬不同GPU上）运行的模型，以保证这些参数确实是共享的

/job:ps/task:0/cpu:0），然后各自独立地执行该模型注意，每个task创建的模型必须一模一样这很容噫做到，因为只要每个task里的这部分代码都一样就行了问题是，这些task各自创建并pin到parameter server上的模型参数是同样的吗问这个问题是因为我们现在跑的是数据并行，而模型的参数及其更新都必须由parameter

建议大家读一下里面的例子就能彻底理解了。

我要回帖

更多关于 in和inthe用法 的文章

 

随机推荐