Skip to content

Commit 6286e51

Browse files
authored
change language tag
1 parent 6e95d4d commit 6286e51

File tree

1 file changed

+10
-10
lines changed

1 file changed

+10
-10
lines changed

Diff for: docs/wiki/Translation Of Input Pipeline Performance Guide(输入流水线性能指南).md

+10-10
Original file line numberDiff line numberDiff line change
@@ -21,7 +21,7 @@ GPU 和 TPU 可以从根本上减少执行单个训练步骤所需的时间。
2121

2222
使用[`tf.estimator.Estimator`](https://www.tensorflow.org/api_docs/python/tf/estimator/Estimator)API 时,前两个阶段(提取和转换)在`input_fn`传递给[`tf.estimator.Estimator.train`](https://www.tensorflow.org/api_docs/python/tf/estimator/BaselineClassifier#train). 在代码中,这可能看起来像以下(幼稚的、顺序的)实现:
2323

24-
```cpp
24+
```python
2525
def parse_fn(example):
2626
"Parse TFExample records and perform simple data augmentation."
2727
example_fmt = {
@@ -66,14 +66,14 @@ API通过转换[`tf.data`](https://www.tensorflow.org/api_docs/python/tf/data)
6666

6767
要将此更改应用于我们正在运行的示例,请更改:
6868

69-
```cpp
69+
```python
7070
dataset = dataset.batch(batch_size=FLAGS.batch_size)
7171
return dataset
7272
```
7373

7474
为:
7575

76-
```cpp
76+
```python
7777
dataset = dataset.batch(batch_size=FLAGS.batch_size)
7878
dataset = dataset.prefetch(buffer_size=FLAGS.prefetch_buffer_size)
7979
return dataset
@@ -93,28 +93,28 @@ return dataset
9393

9494
要将此更改应用于我们正在运行的示例,请更改:
9595

96-
```cpp
96+
```python
9797
dataset = dataset.map(map_func=parse_fn)
9898
```
9999

100100
为:
101101

102-
```cpp
102+
```python
103103
dataset = dataset.map(map_func=parse_fn, num_parallel_calls=FLAGS.num_parallel_calls)
104104
```
105105

106106
此外,如果您的批处理大小为数百或数千,您的流水线可能还会从并行创建批处理中受益。为此,[`tf.data`](https://www.tensorflow.org/api_docs/python/tf/data)API 提供了[`tf.contrib.data.map_and_batch`](https://www.tensorflow.org/api_docs/python/tf/contrib/data/map_and_batch)转换,它有效地“融合”了地图和批量转换。
107107

108108
要将此更改应用于我们正在运行的示例,请更改:
109109

110-
```cpp
110+
```python
111111
dataset = dataset.map(map_func=parse_fn, num_parallel_calls=FLAGS.num_parallel_calls)
112112
dataset = dataset.batch(batch_size=FLAGS.batch_size)
113113
```
114114

115115
为:
116116

117-
```cpp
117+
```python
118118
dataset = dataset.apply(tf.contrib.data.map_and_batch(
119119
map_func=parse_fn, batch_size=FLAGS.batch_size))
120120
```
@@ -136,13 +136,13 @@ dataset = dataset.apply(tf.contrib.data.map_and_batch(
136136

137137
要将此更改应用于我们正在运行的示例,请更改:
138138

139-
```cpp
139+
```python
140140
dataset = files.interleave(tf.data.TFRecordDataset)
141141
```
142142

143143
为:
144144

145-
```cpp
145+
```python
146146
dataset = files.apply(tf.contrib.data.parallel_interleave(
147147
tf.data.TFRecordDataset, cycle_length=FLAGS.num_parallel_readers))
148148
```
@@ -186,4 +186,4 @@ dataset = files.apply(tf.contrib.data.parallel_interleave(
186186
- 向量化传入转换的廉价用户定义函数,`map`以分摊与调度和执行函数相关的开销。
187187
- 如果您的数据可以放入内存,请`cache`在第一个 epoch 期间使用转换将其缓存在内存中,以便后续 epoch 可以避免与读取、解析和转换相关的开销。
188188
- 如果您的预处理增加了数据的大小,我们建议首先应用`interleave``prefetch``shuffle`(如果可能)以减少内存使用量。
189-
- 我们建议在最好在应用`repeat`转换之前应用转换`shuffle`,理想情况下使用融合的`shuffle_and_repeat`转换。
189+
- 我们建议在最好在应用`repeat`转换之前应用转换`shuffle`,理想情况下使用融合的`shuffle_and_repeat`转换。

0 commit comments

Comments
 (0)