Несколько карт в TensorFlow
Зеркальная стратегия
держит на каждой видеокарте
копию модели и делит между
ними батч при обучении.
Объект создают через класс
MirroredStrategy без
запуска полного цикла обучения:
import tensorflow as tf
strategy = tf.distribute.MirroredStrategy()
print(strategy)
Свойство num_replicas_in_sync
показывает, сколько копий
модели участвует в синхронном
шаге. На машине с одной
картой или без GPU значение
равно единице:
import tensorflow as tf
strategy = tf.distribute.MirroredStrategy()
print(strategy.num_replicas_in_sync)
# выведет 1
Создайте объект зеркальной стратегии и выведите его строковое представление.
У нового объекта зеркальной стратегии выведите число реплик в синхронном шаге.
Сохраните объект стратегии в переменную и выведите тип этой переменной.