Научный семинар Лаборатории нейронных систем и глубокого обучения

Здравствуйте, уважаемые участники!

Следующий семинар состоится в пятницу, 15 апреля.
Начало: 18:00
Аудитория: 105
Место: г. Долгопрудный, Институтский переулок, д.9 (БиоФармКластер МФТИ)

Подробней о следующем семинаре:

Дата Описание Материалы Quiz
15.04.2016 Practical tips: gradient checks, overfitting, regularization, activation functions, details Suggested Readings:

  1. [Practical recommendations for gradient-based training of deep architectures]
  2. [UFLDL page on gradient checking]

[slides]
[video]

ссылка

Вопросы к следующему семинару необходимо записывать сюда http://goo.gl/forms/PZR2vyS3ri. Приоритет будет отдан вопросам по теме 6-ой лекции.

С уважением,
руководители семинара: к.ф.-м.н. Бурцев Михаил Сергеевич, к.ф.-м.н. Ботвиновский Евгений Александрович.

edu@deephack.me
Регистрация

P.S.: Напоминаем, что к семинару необходимо посмотреть видеолекцию и подготовить список вопросов.

Список вопросов, рассмотренных на 5-ом семинаре:

  1. Почему на практике обычно явно задают производную функции и не используют автоматическое дифференцирование? Когда его стоит использовать?
  2. Каким методом лучше инициализировать веса нейросети? (из lecture notes)
  3. Какой метод оптимизации лучше использовать? (Из lecture notes)
  4. Эффективно ли комбинирование методов оптимизаций? Например, вначале обучить с помощью Adagrad, а потом дообучать с помощью SGD. (Из lecture notes)
  5. Эффективно ли использование эвристик для подбора шага обучения у нейросети? Например, пока train loss падает увеличиваем шаг обучения. Как только он начинает расти уменьшаем шаг обучения. (Из lecture notes)
  6. Слайд 22: повторное использование производных. Это связь дельта l и дельта l+1
  7. Слайд 23: производная по x нужна только в случае если мы изменяем не только веса но и векторы слов? Если векторы слов не изменяем то и производная по х не нужна?