Научный семинар Лаборатории нейронных систем и глубокого обучения

Здравствуйте, уважаемые участники!

Следующий семинар состоится в пятницу, 22 апреля.
Начало: 18:00
Аудитория: 105
Место: г. Долгопрудный, Институтский переулок, д.9 (БиоФармКластер МФТИ)

Подробней о следующем семинаре:

Дата Описание Материалы Quiz
22.04.2016 Recurrent neural networks — for language modeling and other tasks Suggested Readings:

  1. [Recurrent neural network based language model]
  2. [Extensions of recurrent neural network language model]
  3. [Opinion Mining with Deep Recurrent Neural Networks]

[(NEW) Lecture Notes 4]
[slides]
[video] [minimal net example (karpathy)] [vanishing grad example] [vanishing grad notebook]

Ссылка

Вопросы к следующему семинару необходимо записывать сюда http://goo.gl/forms/qFMx7kXAdM. Приоритет будет отдан вопросам по теме 7-ой лекции.

С уважением,
руководители семинара: к.ф.-м.н. Бурцев Михаил Сергеевич, к.ф.-м.н. Ботвиновский Евгений Александрович.

edu@deephack.me
Регистрация

форум

P.S.: Напоминаем, что к семинару необходимо посмотреть видеолекцию и подготовить список вопросов.

Список вопросов, рассмотренных на 6-ом семинаре:

  1. slide 24: what is sparsity constraint on hidden activations and how to use it for regularization of neural network?
  2. Известны случаи/статьи когда multi-task learning существенно лучше чем single-task learning? (в статье Collobert at al. – все не лучше)
  3. (слайд 10) Как тестировать NN на достижимость overfitting? Overfit = негативный эффект обучения, как добиваться его намеренно?
  4. Выбор вида передаточной функции (sigmoid, tanh, ReLu) – только скорость? Другие факторы есть?
  5. Gradient check = только для своей имплементации градиента (self-test), для стандартных библиотек не нужно?
  6. “Unfolding RNN” = как разворачивается рекуррентная сеть в обычную многослойную (на практике) ?