Научный семинар Лаборатории нейронных систем и глубокого обучения

Здравствуйте, уважаемые участники!

Следующий семинар состоится в пятницу, 8 апреля.
Начало: 18:00
Аудитория: 105
Место: г. Долгопрудный, Институтский переулок, д.9 (БиоФармКластер МФТИ)

Подробней о следующем семинаре:

Дата Описание Материалы Quiz
08.04.2016 Project Advice, Neural Networks and Back-Prop (in full gory detail) Suggested Readings:

  1. [Natural Language Processing (almost) from Scratch]
  2. [A Neural Network for Factoid Question Answering over Paragraphs]
  3. [Grounded Compositional Semantics for Finding and Describing Images with Sentences]
  4. [Deep Visual-Semantic Alignments for Generating Image Descriptions]
  5. [Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank]

[(NEW) Lecture Notes 3]
[slides]
[video]

ссылка

Вопросы к следующему семинару необходимо записывать сюда http://goo.gl/forms/afJpDpRQi6. Приоритет будет отдан вопросам по теме 5-ой лекции.

С уважением,
руководители семинара: к.ф.-м.н. Бурцев Михаил Сергеевич, к.ф.-м.н. Ботвиновский Евгений Александрович.

edu@deephack.me
Регистрация

P.S.: Напоминаем, что к семинару необходимо посмотреть видеолекцию и подготовить список вопросов.

Список вопросов, рассмотренных на 4-ом семинаре:

  1. Соединения внутри слоя нейросети полностью «убивают» backpropagation или их как-то можно учесть? Например, разделением слоя на два «виртуальных слоя»? В целом пока непонятна работа таких «синхронных» связей и итеративных сетей вообще, как на рис. 5 в “Linear representations by back-propagating errors”.
  2. При обучении сети проводится «отсев» незадействованных связей/узлов (с малыми обученными весами)?
  3. Нелинейные суммы весов в нейросетях используются?
  4. Вопрос по философии Python: лектор объясняет, что в Python матричное умножение на порядок быстрее аналогичного по объему скалярного. Верно ли, что в Python вообще чем выше уровень абстракции операции, тем она быстрее?
  5. Какие активационные функции используются кроме сигмоиды, и в чем их преимущества?
  6. слайд 20, разница между fc и fc(x)