Второй научный семинар Лаборатории нейронных систем и глубокого обучения

Здравствуйте, уважаемые участники!

Спасибо всем, кто нашел время посетить наш семинар. Надеемся, что это было полезно.

Следующий семинар состоится в пятницу, 18 марта.
Начало: 18:00
Аудитория: 105
Место: г. Долгопрудный, Институтский переулок, д.9 (БиоФармКластер МФТИ)

Подробней о следующем семинаре:

Дата Описание Материалы Quiz
18.03.2016 Simple Word Vector representations: word2vec, GloVe Suggested Readings:

  1. [Distributed Representations of Words and Phrases and their Compositionality]
  2. [Efficient Estimation of Word Representations in Vector Space]

[slides]
[video]

ссылка

Отдельным письмом мы планируем разослать информацию о практических заданиях.

Вопросы к следующему семинару необходимо записывать сюда http://goo.gl/forms/rOAueOr8CT. Приоритет будет отдан вопросам по теме второй лекции.

С уважением,
руководители семинара: к.ф.-м.н. Бурцев Михаил Сергеевич, к.ф.-м.н. Ботвиновский Евгений Александрович.
edu@deephack.me

P.S.: Напоминаем, что к семинару необходимо посмотреть видеолекцию и подготовить список вопросов.

Список вопросов, рассмотренных на первом семинаре:

  1. Как выглядит «граф зависимостей» для цикла семинаров? Стэнфордский syllabus предполагает, что студенты прошли курс машинного обучения. Все ли модели из него актуальны для глубокого обучения?
  2. Проблема большого объема информации: Насколько устарели/актуальны для текущего курса семинаров классические тексты по обработке языка, например, Manning, Schutze, Foundations of Statistical Natural Language Processing? Раз нейросети победили модель н-грам, стоит ли ее изучать?
  3. Насколько модели SVM переносимы на русский язык? Исследуется ли это направление? Сказывается ли нехватка специализированных корпусов (НКРЯ и проч.) по сравнению с английским, или же это не ограничивающий фактор?
  4. Один из разработчиков векторного представления GloVe Кристофер Мэннинг (библиография из презентации на Физтех Читалке, Google: COLI_a_00239) скептически высказывается о перспективах глубокого обучения в обработке естественных языков в отрыве от более традиционных направлений, например, вычислительной лингвистики. Насколько велик будет вклад deep learning в окончательное решение задачи машинной обработки языка?
  5. Будут ли предоставлены какие-нибудь вычислительные мощности со стороны института?
  6. Практически задания будут из курса или локализованные или совсем другие, скажем по задачам Лаборатории?
  7. Можно ли натренить автоэнкодер так, чтобы получать из word2vec _разжатое_ представление — по каждой размерности понятный человеку параметр?
  8. Можно ли натренить вариационный автоэнкодер для Char-RNN, чтобы получить плотное представление для слов, чтобы двигаясь по траектории от представления одного слова к другому система генерила разумные слова, может быть несуществующие?
  9. Как происходит обучение нейронных сетей без учителя?
  10. Что такое semantic analisys?
  11. Зависимость между размером vector representation и качеством модели. (т.е насколько сильно увеличится качество, если взять вектора большей размерности)
  12. Преимущество нейронной сети — в возможности параллелизовать вычисления. Все узлы в сети связаны, обучение затрагивает веса всех узлов сети. Как получается, что можно независимо оптимизировать веса подмножества сети?
  13. Сети глубокого обучения — сети с большим количеством слоев. Почему-то на них достигнуты выдающиеся результаты в некоторых задачах (так утверждается). Есть ли простая количественная модель, объясняющая преимущества глубокого обучения?
  14. Подтверждаются ли выдающиеся качества сетей глубокого обучения объективным сравнением с другими подходами?
  15. Комментарий: лучше форму для заполнения вопросов сделать пошире: при наборе видна лишь часть текста. Очень неудобно.
  16. В лекции бегло упоминается система, отвечающая на вопросы, которая обучилась с минимальной помощью человека, написана студентом и превосходит аналоги, написанные вручную. Как работает эта система?
  17. В лекции фразы часто представлены в виде деревьев. Как их строят и зачем?
  18. Нужно ли тратить время на изучении лингвистики и других (не нейросетевых) подходов к искуственному интелекту и NLP? Или все это можно переложить на плечи нейронных сетей и учить только их?
  19. Не совсем ясно, как модель может делать logic reasoning (пример с черепахами)
  20. Какие есть проблемы в анализе тональности текста?
  21. Почему в модели CBOW мы строим по два вектора для каждого слова? В чём различие этих пространств?
  22. Word classification with Word-Context matrix? Более формально про данные и как делаем предсказание.
  23. Чему обычно равны соотношения размеров векторов разных морфем, слов, фраз. Можно ли как-то вычислить, используя большой корпус текста, оптимальные размеры векторов для DL?