ПРИШЛИТЕ СВОЮ НОВОСТЬ!
Лента новостей
Выбрать категорию:
19 января
18 января
17 января
16 января
15 января
14 января
13 января
12 января
11 января
09 января
20:29
ЭНЦИКЛОПЕДИЯ ДОБРА
06 января
04 января
02 января
30 декабря
29 декабря
28 декабря
10:00
ЭНЦИКЛОПЕДИЯ ДОБРА
27 декабря
26 декабря
25 декабря
24 декабря
21:42
ЭНЦИКЛОПЕДИЯ ДОБРА
23 декабря
20:38
ЭНЦИКЛОПЕДИЯ ДОБРА
22 декабря
21 декабря
20 декабря
19 декабря
18 декабря
17 декабря
16 декабря
15 декабря
14 декабря
13 декабря
12 декабря
ГОЛОСОВАНИЕ
Нужна ли астрономия в качестве школьного предмета?

Россия: Разработчики ВКонтакте создали нейросеть для генерации новостных заголовков

02 мая, 13:20

 

2 мая — Молодежные новости.  Команда прикладных исследований ВКонтакте разработала нейросеть, которая создаёт новостные заголовки на русском и английском языках. Для её обучения использовались тексты агентства «РИА Новости» и издания The New York Times. Презентация работы состоялась в апреле на Европейской конференции по информационному поиску (European Conference On Information Retrieval 2019) в Кёльне, а статья о ней была опубликована в сборнике: vk.cc/9k4HR1.

Для генерации заголовка нейросети нужен только текст новости. Модель обрабатывает его и формулирует заголовок из фрагментов слов — так она добивается правильных падежей и склонений и в итоге получает связное предложение.

Чтобы создать нейросеть, разработчики использовали архитектуру Universal Transformer и технику компрессии данных BPE (Byte Pair Encoding) — они обычно применяются в машинном переводе и позволяют ограничиться небольшим словарём для генерации заголовков. Однако сотрудники ВКонтакте — первые, кто использовал BPE для модели суммаризации текста, а также первые, кто обучал такую модель на русскоязычных новостных материалах.

Результат работы таких моделей определяется метриками, которые оценивают, насколько автоматический заголовок пересекается с оригинальным, написанным человеком. По некоторым показателям нейросеть разработчиков ВКонтакте показала себя лучше, чем другие существующие подходы. Однако стандартные метрики не могут корректно оценить случаи, когда автоматические и оригинальные заголовки полностью отличаются, но смысл новости передан верно. Чтобы проверить качество работы модели в таких ситуациях, разработчики провели отдельное исследование, в котором показывали добровольцам новость и два заголовка к ней. По словам опрошенных, в 45% случаев машинный заголовок был не хуже оригинального, а в 15% — даже лучше.

Даниил Гаврилов, разработчик-исследователь ВКонтакте:

«Исследование с добровольцами показало, что заголовки, созданные нейросетью, пока не всегда получаются такими же качественными, как написанные человеком. Однако мы не перестаём улучшать модель — и непременно добьёмся равных результатов. Наша и другие разработки помогут быстро выделять главную мысль из длинных текстов — это действительно полезно, ведь информации вокруг нас уже много и становится только больше. Использоваться технология может для самых разных задач, связанных с удобством потребления контента — например, ВКонтакте её потенциально можно применить для умного сокращения постов в ленте пользователя или для создания новостных дайджестов».

Абстрактивная суммаризация — одна из задач обработки естественного языка, которая разрабатывает способы кратко сформулировать смысл текста своими словами с помощью алгоритмов. Генерация новостных заголовков — частная область применения абстрактивной суммаризации, которую решили исследовать разработчики ВКонтакте.

Команда прикладных исследований ВКонтакте создана в 2018 году. Она занимается исследованиями и разработкой методов машинного обучения и искусственного интеллекта, а также решает широкий спектр задач: от классификации видео до машинного перевода.

Информация предоставлена Пресс-службой ВКонтакте