ПРИШЛИТЕ СВОЮ НОВОСТЬ!
Лента новостей
Выбрать категорию:
17 февраля
15:37
ЭНЦИКЛОПЕДИЯ ДОБРА
16 февраля
15 февраля
14 февраля
13 февраля
12 февраля
11 февраля
10 февраля
09 февраля
08 февраля
07 февраля
06 февраля
05 февраля
04 февраля
03 февраля
02 февраля
01 февраля
31 января
30 января
29 января
28 января
27 января
26 января
25 января
24 января
23 января
22 января
21 января
20 января
19 января
18 января
17 января
16 января
15 января
14 января
13 января
ГОЛОСОВАНИЕ
Нужна ли астрономия в качестве школьного предмета?

Россия: Разработчики ВКонтакте создали нейросеть для генерации новостных заголовков

02 мая, 13:20

 

2 мая — Молодежные новости.  Команда прикладных исследований ВКонтакте разработала нейросеть, которая создаёт новостные заголовки на русском и английском языках. Для её обучения использовались тексты агентства «РИА Новости» и издания The New York Times. Презентация работы состоялась в апреле на Европейской конференции по информационному поиску (European Conference On Information Retrieval 2019) в Кёльне, а статья о ней была опубликована в сборнике: vk.cc/9k4HR1.

Для генерации заголовка нейросети нужен только текст новости. Модель обрабатывает его и формулирует заголовок из фрагментов слов — так она добивается правильных падежей и склонений и в итоге получает связное предложение.

Чтобы создать нейросеть, разработчики использовали архитектуру Universal Transformer и технику компрессии данных BPE (Byte Pair Encoding) — они обычно применяются в машинном переводе и позволяют ограничиться небольшим словарём для генерации заголовков. Однако сотрудники ВКонтакте — первые, кто использовал BPE для модели суммаризации текста, а также первые, кто обучал такую модель на русскоязычных новостных материалах.

Результат работы таких моделей определяется метриками, которые оценивают, насколько автоматический заголовок пересекается с оригинальным, написанным человеком. По некоторым показателям нейросеть разработчиков ВКонтакте показала себя лучше, чем другие существующие подходы. Однако стандартные метрики не могут корректно оценить случаи, когда автоматические и оригинальные заголовки полностью отличаются, но смысл новости передан верно. Чтобы проверить качество работы модели в таких ситуациях, разработчики провели отдельное исследование, в котором показывали добровольцам новость и два заголовка к ней. По словам опрошенных, в 45% случаев машинный заголовок был не хуже оригинального, а в 15% — даже лучше.

Даниил Гаврилов, разработчик-исследователь ВКонтакте:

«Исследование с добровольцами показало, что заголовки, созданные нейросетью, пока не всегда получаются такими же качественными, как написанные человеком. Однако мы не перестаём улучшать модель — и непременно добьёмся равных результатов. Наша и другие разработки помогут быстро выделять главную мысль из длинных текстов — это действительно полезно, ведь информации вокруг нас уже много и становится только больше. Использоваться технология может для самых разных задач, связанных с удобством потребления контента — например, ВКонтакте её потенциально можно применить для умного сокращения постов в ленте пользователя или для создания новостных дайджестов».

Абстрактивная суммаризация — одна из задач обработки естественного языка, которая разрабатывает способы кратко сформулировать смысл текста своими словами с помощью алгоритмов. Генерация новостных заголовков — частная область применения абстрактивной суммаризации, которую решили исследовать разработчики ВКонтакте.

Команда прикладных исследований ВКонтакте создана в 2018 году. Она занимается исследованиями и разработкой методов машинного обучения и искусственного интеллекта, а также решает широкий спектр задач: от классификации видео до машинного перевода.

Информация предоставлена Пресс-службой ВКонтакте