Завершаю исследование моделей для резюмирования текстов, начатое ранее. В этой части мы посмотрим на что способны модели, использующие экстрактивный подход. Например, как справляются с задачей резюмирования текстов алгоритмы из одной из лучших реализаций такого подхода – библиотеки sumy? В предыдущих частях мы посмотрели как решают эту задачу некоторые специализированные модели и универсальные большие языковые модели. Резюмирование текстов sumy рассмотрено с позиций любопытного и активного пользователя, стремящегося применить современные достижения ИТ в своей повседневной практике. Как все мои другие исследования, настоящий материал имеет отношение к базам данных и нейронным сетям.

См. часть 1

См. часть 2

Оглавление

Введение
Выбор моделей для оценки
Тексты для резюмирования
Программное обеспечение для экспериментов
Результаты резюмирования стихотворения А.А. Блока
Результаты резюмирования описания приложения Текстоматика
Обсуждение
Заключение

Введение

Напомню, что целью этого исследования является попытка дать сравнительную оценку возможностям бесплатных open source моделей для суммаризации или резюмирования текстов. При этом анализ результатов должен быть основан на пользовательских субъективных оценках. В этой части исследования для сравнения приводятся результаты работы экстрактивных алгоритмов библиотеки sumy. Напомню, что экстрактивный подход заключается в извлечении из исходного текста наиболее «значимых» информационных блоков. В качестве блока могут выступать отдельные абзацы, предложения или ключевые слова. Методы данного подхода характеризует наличие оценочной функции важности информационного блока. Ранжируя эти блоки по степени важности и выбирая ранее заданное их число, мы формируем итоговое резюме текста. Подробности можно посмотреть здесь.

Выбор моделей для оценки

Для оценки качества резюме отобраны модели (алгоритмы), стандартные для библиотеки sumy:

Подробности см. здесь.

Тексты для резюмирования

Тексты для резюмирования те же, что и в предыдущей частях:

• Стихотворение А.А. Блока “О подвигах, о доблести, о славе…” (117 токенов).
• Общее описание Приложения Текстоматика (996 токенов).

Программное обеспечение для экспериментов

Для проведения экспериментов использовался модуль на Python, разработанный мной. Состоит из:

• Управляющей части: задание параметров, чтение текстов для резюмирования, последовательный запуск соответствующих компонентов каждой модели.
• Функциональной части, основной фрагмент которой см. ниже.

...
from sumy.parsers.plaintext import PlaintextParser
from sumy.nlp.tokenizers import Tokenizer
from sumy.summarizers.text_rank import TextRankSummarizer
from sumy.summarizers.lex_rank import LexRankSummarizer
from sumy.summarizers.lsa import LsaSummarizer
from sumy.summarizers.kl import KLSummarizer
from sumy.summarizers.luhn import LuhnSummarizer
from sumy.nlp.stemmers import Stemmer
import nltk
from nltk.corpus import stopwords      
text = ...
parser = PlaintextParser.from_string(text, Tokenizer(options['lang']))
stemmer = Stemmer(options['lang'])
summarizers = {'TextRank': TextRankSummarizer(stemmer), 'LexRank': LexRankSummarizer(stemmer), 'LSA': LsaSummarizer(stemmer), 'KLDivergence': KLSummarizer(stemmer), 'Luhn': LuhnSummarizer(stemmer)}
summarizer = summarizers[options['alg']]
summarizer.stop_words = frozenset(stopwords.words(options['lang']))
summarizer = summarizer(parser.document, options['sents'])
summary=""
for sentence in summarizers[options['alg']](parser.document, options['sents']):
    summary += str(sentence) + ' '
return summary    

Результаты резюмирования стихотворения А.А. Блока

Условие для длины текста резюме: 3 предложения.

Результаты резюмирования описания приложения Текстоматика

Условие для длины текста резюме: 8 предложений.

Обсуждение

По А.А. Блоку:

• В целом все алгоритмы справились с задачей примерно одинаково. Суть произведения передана, в заданный размер уложились.
• Но LSA и TextRank указали на причину расставания главного героя и его возлюбленной. Другие три модели просто констатировали факт расставания.
• Мои оценки моделей: LSA – 5, TextRank – 5, Luhn – 4, LexRank – 4, KL Divergence – 4. Согласны? Пишите в комментариях свои оценки.

По описанию Текстоматики:

• Лучшим резюме с моей точки зрения выглядит текст от LexRank. Текст резюме логичен, последователен. Хотя пример с учеником школы выпадает из общей логики, но в цело резюме приемлемо. Описаны назначение приложения, есть информация о показателях и модели оценки, процессе оценивания и его результатах.
• Большая часть резюме от Luhn включает действия разных категорий пользователей с текстами. Также есть сведения о назначении модели оценки и окончательных результатах оценивания.
• LSA создал резюме, в котором упоминается важность профессиональной экспертизе текстовых документов. Также отмечается сложность задачи оценивания текстов и большое количество показателей. Описывается назначение модели оценки. Но резюме отличается неконкретным содержанием.
• Резюме TextRank содержит описание назначение приложения Текстоматика, некоторые оценочные показатели, результаты оценивания. Но перегружено примерами работы с текстами разных категорий пользователей.
• Алгоритм KL Divergence создал резюме, состоящее в основном из примеров работы с текстами разных категорий пользователей. Хотя есть примеры показателей и описание результатов оценки.
• Мои оценки моделей: LSA – 2, TextRank – 2, Luhn – 3, LexRank – 4, KL Divergence – 2. Согласны? Пишите в комментариях свои оценки.

Заключение

• Все алгоритмы sumy при генерации резюме из художественного произведения (стихотворения) справились с этой задачей не хуже, чем специализированные нейросети, созданные специально для суммаризации текстов.
• Генерация резюме технического текста (описание приложения) была выполнена хуже, формально. Внутренняя логика текста учитывалась слабо. Полученные резюме уступают тем, что созданы моделями, рассмотренными ранее в предыдущих частях этого исследования.