Исследования и разработки
В.К. Иванова

Кому нужна оценка качества текстов: ответы искусственного интеллекта как индикатор мнения большинства. Часть 2

В предыдущем посте на тему “качество текстов” я попытался сформулировать и обосновать мысль о том, что средний уровень компетенций по какой-либо проблеме достаточно точно определяется большими языковыми моделями. Составив соответствующий запрос, можно получить оценку востребованности, применимости, контингента пользователей для заданных технологий. Здесь мы ведем речь об оценке качества текстов. Ниже я пытаюсь обобщить информацию о категориях пользователей этой технологии, полученную от ИИ. Это небольшое исследование сделано в ходе работы над приложением Текстоматика.

качество текстов
Обобщение результатов

Я вручную обобщил мнения моделей YaGPT, GigaChat и ChatGPT о тех, кому важно повышать качество текстов документов. Вот, что получилось:

1. Юристам. Им важно составлять документы (договоры, заявления и т.п.) без ошибок и неточностей, чтобы они имели юридическую силу и были эффективны в суде или других юридических процессах.
2. Бухгалтерам и аудиторам. Точность и правильность в составлении финансовых документов может предотвратить потенциальные проблемы с налоговой службой и минимизировать риск штрафов.
. . .

Обобщение результатов с GigaChat

А потом я поручил эту же задачу языковой модели GigaChat в конфигурации GigaChain. Дополнительно я использовал собственный модуль ivkgiga, который был описан ранее в этом блоге. А вот примененный промпт: “Выдели основные мысли и факты из текста. Размер текста не ограничен“.

Код Python
import ivkgiga
gc = ivkgiga.ivkgiga()
...
text = '<тексты ответов YaGPT, GigaChat и ChatGPT>'
gc.set_map_prompt('Выдели основные мысли и факты из текста. Размер текста не ограничен')
text_after = gc.get_summary(text = text, verbose = True)
...

Результат следующий:

1. Качество текстов документов важно для всех категорий специалистов, которые работают с письменными материалами.
2. Точность и правильность в составлении финансовых документов может предотвратить потенциальные проблемы с налоговой службой и минимизировать риск штрафов.
. . .

Выводы

  1. GigaChat оказался склонен к общим фразам (пункты 1, 3, 4 в результатах GigaChat). Я нет.
  2. GigaChat пропустил недопустимо большое количество категории специалистов, которым важно качество текстов. Это маркетологи, PR-специалисты, специалистам по контент-маркетингу, научные работники, студенты, переводчики, редакторы, лингвисты, филологи.
  3. GigaChat сократил детальное описание причин важности качества текстов.

Конечно, можно было бы поэкспериментировать с промптами еще и улучшить обобщение. Но что-то мне подсказывает, что финальный текст лучше готовить самому. Чего и вам желаю.


Метки

Ответить

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Похожие записи