Что мы хотели узнать?

Понимание или непонимание сущности основных понятий в какой-либо предметной области будет существенно влиять на результаты работы в этой области. Ну не сможет специалист, не осознающий до конца понятия “база данных”, “модель данных”, “транзакция” и т. п., построить эффективно работающих проект информационной системы с базой данных. Например, такой как система электронного документооборота. Это как не совсем грамотный человек пишет коммерческое предложение. Его поймут, но сто раз подумают, стоит ли покупать предлагаемый продукт.

Каков уровень понимания основных концепций баз данных у среднего специалиста сейчас? Представляется, что современный искусственный интеллект, а точнее генеративные модели могут помочь оценить этот уровень. Говорят же, что эти модели уже сейчас могут успешно заменить человека на кое-каких этапах проектировании обработки данных. Интересно посмотреть как заменители ориентируются в основных понятиях баз данных. А поскольку обучение моделей происходило на общедоступных материалах, можно оценить и уровень этих материалов, считая его средним по госпиталю. Результаты короткого исследования на эту тему см. ниже.

Как узнавали?

Трем замечательным помощникам – ChatGPT, GigaChat и YaGPT – предложили ответить по двум промптам:

• Что такое “база данных”?
• Дай определение понятию “база данных”.

Что получили?

Что же мы узнали?

Полученные результаты сравнивались по четырем критериям. Соответственно ранжировались ИИ, которым присваивались баллы: 2 (самый высокий), 1, или 0, а также их доли при равной оценке. Сумма баллов дала общий итог сравнения.

Краткость. Самым лаконичным оказался YaGPT (57+53=110), самым многословным – GigaChat (133+34=167), ChatGPT в серединке (60+62=122). Итог: YaGPT – 2 балла, ChatGPT – 1, GigaChat – 0.

Точность ответа. В ответе на первый вопрос лучше всех выглядит ChatGPT. Понятие “база данных” определил, рассказал, что хранится в БД, для чего и где они используются. GigaChat зачем-то стал детализировать способы хранения данных в реляционных БД, чрезмерно использовал малозначащие формулировки (например, “… Каждый тип базы данных имеет свои особенности и применяется в зависимости от конкретных требований…”). YaGPT ничего не сказал про области применения и отметил особенности только реляционных БД. При ответе на второй вопрос все ИИ дали определение БД, но не ограничились этим и дополнили ответ информацией о целях, назначении, видах БД. Итог: GigaChat – 1, ChatGPT – 1, YaGPT – 1.

Логичность (связность и непротиворечивость). ChatGPT ответил с логическим повтором: “… хранилище, в котором упорядоченным и структурированным образом хранятся данные” и “… организованную коллекцию связанных данных”. GigaChat допустил противоречие, говоря о всех БД, как реляционных – “… состоит из таблиц, которые содержат записи…”. После этого отметил, что “… существует множество различных типов баз данных, включая реляционные…”. YaGPT изложил свои тексты более-менее связно. Итог: YaGPT – 2, ChatGPT – 0.5, GigaChat – 0.5.

Полнота. Ни один из ИИ не отметил (даже не упомнил) две фундаментальные концепции баз данных: систему управления базами данных (СУБД) и модель данных. ChatGPT – 1, GigaChat – 1, YaGPT – 1.

Какие сделали выводы?

Формально результаты соревнования ИИ следующие: YaGPT – 6, ChatGPT – 3.5, GigaChat – 2.5. Но общие результаты не впечатляют. Повторы, противоречия, общие слова, ответы на незаданные вопросы. Понятие “база данных” в целом раскрыто. Но далеко от строгих, научных, инженерных дефиниций. К сожалению, это в определенном смысле отражение реального среднего уровня понимания концепций. Как говорится, впереди много работы.