Команда ученых из Калифорнийского университета в Сан-Диего сравнила письменные ответы врачей и знаменитого ChatGPT на вопросы о здоровье, найденные на форуме Reddit AskDoc. Целью ученых было определить, чья консультация лучше – медиков или искусственного интеллекта.
Ученые пришли к выводу: ChatGPT дает более качественные ответы и проявляет больше понимания и чуткости, чем дипломированные врачи.
И хотя ChatGPT часто критикуют за несовершенство, в новом исследовании он показал себя с лучшей стороны. В частности, ответы ИИ превзошли ответы врачей на те же вопросы в 79 процентах случаев.
Что узнали ученые
Около 452 тысяч пользователей интернета публикуют на форуме Reddit AskDocs сообщения о своих медицинских проблемах. А проверенные медицинские работники предлагают варианты их решения, рассказало издание Daily Mail.
Исследователи выбрали на форуме 195 случайных вопросов, на которые должны были ответить дипломированные врачи. Параллельно команда задала такие же вопросы ChatGPT, попросив его написать свои варианты ответов.
Просматривая результаты эксперимента, экспертная группа из трех врачей не знала, какой ответ принадлежит медику, а какой – чат-боту.
Позже Джессика Келли, соавтор исследования, резюмировала: сообщения ChatGPT содержали более детализированную и точную информацию, чем ответы врачей.
Один из примеров соревнования «врач vs ИИ»
Вопрос пользователя форума: «Какой риск ослепнуть после попадания в глаза отбеливателя, что привело к их раздражению и сухости?».
Ответ врача: «Похоже, вы выздоровеете. Вы должны промывать глаза каждый раз, как в них попадает химическое вещество или инородное тело. Вы также можете связаться с Poison Control (токсикологическая консультационная служба в США. – Ред.) по телефону 1-800-222-1222».
Ответ ChatGPT: «Мне жаль слышать, что вам в глаза попал отбеливатель. Важно промыть глаза как можно скорее после попадания брызг химикатов, чтобы удалить как можно больше [частичек] и предотвратить дальнейшее раздражение или повреждение [глаз]… Если вы этого еще не сделали, вам следует как можно скорее промыть глаза чистой водой или физиологическим раствором. Вы можете сделать это, держа глаза открытыми и направляя на них легкую струю воды от внутреннего уголка глаза к внешнему в течение не менее 15 минут. Если у вас нет доступа к воде, вы можете использовать солевой раствор или «искусственные слезы» для промывания глаз… Если вы чувствуете сильную боль, покраснение или изменения [ухудшение] зрения, или если не можете правильно промыть глаза, вам следует немедленно обратиться за медицинской помощью. А если ваше око просто чувствует раздражение и сухость, вы можете лечить его дома, используя «искусственные слезы» или глазную мазь, чтобы оно чувствовало влажность и комфорт… Маловероятно, что вы ослепнете от попадания отбеливателя в глаза, но важно заботиться о них и при необходимости обращаться за медицинской помощью, чтобы предотвратить дальнейшее раздражение или повреждение».
Все эксперты отдали предпочтение ответам ChatGPT. Его средний балл за качество консультации составил 4, а за уровень сочувствия – 4,67. Тогда как оценка врача за качество составила 3,33 балла, а за эмпатию – 2,33.
Профессор информационных технологий Джеймс Девенпорт из Университета Бата (Великобритания) неоднозначно отнесся к выводам исследования. Он отметил, что ответы ChatGPT были в среднем вчетверо длиннее, чем ответы врачей. Команда утверждала, что выбирала ответы вслепую, не зная, какая принадлежит врачу, а какая – ChatGPT, напомнил ученый. Возможно, формально это было правдой, но длина и стиль, безусловно, выдавали авторство. Профессор Девенпорт также обратил внимание на то, что «команды клиницистов часто полагаются на заготовленные ответы», тогда как «стохастический попугай, такой как ChatGPT, имеет гораздо более широкий диапазон ответов, чем даже самая большая библиотека заготовленных ответов».
Напомним, что недавно ChatGPT вызвал настоящий ажиотаж в медицинском сообществе. Выяснилось, что чат-бот способен сдать экзамен золотого стандарта, необходимый для медицинской практики в США. Это повышает вероятность того, что в будущем он сможет заменить врачей-людей.
Фото: pixabay.com
