Генеративні моделі ШІ активно цитують Reuters і Axios – дослідження

Ілюстрація ІМІ

Журналістські матеріали є вагомою складовою відповідей генеративних моделей штучного інтелекту. Такими є результати дослідження “Генеративний пульс” від піар-компанії Muck Rack, повідомляє Nieman Lab.

Автори дослідження, оприлюдненого цього тижня, проаналізували понад мільйон посилань у відповідях моделей генеративного ШІ. Посилання на журналістські матеріали становили 27% випадків, що ввійшли до вибірки Muck Rack, – а серед запитів, що передбачали “певну актуальність” відповіді (від екстрених новин до запитів на кшталт “брак орендованих автівок у США” або “найновіші способи лікування залежності без госпіталізації”), цей показник сягав 49% – майже половина всіх наведених посилань.

Випробування Muck Rack були проведені в липні з використанням моделей 4o i 4o Mini від GPT, Flash i Pro від Gemini, а також Sonnet i Haiku від Claude.

Коли ChatGPT й подібні програми на основі генеративного ШІ виробляють відповіді, то спираються на дані зі своєї навчальної бази лише певною мірою. Тестування Muck Rack показало, що якщо вимкнути функцію посилань (а отже й пошуку даних у режимі реального часу), ці моделі часто видають недостовірну або ж застарілу інформацію.

Дослідники Muck Rack також виявили, що на цитовані джерела значно впливав тип запитів. Відповіді на субʼєктивні запитання на кшталт прохань про пораду чи покрокову інструкцію значною мірою спиралися на “корпоративні блоги й контент”.

Також Muck Rack виявила певні цікаві відмінності між моделями. Загалом найрідше журналістські матеріали цитував Claude. Так, інформаційне агентство Reuters ця модель цитувала у 20 разів рідше, ніж Gemini, й у 50 разів рідше, ніж ChatGPT.

Дослідники також визначили по шість медіа, на які кожна модель посилалася найчастіше. У топах ChatGPT і Gemini фігурували: 

• Reuters; 
• Financial Times; 
• Time; 
• Forbes;
• Axios.

Дослідники зазначають, що Financial Times, Time і Axios уклали угоди про ліцензування контенту з OpenAI, але не з Google. 

Claude, своєю чергою, рідше посилався на новинні видання й частіше на спеціалізовані ресурси на кшталт:

• Good Housekeeping; 
• TechRadar;
• Harvard Business Review.

Що ж до журналістського контенту, досліджені моделі здебільшого цитували матеріали, опубліковані за останні 12 місяців. Зокрема, це стосується ChatGPT: давність 56% цитованих цією моделлю журналістських матеріалів становила до року. У випадку Claude до цієї групи за давністю ввійшли лише 36% усіх посилань.

Muck Rack також розбила запити за галуззю, наприклад медицина, енергетика, роздрібна торгівля. Посилання на журналістський контент найчастіше містили відповіді на запити, що стосувалися:

• медіа / розваг; 
• фінансів / страхування;
• державних індустрій. 

До інших видів джерел входили:

• корпоративні блоги; 
• рекламні матеріали; 
• наукові статті; 
• пресрелізи тощо.

Якість цитувань у згенерованому за допомогою ШІ контенті є темою активних суперечок між розробниками ШІ-моделей і видавцями новин, особливо з огляду на те, що генеративні моделі ШІ відтягують на себе частку трафіку сайтів медіа, замінюючи традиційні методи пошуку інформації. ChatGPT й подібні інструменти також подекуди “галюцинують” несправжні посилання на сайти медіа – навіть тих, які уклали угоду про ліцензування з OpenAI. Також ці моделі іноді додають лінки на перепости й неофіційні копії статей замість оригіналів. Статистика щодо частоти цитування журналістських матеріалів наразі майже не задокументована.

Марія Ігнатьєва, Катерина Дячук