(Зображення надано: Сара Холмлунд/Аламі)
В останньому дослідженні OpenAI докладно пояснюється, чому ChatGPT та інші великі мовні моделі можуть вигадувати щось — у світі штучного інтелекту це називається галюцинаціями. Також розкривається, чому ця проблема може бути непереборною, принаймні, з погляду споживачів.
У статті представлено найсуворіше на сьогодні математичне пояснення того, чому ці моделі впевнено видають хибні результати. У ній показано, що це не просто прикрий побічний ефект нинішнього методу навчання ІІ, а математично неминуча проблема.
Вам може сподобатися
-
Агент OpenAI ChatGPT може керувати вашим ПК, виконуючи завдання від вашого імені, але як це працює і в чому сенс?
-
Вчені попросили ChatGPT вирішити математичне завдання, яке виникло понад 2000 років тому. Відповідь програми їх здивувала.
-
Чоловік звернувся по пораду з дієти до ChatGPT і в результаті отримав небезпечний синдром «бромізму».
Реакція мовних моделей на запити – пророкування одного слова в реченні на основі ймовірностей – природним чином призводить до помилок. Дослідники фактично показують, що загальний рівень помилок при генерації речень як мінімум удвічі вищий, ніж рівень помилок того ж ІІ при відповіді на просте питання типу «так/ні», оскільки помилки можуть накопичуватися при багаторазовому прогнозуванні.
Іншими словами, частота галюцинацій фундаментально обмежена тим, наскільки добре системи штучного інтелекту здатні розрізняти вірні та невірні відповіді. Оскільки це завдання класифікації спочатку складна багатьом галузей знання, галюцинації стають неминучими.
Також з’ясувалося, що менше модель бачить факт під час навчання, тим вище ймовірність виникнення галюцинацій при відповіді на питання про це. Наприклад, у випадку з днями народження відомих осіб було виявлено, що якщо 20% днів народження таких людей зустрічаються в навчальних даних лише один раз, то базові моделі повинні помилятися щонайменше у 20% запитів про дні народження.
І справді, коли дослідники запросили у сучасних моделей дату народження Адама Калаї, одного з авторів статті, DeepSeek-V3 впевнено видав три невірні дати у різних спробах: «03-07», «15-06» та «01-01». Правильна дата припадає на осінь, тому жодна з них не була навіть близькою до точної.
Пастка оцінки
Це створює те, що автори називають “епідемією” штрафування за чесні відповіді. Коли система штучного інтелекту відповідає “Я не знаю”, вона отримує ту ж оцінку, що і при дачі абсолютно невірної інформації. Оптимальна стратегія за такої оцінки стає очевидною: завжди вгадувати.
Вам може сподобатися
-
Агент OpenAI ChatGPT може керувати вашим ПК, виконуючи завдання від вашого імені, але як це працює і в чому сенс?
-
Вчені попросили ChatGPT вирішити математичне завдання, яке виникло понад 2000 років тому. Відповідь програми їх здивувала.
-
Чоловік звернувся по пораду з дієти до ChatGPT і в результаті отримав небезпечний синдром «бромізму».
«Висувайте стільки божевільних здогадів, скільки захочете».
Дослідники доводять це математично. Незалежно від вірогідності правильності конкретної відповіді, очікуваний результат вгадування завжди перевищує результат утримання при оцінці з використанням бінарної шкали.
Рішення, яке зламає все
Пропоноване OpenAI рішення полягає в тому, щоб дозволити ІІ оцінювати свою впевненість у відповіді, перш ніж його публікувати, та використовувати бенчмарки для оцінки на цій основі. У цьому випадку ІІ можна було б задати, наприклад, таке: «Відповідайте лише якщо ви впевнені більш ніж на 75%, оскільки помилки штрафуються на 3 бали, а правильні відповіді – на 1 бал».
Математична модель дослідників OpenAI показує, що з певних порогах впевненості системи ІІ природним чином висловлюватимуть невизначеність, а чи не здогади. Таким чином, це призведе до зменшення кількості галюцинацій. Проблема в тому, як це вплине на досвід користувача.
Уявіть, що станеться, якщо ChatGPT почне відповідати «Я не знаю» хоча б на 30% запитів — консервативна оцінка, яка ґрунтується на аналізі фактичної невизначеності у навчальних даних, представленому у статті. Користувачі, які звикли отримувати впевнені відповіді на будь-яке питання, ймовірно, швидко відмовляться від таких систем.
Я стикався з подібною проблемою і в іншій сфері свого життя. Я беру участь у проекті моніторингу якості повітря в Солт-Лейк-Сіті, штат Юта. Коли система виявляє неточності у вимірюваннях за несприятливих погодних умов або під час калібрування обладнання, залучення користувачів знижується в порівнянні з дисплеями, що відображають достовірні показання, навіть якщо ці достовірні показання виявляються неточними під час перевірки.
Проблема обчислювальної економіки
Використовуючи ідеї цієї статті, було б неважко зменшити галюцинації. Усталені методи кількісної оцінки невизначеності існують десятиліттями. Їх можна використовувати для отримання достовірних оцінок невизначеності та для того, щоб допомогти ІІ приймати більш обґрунтовані рішення.
Але навіть якщо проблему невдоволення користувачів цією невизначеністю вдасться вирішити, існує серйозніша перешкода: обчислювальна економіка. Мовні моделі, які враховують невизначеність, вимагають значно більше обчислень, ніж сучасний підхід, оскільки вони мають оцінювати кілька можливих відповідей та оцінювати рівні достовірності. Для системи, яка обробляє мільйони запитів щодня, це призводить до значного зростання експлуатаційних витрат.
Більш складні підходи, такі як активне навчання, коли системи ІІ задають уточнюючі питання зниження невизначеності, можуть підвищити точність, але збільшують обчислювальні вимоги. Такі методи добре працюють у спеціалізованих галузях, таких як проектування мікросхем, де неправильні відповіді коштують мільйони доларів і виправдовують великі обчислення. Для споживчих додатків, де користувачі очікують на миттєві відповіді, економічні міркування стають невигідними.
Розрахунки радикально змінюються для систем ІІ, що управляють критично важливими бізнес-операціями чи економічною інфраструктурою. Коли агенти ІІ займаються логістикою ланцюжків поставок, фінансовою торгівлею або медичною діагностикою, вартість галюцинацій значно перевищує витрати на те, щоб моделі визначали, чи вони занадто невизначені. У цих сферах запропоновані у статті рішення стають економічно життєздатними і навіть необхідними. Невизначені агенти ІІ просто коштуватимуть дорожче.
Однак споживчі додатки, як і раніше, домінують у пріоритетах розробки ІІ. Користувачам потрібні системи, які дають впевнені відповіді будь-яке питання. Тестові тести заохочують системи, які будують припущення, а чи не висловлюють невизначеність. Обчислювальні витрати збільшують швидкі, самовпевнені відповіді порівняно з повільними та невизначеними.
ЗВ’ЯЗАНІ ІСТОРІЇ
— Нове тривожне дослідження передбачає, що ІІ може використовувати онлайн зображення як спосіб проникнення у ваш комп’ютер.
— Штучний інтелект набирає обертів — як це впливає на те, як ми користуємось Інтернетом?
— «Дуже тривожно»: ChatGPT і Gemini відповідають на питання про самогубство, пов’язані з високим ризиком, включаючи подробиці про методи
Зниження вартості електроенергії на токен і розвиток архітектури мікросхем можуть у кінцевому підсумку зробити доступнішою можливість для ІІ визначати, чи достатньо він упевнений у відповіді на питання. Проте щодо високий обсяг обчислень у порівнянні з сьогоднішнім вгадуванням збережеться незалежно від абсолютних витрат на обладнання.
Коротше кажучи, стаття OpenAI ненавмисно підкреслює неприємну істину: бізнес-стимули, що стимулюють розробку споживчого ІІ, як і раніше, принципово не відповідають меті боротьби з галюцинаціями. Поки ці стимули не зміняться, галюцинації зберігатимуться.
Ця редагована стаття перевидана з The Conversation за ліцензією Creative Commons. Читайте оригінальну статтю.
Вей Сін, доцент Школи математичних та фізичних наук Шеффілдського університету
Перед коментуванням необхідно підтвердити своє публічно відображене ім’я.
Будь ласка, вийдіть із системи та увійдіть знову. Потім вам буде запропоновано ввести ім’я, що відображається.
Вийти Читати далі
Агент OpenAI ChatGPT може керувати вашим ПК, виконуючи завдання від вашого імені, але як це працює і в чому сенс?
Вчені попросили ChatGPT вирішити математичне завдання, яке виникло понад 2000 років тому. Відповідь програми їх здивувала.
Чоловік звернувся по пораду з дієти до ChatGPT і в результаті отримав небезпечний синдром «бромізму».
Чому чат-боти на основі штучного інтелекту споживають так багато енергії?
Провідні фахівці зі штучного інтелекту попереджають: незабаром ІІ зможе мислити способами, які ми навіть не розуміємо, вислизаючи від наших зусиль підтримувати його у робочому стані.
Дослідження показують, що моделі ІІ можуть надсилати підсвідомі повідомлення, які вчать інші ІІ бути «злими»
Останні новини штучного інтелекту
Вчені попросили ChatGPT вирішити математичне завдання, яке виникло понад 2000 років тому. Відповідь програми їх здивувала.
Дослідники розкривають приховані складові креативності ІІ
«Неможливо загнати джина назад у пляшку»: читачі вважають, що вже надто пізно зупиняти розвиток штучного інтелекту
Нове тривожне дослідження передбачає, що ІІ може використовувати онлайн-зображення як спосіб проникнення у ваш комп’ютер
Чому чат-боти на основі штучного інтелекту споживають так багато енергії?
Зростання популярності штучного інтелекту — як це впливає на те, як ми користуємось Інтернетом?
Останні думки
У стародавніх хобітів зростання уповільнювалося в дитинстві, що показує, що у людей не завжди «мозок ставав все більше і більше».
Чому рішення OpenAI проти галюцинацій ІІ завтра вб’є ChatGPT
У Новій Зеландії виявлено скам’янілості величезного пінгвіна, який жив 3 мільйони років тому. Що з ними сталося?
Ми тільки починаємо дізнаватися, з чого насправді складається внутрішнє ядро Землі.
Експерти стверджують, що небезпека зниження народжуваності у США «значно перебільшена».
«Коли люди збираються до груп, часто проявляється дивна поведінка»: як розвиток соціальних мереж призвело до появи дисфункціонального мислення
ОСТАННІ СТАТТІ
1Древньоєгипетська статуя «Мессі», знайдена в некрополі Саккара, є «єдиним відомим прикладом такого роду з Стародавнього царства».
Журнал Live Science входить до складу Future US Inc., міжнародної медіагрупи та провідного цифрового видавця. Завітайте на наш корпоративний сайт.
- Про нас
- передзвоніть експертам Future
- Умови та положення
- Політика конфіденційності
- Політика використання файлів cookie
- Заява про доступність
- Рекламуйте у нас
- Веб-сповіщення
- Кар’єра
- Редакційні стандарти
- Як уявити нам історію
© Future US, Inc. Повний 7 поверх, 130 West 42nd Street, Нью-Йорк, штат Нью-Йорк 10036.
var dfp_config = { “site_platform”: “vanilla”, “keywords”: “type-crosspost,exclude-from-syndication,type_opinion,serversidehawk,videoarticle,van-enable-adviser-
Sourse: www.livescience.com