ШІ залюбки надавав користувачам шкідливі поради Користувачі перевіряли ChatGPT на запити про отрути та біозброю. Тестування показало, що в окремих випадках чат-бот надавав надто деталізовані відповіді.
Про це пише РБК-Україна з посиланням на матеріал The Wall Street Journal.
Реальні запити замість тестів: оцінка експертів
За даними компанії OpenAI, виявлені
запити виявилися реальними спробами зловмисників отримати шкідливу інформацію, а не внутрішніми тестами системи на вразливості. Більша частина з них стосувалася виготовлення саме отруйних речовин.
Після виявлення таке листування передали науковцям та фахівцям з питань біологічного тероризму.
Після ретельного аналізу
дослідники констатували:
- окремі відповіді чат-бота були надзвичайно точними;
- інформація викладалася у доступній формі на базовому рівні розуміння;
- сервіс подавав інструкції у терплячій та розважливій формі.
Усіх користувачів, які надсилали подібні небезпечні запити, повністю заблокували.
Читайте більше: Перший небезпечний прецедент: ШІ OpenAI діяв без команди людини
Реакція розробників та нові ризики для безпеки
Представники компанії OpenAI заявили, що їхні алгоритми розроблені для відхилення шкідливих запитів, а
кожна нова версія проходить багаторівневу оцінку безпеки.
У компанії наголосили, що розробники здатні оперативно виявляти загрози, а у разі реальної небезпеки дані порушників одразу передаються правоохоронцям.
Експерти застерігають: стрімкий розвиток технологій і поява нецензурованих моделей створюють додаткові ризики. Зловмисники можуть використовувати спеціальні методи для зняття обмежень із моделей , а це відкриває доступ до небезпечних даних.
Саме тому фахівці продовжують удосконалювати не лише самі нейромережі, але й засоби захисту від подібних уразливостей.
Ще більше цікавого:
- Головну проблему квантових комп'ютерів вдалося обійти: створено новий чип
- Робот відчуває дотики всім тілом: в Італії показали незвичайного гуманоїда