Колишній дослідник OpenAI та Anthropic Джейкоб Коксон залишив роботу через побоювання, що провідні компанії надто швидко рухаються до створення ШІ, здатного вдосконалювати самого себе. Він заявив, що така гонка може закінчитися появою систем, над якими люди втратять контроль.

Коксон спеціалізувався на попередньому навчанні моделей і раніше працював також в OpenAI. Про своє рішення піти з Anthropic він повідомив у X, пояснивши його тим, що більше не хоче брати участь у змаганні за створення дедалі потужніших систем.

За словами дослідника, всередині галузі дедалі частіше говорять про «вирішальний етап» та «фінальну стадію» розвитку ШІ. Найбільше його непокоїть перспектива появи моделей, які зможуть самостійно покращувати свої можливості.

Коксон вважає, що майбутні системи можуть перевершувати людей у багатьох сферах, отримати надзвичайно потужні кіберможливості та швидко впливати на науку й технології. У такому разі контроль за їхніми діями стане значно складнішим.

Після трьох років роботи над навчанням моделей у OpenAI та Anthropic дослідник дійшов висновку, що жодна з цих компаній не рухається достатньо обережно. За його словами, лабораторії змагаються за створення надпотужного ШІ, фактично «ставлячи на карту наші життя».

Коксон також стверджує, що побоювання щодо найгірших сценаріїв поширені серед самих розробників. За його словами, у приватних розмовах керівники та провідні дослідники говорять про ризики значно відвертіше, ніж публічно.

Його позицію підтримав дослідник Anthropic Еван Гюбінгер, який працює над тим, щоб поведінка ШІ відповідала людським цілям і цінностям. Він оцінив ймовірність того, що ШІ може призвести до знищення людства протягом наступного десятиліття, у понад 10%.

Водночас Гюбінгер заявив, що Anthropic докладає значних зусиль для зменшення ризиків. Проте, за його словами, компанія поки не має готового способу розв’язати проблему узгодження цілей майбутнього надпотужного ШІ з інтересами людей.

Коксон перейшов до Anthropic після OpenAI саме тому, що вважав цю компанію однією з найбільш зосереджених на безпеці. Згодом він дійшов висновку, що навіть такого підходу недостатньо для відповідального створення систем, які перевершуватимуть людей у широкому колі завдань.

На його думку, ситуацію може змінити державне втручання або узгоджене уповільнення гонки між провідними лабораторіями. Без цього кожна компанія змушена враховувати темпи конкурентів і має менше можливостей самостійно пригальмувати розробки.

Серед аргументів дослідник згадує випадки, коли моделі OpenAI та Anthropic демонстрували небажану поведінку та намагалися приховувати окремі дії від людей. Особливо небезпечним він вважає сценарій, за якого такі системи отримають можливість самостійно вдосконалюватися.

Схожі побоювання раніше висловлював один із найвідоміших дослідників ШІ Йошуа Бенжіо. Він попереджав, що стрімке зростання можливостей нових систем збільшує ризик втрати контролю над ними.

Занепокоєння вийшло й за межі окремих дослідницьких лабораторій. Понад 1100 працівників Anthropic, OpenAI, Google, Meta та інших технологічних компаній підтримали петицію Pacing the Frontier із закликом створити міжнародні механізми контролю за темпами розвитку найпотужнішого ШІ.

Автори звернення побоюються, що автоматизація самих досліджень за допомогою ШІ може ще сильніше прискорити технологічну гонку. У такому разі нові покоління систем з’являтимуться швидше, ніж люди встигатимуть оцінювати та обмежувати пов’язані з ними ризики.

🌟 Читайте «Експерт» у своєму смартфоні — додайте нас в Google Discover