Співзасновник Ethereum Віталік Бутерін підтримав рішення Moonshot AI обмежити розширені хакерські можливості у своїй моделі Kimi K3.1 Pro, попереджаючи, що погано керовані ризики безпеки ШІ можуть призвести до обмежувальних перевірок особи та масового спостереження.
Резюме
- Віталік Бутерін підтримує обмеження небезпечних можливостей ШІ без обмеження доступу на основі ідентичності користувачів.
- Відфільтрована модель Kimi від Moonshot набрала 81% порівняно з 90,5% для її невідфільтрованого аналога.
- Бутерін попередив, що неконтрольовані атаки ШІ можуть сприяти обов'язковому KYC та інтрузивному спостереженню.
- Moonshot планує випустити відкриті ваги Kimi K3.1 Pro до 4 листопада.
У дописі на X від 26 жовтня Бутерін захистив рішення Moonshot виключити розширений наступальний матеріал з кібербезпеки з тренувальних даних моделі, аргументуючи, що розробникам потрібно більше часу, щоб зміцнити програмне забезпечення проти дедалі потужніших атак ШІ.
Ці коментарі з'явилися після оголошення Moonshot від 23 жовтня про Kimi K3.1 Pro, яка вже доступна через її застосунки та API. Китайський стартап має намір опублікувати повні ваги моделі до 4 листопада.
Віталік Бутерін підтримує обмеження небезпечних можливостей ШІ
Позиція Віталіка Бутеріна зосереджена на розрізненні між обмеженням того, що може робити модель ШІ, і визначенням того, кому слід дозволити її використовувати.
«Дискримінація щодо варіантів використання є НАБАГАТО менш поганою, ніж дискримінація щодо користувачів», — написав він, підтримуючи рішення Moonshot залишити розширені наступальні кіберможливості поза тренуванням.
Він стверджував, що світу потрібен час, щоб підготуватися до потужних атак, керованих ШІ, шляхом зміцнення існуючої інфраструктури, перегляду старішого програмного забезпечення та застосування формальної верифікації до новорозробленого коду.
Формальна верифікація передбачає математичну перевірку того, чи відповідає програмне забезпечення заданим вимогам. Бутерін неодноразово підтримував цей підхід як засіб виявлення вразливостей безпеки до розгортання програм.
У вересні він відкинув твердження, що хакерство на основі ШІ зрештою зробить кібербезпеку безнадійною, аргументуючи, що автоматизована верифікація може покращити здатність захисників захищати програмне забезпечення.
Його останні коментарі не припускали, що видалення небезпечного тренувального матеріалу завадить іншим розробникам створювати потужніші моделі.
Коли користувач X LOID запитав, чи конкуруючі лабораторії зрештою все одно розроблять розширені наступальні можливості, Бутерін відповів: «Так, звісно, розроблять».
Moonshot повідомляє про вимірюваний вплив обмежень безпеки Kimi
Moonshot представила Kimi K3.1 Pro як оновлену модель з відкритими вагами, побудовану на її існуючій архітектурі Kimi K3.
Згідно з технічним оголошенням компанії, розробники видалили вибрані дані, пов'язані з кібератаками, з тренування та навчання з підкріпленням, зберігши загальні програмістські можливості.
Це рішення знизило продуктивність на внутрішньому бенчмарку експлойтів Moonshot. Версія без обмежень розв'язала 90,5% завдань порівняно з 81% для випущеної моделі.
Різниця становить 9,5 відсоткових пунктів, хоча компанія не встановила, як це зниження перетворюється на запобігання реальним кібератакам.
Moonshot повідомила, що попередня модель Kimi K3 набрала 33,3% на тому ж оцінюванні, що свідчить про те, що обмежений наступник все ще показав значно кращі результати в її власному тестуванні.
На Terminal-Bench 4.0 нова модель досягла 65,7% порівняно з повідомленими Moonshot показниками 66,4% для Claude Opus 5.5 та 58,2% для GPT-6 Astra.
Ці показники продуктивності походять із тестування Moonshot і не були незалежно перевірені.
Компанія випустила версію Highspeed, яка, за її словами, працює у два-три рази швидше за стандартну пропозицію.
Бутерін попереджає, що збої ШІ можуть призвести до суворішого контролю доступу
Окрім безпосередніх проблем кібербезпеки, Віталік Бутерін попередив, що уряди та технологічні компанії можуть відреагувати на серйозні інциденти, пов'язані зі ШІ, запровадивши обмеження для звичайних користувачів.
Він описав можливе майбутнє із заблокованими моделями, обов'язковими перевірками Know Your Customer та нав'язливим спостереженням.
За таких умов доступ до передових інструментів ШІ міг би залежати від національності людини, документів, що посвідчують особу, або інших облікових даних.
Бутерін попередив, що деякі користувачі можуть стати «другого, третього чи четвертого сорту» учасниками залежно від їхньої кваліфікації чи громадянства.
Його занепокоєння узгоджується з його нещодавніми експериментами щодо приватного доступу до ШІ.
16 жовтня він представив орієнтовану на приватність конфігурацію агента, що поєднує маршрутизацію через Tor, анонімні платежі через zkAPI та локальне переписування запитів, щоб зменшити обсяг особистої інформації, що розкривається зовнішнім моделям.
Система була розроблена, щоб дозволити користувачам отримувати доступ до сервісів ШІ, обмежуючи розкриття їхніх особистих даних та активності.
Кібербезпека ШІ залишається проблемою для розробників блокчейну
Незалежні оцінки раніше досліджували наступальні можливості моделей Moonshot.
У липні Центр стандартів і інновацій у сфері ШІ США та Інститут безпеки ШІ Великої Британії оцінили Kimi K3 щодо симульованих кібератак.
Дослідники виявили, що модель показала результати нижчі за провідні системи з кіберможливостями, але все ще могла намагатися здійснювати наступальні операції, незважаючи на наявні запобіжні заходи.
В одній симульованій атаці на корпоративну мережу Kimi K3 виконала в середньому 17 кроків із 32 порівняно з 28,5 для найбільш здатних протестованих американських моделей.
Оцінка охоплювала попередній випуск Kimi K3, а не новопредставлений K3.1 Pro.
Раніше Бутерін пропонував спрямувати більше роботи з розробки за допомогою ШІ на тестування безпеки та математичну верифікацію.
У травні він визначив застосування цього підходу в нульових віртуальних машинах Ethereum, криптографічних доказах, системах консенсусу та дослідженнях квантовостійкої безпеки.
