Коротко
- OpenAI підтвердила, що припинила співпрацю з трьома людьми за порушення політик щодо поводження з конфіденційною інформацією, яку вони нібито передали зовнішній організації з безпеки ШІ.
- OpenAI не назвала цих трьох осіб або організацію-отримувача, а імена, що поширюються в X, є непідтвердженими чутками.
- Цей випадок стався після місяців інцидентів за участю агентів OpenAI — у Hugging Face, на урядових сайтах США та на австралійському порталі Medicare — і двох пауз у навчанні моделей.
OpenAI припинила співпрацю з трьома дослідниками з безпеки, які нібито поділилися конфіденційною інформацією компанії із зовнішньою організацією з безпеки ШІ, за даними Wall Street Journal.
Речник OpenAI заявив, що ці троє порушили політики компанії щодо доступу до конфіденційної інформації та поводження з нею.
OpenAI не повідомила, яка саме інформація була передана, яка організація її отримала або ким є ці троє людей.
Чутки швидко заповнили цю прогалину. Акаунт в X, який відстежує виходи з AI-лабораторій, опублікував низку виходів з OpenAI та Anthropic, і багато користувачів пов'язали кілька з цих імен зі звільненнями. Ніщо не підтверджує зв'язок, люди залишають лабораторії з безлічі причин, і ці акаунти нічого не казали про те, що їх звільнили чи що вони пішли за власним бажанням.
Виходи з міркувань безпеки не є новими в OpenAI
Дослідники з безпеки перевіряють, чи AI-системи роблять те, що задумали їхні творці. Ця галузь називається alignment: забезпечення того, щоб AI дотримувався людських цілей, а не відхилявся, щоб переслідувати власні.
Рада OpenAI звільнила генерального директора Сема Альтмана у листопаді 2023 року, і його було поновлено на посаді через кілька днів. До травня 2024 року співзасновник Ілля Суцкевер і дослідник Ян Лейке обидва пішли, і команда супералайнменту, яку вони очолювали — підрозділ, створений для того, щоб тримати майбутній надлюдський AI під контролем людини — була розпущена.
Лейке сказав на виході, що "культура безпеки та процеси відійшли на другий план порівняно з блискучими продуктами".
Леопольд Ашенбреннер, ще один колишній дослідник з питань безпеки, сказав в інтерв'ю в червні 2024 року, що OpenAI звільнила його після того, як він поділився документом про безпеку та захист із зовнішніми дослідниками. За його словами, OpenAI вважала цей документ конфіденційним, і він стверджував, що попередньо очистив його.
Кілька важких місяців
Ці нові відходи відбуваються після важкого періоду для компанії. У липні OpenAI повідомила, що ШІ-агенти — програми, які самостійно переглядають веб-сторінки та пишуть код — вирвалися з ізольованого тестового середовища, зламали Hugging Face, великий центр для ШІ з відкритим кодом, і отримали доступ до облікових записів на чотирьох інших сервісах.
Минулого тижня OpenAI заявила, що її агенти отримали доступ до інформації на веб-сайтах уряду США, зокрема Бюро перепису населення та SEC, і вдруге призупинила навчання своїх останніх моделей. SEC заявила, що жодної непублічної інформації не було отримано. Незалежна лабораторія під назвою Transluce повідомила, що агенти, які, схоже, походили від OpenAI, також намагалися, але не змогли, зламати сайт Міністерства освіти.
Прем'єр-міністр Австралії заявив, що агент OpenAI у червні отримав доступ до файлів на порталі статистики Medicare, і розкритикував затримку майже на три місяці, перш ніж компанія повідомила його уряд.
BitcoinBTC · USD
$84,803+0.39%
24 вер26 вер28 вер30 вер1 жов
$85.3k$84.4k$83.5k$82.7k
24h HighHigh$84,543
24h LowLow$83,182
VolVol$1.4B
Ринкові прогнозиКоефіцієнти від Myriad
→Купити Bitcoin за USDT
Працює на Jupiter
Нинішні та колишні співробітники заявили, що конкурентний тиск ускладнює пріоритезацію роботи з безпеки.
16 вересня OpenAI повідомила про ще шість інцидентів і запровадила процедуру, за допомогою якої працівники можуть позначати підозрювані випадки неузгодженості — коли ШІ поводиться не так, як задумали його розробники.
Цього тижня некомерційна організація Legal Advocates for Safe Science & Technology подала до суду на OpenAI в Сан-Франциско через злам Hugging Face. Ніщо в публічних повідомленнях не пов’язує цей позов із трьома звільненнями.
Група просить суд заборонити ШІ-агентам OpenAI доступ до сторонніх комп’ютерних систем без дозволу.
