Основи безпеки при розробці GenAI та LLM

У зв’язку зі швидким впровадженням служб із підтримкою штучного інтелекту у виробничі додатки важливо, щоб організації могли захищати компоненти штучного інтелекту / ML, які надходять у їхній ланцюжок постачання програмного забезпечення. Хороша новина полягає в тому, що навіть якщо у вас немає спеціального інструменту для сканування самих моделей, ви все одно можете застосувати ті самі найкращі практики DevSecOps для забезпечення безпеки розробки моделей.

Захищені моделі починаються з безпечних компонентів

Багато компонентів, які складають модель, є векторами атак, на управлінні та захисті яких організації вже зосереджені. Через це організації повинні переконатися, що їхні спеціалісти з обробки даних та інженери з машинного навчання оснащені тими ж інструментами безпеки та процесами, які використовують ваші основні групи розробників.

Ось кілька прикладів:

• Залежності та пакети. Під час створення моделі Data Scientists використовуватимуть фреймворки та бібліотеки з відкритим кодом, такі як Tensor Flow і PyTorch. Надання їм доступу до цих залежностей із надійного джерела (а не безпосередньо з Інтернету), сканування на вразливості та блокування шкідливих пакетів гарантує безпеку кожного компонента, який використовується в моделі.
• Вихідний код . Спеціаліст з даних або інженер ML зазвичай готує модель на Python, C++ або R. Сканування вихідного коду за допомогою рішення SAST дозволить переконатися, що в коді немає помилок, які впливають на безпеку моделі.
• Образи контейнерів – зображення контейнерів використовуються для розгортання моделі для навчання та надання моделей для використання іншими розробниками/додатками. Остаточне сканування образу контейнера може допомогти переконатися, що те, що розгортається, не становить ризику для вашого середовища.

Поєднавши такі інструменти розробки моделей, як MLflow , Qwak і AWS Sagemaker, з єдиною системою запису для артефактів моделі, як-от платформа JFrog, організації можуть блокувати розгортання або використання небезпечних компонентів або компонентів, що не відповідають політиці, під час створення нових моделей.

Забезпечте цілісність програми AI

Щойно золоту модель буде визначено, її, ймовірно, буде додатково розроблено, щоб представити нову модель як службу, до якої розробники можуть підключатися як до програми з підтримкою штучного інтелекту. Інженер ML зазвичай додає додаткові бібліотеки, щоб дозволити викликати модель через API, таким чином створюючи інший образ, який проходить через традиційний цикл розробки програмного забезпечення. У цьому випадку ви можете застосувати передові практики DevSecOps, згадані в попередньому розділі, за допомогою кількох додаткових кроків, щоб забезпечити цілісність компонентів AI, доступних вашим розробникам.

Ці додаткові кроки зазвичай включають:

• Підписування артефактів . Ви можете і повинні підписати всі компоненти, які складають вашу нову службу, якомога раніше в конвеєрі MLOps і розглядати їх як єдину незмінну одиницю, коли вони розвиваються на етапах. Це допомагає переконатися, що у вашій програмі нічого не змінилося під час її випуску.
• Блокування просування/випуску – коли програма або служба переміщується по конвеєру MLOps, вам слід автоматично повторити його сканування як частину процесу просування. Це дозволяє якомога раніше виявити будь-які проблеми, що виникають.

Увімкніть безпеку моделі ML, не впливаючи на продуктивність

Будь-який підхід до захисту ваших конвеєрів MLOps слід виконувати без впливу на гнучкість розробки моделі. Щоб бути впевненим, що збоїв у роботі практично немає, вам слід надати стандартні API для доступу до артефактів і переконатися, що інструменти та процеси, які ви використовуєте, легко інтегруються з кількома рішеннями ML..

Такі інструменти, як JFrog Xray і Curation, допомагають подолати розрив між інтегрованими середовищами розробки та рішеннями ML. За допомогою цих інструментів визначення політики безпеки, яка захищає ваше середовище, стає прозорим для ваших спеціалістів із обробки даних та інженерів ML.

Про платформу JFrog

JFrog – це платформа управління ланцюжком поставок програмного забезпечення, яка допомагає командам DevOps розробляти, розгортати та керувати програмним забезпеченням. Вона пропонує широкий спектр продуктів, включаючи:

• JFrog Artifactory: універсальний репозиторій для зберігання та управління усіма типами артефактів програмного забезпечення, включаючи бінарні файли, контейнерні образи та діаграми Helm.
• JFrog Pipelines: інструмент для автоматизації CI/CD, який допомагає створювати, тестувати та розгортати програмне забезпечення.
• JFrog Xray: інструмент для статичного аналізу коду, який допомагає виявляти вразливості безпеки та інші проблеми з кодом.
• JFrog Distribution: інструмент для розгортання програмного забезпечення, який допомагає розгорнути програмне забезпечення в різних середовищах.

Загалом, JFrog – це потужна платформа, яка може допомогти командам DevOps покращити процес розробки та розгортання програмного забезпечення.

Бажаєте спробувати? Розробник пропанує безкоштовно завантажити тестову версію зі свого сайту. Також, для отримання додаткової інформації про JFrog можна звернутися до представника розробника – компанії Ідеалсофт.