Стартап ТюмГУ победил в грантовом конкурсе Фонда содействия инновациям «СТАРТ-1»

В рамках реализации проекта планируется создание экспериментального модуля генерации adversarial-промптов на базе GAN-сетей, адаптированных под морфологию и семантику русского языка. Будет реализован экспериментальный алгоритм выявления уязвимостей, таких как промпт-инъекции, потенциальные утечки критичных данных, возможное применение техник джейлбрейкинга и др. К концу проекта будет создан работоспособный прототип, прошедший апробацию на русскоязычных больших языковых моделях (YandexGPT, GigaChat), а также на тестовых стендах с интеграцией в CI/CD пайплайны заказчиков. Прототип обеспечит автоматизированное выявление уязвимостей, формирование отчётов и будет готов к дальнейшей доработке до коммерческого продукта.

В состав команды вошли сотрудники и обучающиеся Школы компьютерных наук:

· Паюсова Татьяна — доцент ШКН, руководитель проекта, автор элективных курсов «Основы кибербезопасности» и «Введение в пентестинг (кибербезопасность)»;

· Якушева Валерия — студентка 4 курса специальности «Компьютерная безопасность», специалист в области защиты и тестирования ИИ-систем и больших языковых моделей;

· Секацкий Максим — студент 4 курса направления «Информационные системы и технологии», профессиональный разработчик, DevSecOps-специалист с опытом реализации и сопровождения масштабных проектов в области информационной безопасности;

· Буторин Данила — студент 3 курса направления «Математика», специалист в области создания формальных моделей безопасности и проведения пентестов.

Коллектив также принимает участие в ежегодном Всероссийском рейтинге ТОП-1000 университетских стартапов, который запущен и реализуется в рамках Платформы университетского технологического предпринимательства. С сайтом команды AI Red Team и их продуктами, например, брандмауэром для больших языковых моделей PromptGuard, можно ознакомиться по ссылке.

Источник:
Управление стратегических коммуникаций ТюмГУ