Нейросети — это отличные инструменты в работе, которые необходимо развивать. Это лейтмотив дискуссий на заседании круглого стола «Безопасность операционных систем в контексте искусственного интеллекта», который прошел в рамках научно-практической конференции OS DAY в Москве.
В центре внимания оказались технические аспекты системного программирования, интеграция искусственного интеллекта (ИИ) в операционные системы и вопросы безопасности. Участники — ведущие специалисты в области системного программирования, разработчики отечественных операционных систем, представители регуляторных органов и заказчики — обсудили актуальные вызовы и перспективы.
Участники заседания отмечали, что ИИ меняет облик современных операционных систем: от использования ИИ как платформы для развития новых функций до применения в автоматизации задач системного программирования.
Важной темой стала «миграция систем» на отечественное программное обеспечение с помощью ИИ, особенно в критической инфраструктуре. Спикеры отметили, что перенос бизнес-логики — сложный и кропотливый процесс.
Как отметили участники дискуссии: когда мы говорим о миграции, мы понимаем, что это не только огромный массив данных, который измеряется петабайтами и который нужно перенести. Это еще и вся бизнес-логика, которая была на старой промышленной системе.
По оценке специалистов, ИИ здесь выступает как мощный помощник, сокращающий временные затраты и ресурсы, но при этом полностью полагаться на него нельзя. Особенно важно подчеркнуть проблему «галлюцинаций» ИИ — ситуации, когда модель выдает ошибочные или неверные результаты, что может иметь серьезные последствия, например, при адаптации кода программного обеспечения под старые версии языков программирования или при автоматизации сложных задач.
Оказывается, то, ИИ может «галлюцинировать», — огромная проблема. Тот код, который он генерирует, может оказаться ошибочным. Поэтому, делают вывод специалисты, мы не можем полностью переложить ответственность на искусственный интеллект, но он существенно облегчает нам задачу.
Обсуждалась и угроза манипуляции обучающими данными. Спикеры подчеркнули, что злоумышленники могут внедрить ложные метки или искажающие данные, что приведет к неправильным решениям модели.
В качестве меры защиты предлагалась перекрестная проверка данных экспертами, а также создание стандартов и проведение аудита ИИ-систем, что стало особенно актуально в контексте автономных транспортных средств и других систем, где от правильности работы ИИ зависит безопасность.
Особое внимание уделялось инструментам для контроля ИИ. Были озвучены идеи о необходимости стандартизации и разработки критериев оценки качества и безопасности моделей. В частности, говорилось о необходимости внедрения методов статического и динамического анализа, а также о разделении подходов между классическими алгоритмами и современными большими языковыми моделями (LLM).
Новые методы защиты, такие как защита «промптов от инъекций» или внедрение механизмов защиты от злоумышленников, требуют разработки и внедрения новых стандартов.
Идея интеграция ИИ непосредственно в ядро операционной системы (ОС) вызвала ожесточенные дискуссии. Участники задавали вопрос о том, как обеспечить безопасность при включении ИИ в системные компоненты. Предлагались идеи о полной изоляции ИИ-компонентов, использовании проверенных фундаментальных механизмов контроля и целостности, чтобы ИИ выступал лишь как дополнение, а не как часть критической инфраструктуры ОС.
Значительная часть обсуждения касалась будущего разработчиков. Не останутся ли они без работы? В эпоху, когда ИИ способен выполнять рутинные задачи, возник вопрос о подготовке новых специалистов. Спикеры подчеркнули, что роль молодых инженеров должна сместиться с написания кода на проектирование систем и управление ИИ-инструментами.
Обучение будущих разработчиков должно включать не только традиционные навыки программирования, но и умение взаимодействовать с ИИ, понимать его ограничения, управлять и контролировать создаваемые модели. Важной тенденцией станет развитие культуры код-ревью с участием ИИ и изменение подходов к собеседованиям, где оценка навыков работы с современными технологиями станет ключевым элементом.
Общий вывод: интеграция ИИ в операционные системы — неизбежный и важный шаг, который требует сбалансированного подхода. Необходимо внедрять изоляцию компонентов, использовать гибридные методы безопасности, разрабатывать новые стандарты обучения и подготовки специалистов.
Спикеры подчеркнули, что история уже знает, как адаптироваться к новым технологиям. Главное — не запрещать ИИ, а научиться правильно его контролировать и защищать, чтобы извлечь максимум пользы и минимизировать риски.
Особенно интересным стало мнение участников о перспективных направлениях в области системного программирования — разработки локальных больших языковых моделей и открытых моделей, которые приобретают все большую популярность для корпоративных решений. Эти модели позволяют компаниям создавать собственные ИИ-инструменты, адаптированные под свои нужды, с возможностью полного контроля над данными.
Особенно интересны, считают специалисты, локальные большие языковые модели и открытые решения, которые позволяют компаниям создавать собственные ИИ-инструменты с полным контролем над данными. Но именно контроль — ключевой аспект: важно предотвращать утечки конфиденциальной информации и исключать вредоносные элементы, считают эксперты.
Конференция показала, что будущее операционных систем — это симбиоз классических методов защиты и новых решений на базе ИИ. Внедрение новых технологий должно происходить осознанно, с соблюдением правил изоляции и контроля, а также постоянным развитием стандартов и подготовкой кадров. И только так можно обеспечить безопасность и эффективность современных систем в эпоху быстрых технологических изменений.
