Study/NLP1 LLM 탈옥(Jailbreaking)이란? 1. LLM 탈옥(Jailbreaking)이란?LLM(대규모 언어 모델)의 제약을 우회하는 방법개발자가 설정한 보안 정책, 윤리적 제한, 콘텐츠 필터링을 무력화하는 과정AI의 응답을 제한하는 제어(Control Mechanism)를 피하고, 원래 허용되지 않은 출력을 유도하는 기법생성형 AI 기술의 발전으로 AI 시스템의 안전성과 윤리적 책임이 중요해짐 2. AI Red Team이란?군사 전략에서 유래된 개념으로, AI 보안 테스트 및 취약점 탐색을 수행하는 역할AI 시스템의 공정성, 보안, 신뢰성을 점검하는 전문가 그룹다음과 같은 보안 위협을 탐지하고 방어 전략을 수립함Prompt Injection: 특정 입력을 통해 AI 모델을 조작하는 기법Poisoning: AI 학습 데이터에 악성 데이터를 주입하.. 2024. 12. 20. 이전 1 다음
