ASD, AI 프롬프트 인젝션 내부 해결 불가 밝혀

iTnews 번역 · 원문 보기
호주신호국(ASD)은 에이전틱 AI의 프롬프트 인젝션이 모델 내부에서 해결할 수 없는 구조적 보안 약점임을 지적했다. 따라서 완화 조치는 모델을 감싸는 소프트웨어 계층에서 이루어져야 하며, ASD는 최소 권한 접근, 고위험 행동에 대한 인간 승인, 출력 검증 및 로깅 등을 권고했다.
Original ASD says prompt injection in AI cannot be fixed 호주신호국(ASD)은 기업에 대한 새로운 지침에서 에이전틱 AI의 근본적인 보안 약점인 프롬프트 인젝션은 모델 내부에서 해결할 수 없으며, 완화 조치는 모델을 감싸는 소프트웨어 계층에서 이뤄져야 한다고 밝혔다. 모델이 컨텍스트를 명령으로 해석할 수밖에 없는 구조적 문제 때문에 '완전히 신뢰할 수 있는 기술적 완화책은 현재 존재하지 않는다'고 ASD는 명시했다. 지침은 최소 권한 접근, 고위험 행동에 대한 인간 승인, 사용 전 출력 검증, 프롬프트 및 도구 호출 로깅 등을 권고하며, 이사회 이사 대상 7가지 질문도 함께 제시했다.