[OWASP] OWASP Top 10 for LLM

웹 취약점으로 알게된 owasp에서 LLM(Large Language Model)에 대한 security risk를 분석한 내용에 대해 알아보자

 

• 프롬프트 삽입(Prompt Injection): 공격자가 정상적인 프롬프트에 추가적으로 덧붙이는 공격
  • direct 프롬프트: 사용자가 입력창에 입력하는 프롬프트 
  • in-direct 프롬프트: 사용자가 입력하지 않은 시스템 내장 프롬프트
  • ai 모델이 지침을 무시하거나 의도하지 않은 악업을 수행하도록 만든다
  • 방어: 컨텐츠 검토 및 보호 기능 탑재 / 입력 검증 기능 필요
  • web proxy, dlp
• 안전하지 않은 출력 핸들링(Insecure Output Handling)
  • 불충분한 유효성 검사, 안전 처리로 llm에서 생성된 출력이 다른 구성 요소 및 시스템으로 의도치 않게 전달될 수 있음(데이터 유출, 권한 상승, rce)
  • 예) 사용자 입력에 대한 답을 xss가 들어간 script로 나올 수 있음
  • 방어: 출력 유효성 검사 및 검토 / 교육 및 인식 제고 프로그램 / 사용 가이드라인
• 훈련데이터 오염(Training Data Poisoning)
  • 중독 공격이라고도 부르며 pre training data, fine-tuning, embedding 프로세스와 관련된 데이터를 조작해 데이터 셋을 손상시키고 취약성을 유발하는 공격
  • 모델 효율성 저하, 모델의 행동 패턴 변화, 오염된 정보로 연관된 사용자에 영향 미침, 모델에 대한 신뢰성/평판이 저하됨
  • 방어: 접근 제어(최소 권한 부여) / 데이터 거버넌스(원본 데이터의 데이터 정확성 및 무결성 검증) / iam으로 제어한다던가 … s3 버킷 정책을 고도화하던지..
• 모델 서비스 거부(Model Denial of Service)
  • ddos랑 비슷하게 llm 리소스를 많이 사용하는 작업을 수행해 서비스 성능 저하, 높은 비용 발생
  • 성능 저하, 모델 효율성 저하, 자원 사용률 증가
  • 방어: 과도한 api 호출 제한 기능 탑재 / ddos 방어 기능 적용 / aws waf, aws shield advanced
• 공급망 취약점(Supply Chain Vulnerabilities)
  • 타사 데이터 셋, 사전 학습 모델, 플러그인 등에서 발생하는 취약점
  • 방어: 취약점 관리, 공급망 및 위험 관리 / aws inpector / sbom 관리
• 민감 정보 노출데이터(Sensitive Information Disclosure)
  • 외부 데이터 소스, 모델 내 데이터, 플러그인에서 에이전트로 제공하는 답변 중 민감정보가 포함될 수 있음
  • 유출, 개인정보보호 및 규정 위반, 브랜드 이미지 저하
  • 방어: 접근 제어(최소 권한) / 모델 학습 중 민감한 정보 사용 금지 / aws macie, guardrails for amazon bedrock
• 안전하지 않은 플러그인 디자인(Insecure Plugin Design)
  • 플러그인 및 도구 내에서 부적절한 접근 제어와 입력 검증이 원인
  • 데이터 유출, 권한 상승, rce
  • 방어: 안전한 앱 설계, 취약점 관리 / aws inspector
• 과도한 권한(Excessive Agency)
  • 에이전트가 과도하게 권한을 가져 llm이 의도한 범위를 벗어나는 결정을 내림. 에이전트가 학습의 결과에 과도하게 관여함
  • 데이터 유출, 인프라 및 자원에 대한 미인가 접근
  • 방어: 접근 제어(최소 권한), 정기접인 접근 검토 / iam
• 과도한 의존(Overreliance)
  • llm에서 제작한 콘턴츠에 따라 적절한 감독 없이 사실이 아닌 부정확한 내용, 안전하지 않은 정보가 제공되는데도 무조건 그 결과를 신뢰하는 경우
  • 법적인 문제, 잘못된 정보 제공, 평판 저하, 보안 취약점
  • 방어: 교육 및 인식 제고, 공급업체 및 리스크 관리, 조직 및 정책을 통한 통제
• 모델 탈취(Model Theft)
  • llm 모델에 대한 무단 액세스, 복사 또는 유출 / 경제적 손실, 경쟁 우위 훼손, 민감한 정보에 대한 잠재적 접근 등 포함됨
  • 그냥 모델 파일 들고 튀는거임방어: 접근 제어(최소 권한), 모델 암호화 / iam, kms
  • 지적재산권 유출, 경쟁력 저하, 모델 및 모델에 포함된 데이터에 대한 미인가 접근