[삼성SDS] 생성형 AI로 사이버보안을 강화하는 방법

 

https://www.samsungsds.com/kr/insights/how-to-improve-cyber-security-with-generative-ai.html

생성형 AI로 사이버보안을 강화하는 방법 | 인사이트리포트 | 삼성SDS

 

위 글을 기반으로 작성했습니다.

(원문 : https://www.itworld.co.kr/techlibrary/311876 )

 

 

챗GPT가 급부상하여 2023년에 가장 중요한 화두가 되면서 핵심 논제는 생성형 AI 챗봇과 LLM(Large Language Model)이 사이버보안에 미치는 잠재적인 영향이다. 새로운 AI 기술이 가져올 수 있는 보안 위험에 대해서 많은 논란이 있다.

 

실시간 검색과 결합된 생성형 AI는 공격자에게 매우 강력한 무기가 된다. AI 기반 검색 엔진은 전통적인 엔진보다 더 빠르고 정확할 뿐 아니라 질문과 제공하는 정보의 맥락을 모두 이해하므로 악의적으로 사용할 경우 매우 위험하다.

 

공격자가 기업 시스템에 침투해서 AI 기반 내부 검색 시스템에 액세스하게 되면 위험은 더욱 커진다. 직원이 기업의 민감 데이터를 AI와 공유한 경우에는 챗GPT 같은 툴이 공격자에게 해당 데이터에 대한 액세스 권한을 부여하게 될 가능성도 있다. 몇몇 국가와 미국의 일부 주 및 기업은 데이터 보안, 보호, 개인정보 보호를 이유로 챗GPT와 같은 생성형 AI 기술 사용을 금지하고 있다. 실제로 JP모건, 아마존, 버라이즌, 액센추어, 월마트를 포함한 많은 기업이 직원의 챗GPT 사용을 금지한 것으로 알려졌다. 생성형 AI 챗봇과 LLM으로 인해 발생하는 보안 위험은 상당히 크다. 그러나 생성형 AI는 여러 방식으로 기업의 사이버보안을 강화하고 보안팀에 꼭 필요한 사이버 범죄 활동에 대응하기 위한 강력한 힘을 제공할 수도 있다.

 

 

생성형 AI 챗봇과 LLM이 보안을 개선할 수 있는 방법은 다음과 같다.

 

 

 

 

취약점 스캔 및 필터링

 

LLM이 사이버보안에 미치는 영향을 연구한 CSA(Cloud Security Alliance)의 보고서에 따르면, 생성형 AI 모델을 사용하면 보안 취약점 스캔과 필터링 역량을 대폭 강화할 수 있다. 보고서에는 오픈AI의 코덱스(Codex) API가 C, C#, 자바, 자바스크립트와 같은 프로그래밍 언어를 위한 효과적인 취약점 스캐너임을 입증하며, 코덱스와 같은 LLM이 향후 취약점 스캐너의 표준 구성요소가 될 것으로 예상된다고 한다.

ex) 다양한 언어에서 안전하지 않은 코드 패턴을 탐지해 표시하는 스캐너를 개발하면 개발자는 잠재적 취약점에 선제적으로 대처할 수 있다. 필터링의 경우에도 생성형 AI 모델은 인간 보안 담당자가 놓칠 수 있는 위협 식별자를 설명하고 유의미한 맥락을 추가할 수 있다.

ex) 마이터 어택(MITRE ATT&CK) 프레임워크의 공격 기법 식별자 TT1059.001은 사이버보안 담당자에게 생소할 수 있으므로 간단한 설명이 필요하다. 보고서에 따르면, 챗GPT는 이런 코드를 MITRE ATT&CK 식별자로 정확히 인식하고 악성 파워셸 스크립트 사용과 관련된 특정 문제에 대한 설명을 제공할 수 있다. 혹은 파워셸의 특성과 사이버보안 공격에서의 파워셸 사용 가능성에 대해 세부적으로 설명하고 관련 사례를 제공하는 것도 가능하다.

 

 

 

 

애드온 및 PE 파일의 API 분석

 

보안업체 Deep Instinct의 사이버 인텔리전스 엔지니어링 부문 관리자인 맷 풀머

생성형 AI/LLM 기술을 사용하면 규칙을 구축하고 IDA나 기드라(Ghidra)와 같은 리버스 엔지니어링 프레임워크를 기반으로 인기 있는 애드온의 구조를 분석할 수 있다. 프롬프트를 통해 필요한 것을 구체적으로 저장하고 이를 MITRE ATT&CK 수법과 비교한 다음, 결과를 오프라인으로 가져와서 개선하고 방어에 사용할 수 있다.

 

또한 LLM은 애플리케이션의 통신에도 도움이 되며, PE(Portable Executable) 파일의 API를 분석해서 어떤 용도로 사용되는지 알려줄 수 있다. 이를 통해 보안 연구원은 PE 파일을 살펴보면서 그 안의 API 통신을 분석하는 데 소비하는 시간을 줄일 수 있다.

 

 

 

 

위협 사냥 쿼리(Threat Hunting Queries)

 

CSA에 따르면, 보안 방어자는 챗GPT 및 기타 LLM을 활용해서 위협 사냥 쿼리를 생성함으로써 효율성을 높이고 대응 시간을 단축할 수 있다. 챗GPT는 야라(Yara)와 같은 맬웨어 연구 및 탐지 툴을 위한 쿼리를 생성해 방어자가 잠재적인 위협을 신속하게 식별 및 완화하도록 돕는다. 끊임없이 진화하는 위협 환경에서 견고한 보안 태세를 유지하는 데 매우 유용하다. 특정 요구사항, 기업이 탐지 또는 모니터링하고자 하는 특정 위협을 기반으로 규칙을 맞춤 설정할 수도 있다.

 

 

 

 

공급망 보안 개선

 

ex) 보안업체 시큐리티스코어카드(SecurityScorecard)는 지난 4월 오픈AI의 GPT-4 시스템과 자연어 검색을 통합한 새로운 보안 등급 플랫폼을 출시했는데, 회사 측에 따르면 고객은 업체 세부정보를 포함한 비즈니스 생태계에 대해 개방형 질문을 하고 답변을 검토해 위험 관리 의사 결정을 내릴 수 있다. 예를 들어 "평가가 가장 낮은 10개 업체" 또는 "핵심 업체 중 작년에 침해된 곳"이라고 질문하는 것이다. 시큐리티스코어카드는 새로운 플랫폼이 신속한 위험 관리 의사 결정에 도움이 될 것이라고 주장했다.

 

 

 

 

공격에서 생성형 AI 텍스트 감지

 

LLM은 텍스트를 생성할 뿐 아니라 AI로 생성된 텍스트를 감지하고 워터마킹하는 기능도 갖추고 있다. CSA는 이런 기능이 이메일 보호 소프트웨어의 보편적인 기능이 될 것으로 전망했다. 공격에서 AI로 생성된 텍스트를 식별하면 피싱 이메일과 다형성(polymorphic) 코드 감지에 도움이 된다. 또한 LLM은 일상적이지 않은 이메일 주소 발신자와 해당 도메인을 손쉽게 감지할 수 있고 텍스트에 포함된 링크가 알려진 악성 웹사이트로 연결되는지도 확인할 수 있다.

 

 

 

 

보안 코드 생성 및 전송

 

LLM은 보안 코드를 생성하고 전송하는 용도로 모두 사용할 수 있다. CSA는 보고서에서 여러 직원을 표적으로 해서 자격 증명 유출을 시도한 성공적인 피싱 캠페인을 예로 들었다. 해당 사례에서는 피싱 이메일을 연 직원까지는 확인됐지만, 자격 증명을 훔치도록 설계된 악성 코드를 실행한 사람은 누구인지 알아내지 못했다. 보고서에 따르면, 마이크로소프트 365 디펜더 고급 헌팅 쿼리(Advanced Hunting Queries)를 활용하면 알려진 악성 이메일이 수신된 시점에서 30분 이내에 이메일 수신자가 수행한 10번의 가장 최근 로그온 이벤트를 찾을 수 있다. 침해된 자격 증명과 관련될 수 있는 의심스러운 로그인 활동을 식별하는 데 도움이 된다. 이런 사례에서 챗GPT는 침해된 이메일 계정의 로그인 시도를 확인하기 위한 마이크로소프트 365 디펜더 헌팅 쿼리를 제공할 수 있다. 시스템에서 공격자를 차단하고 비밀번호 변경 필요성을 파악하는 데 효과적이다. 사이버 사고 대응 중 조치 시간을 단축하는 좋은 사용 사례이다. 시스템이 KQL 프로그래밍 언어와 호환되지 않을 때는 프로그래밍 언어 스타일을 변환할 수 있다. CSA는 해당 예제는 챗GPT의 기반 코덱스 모델이 소스 코드 예제를 가져와 다른 프로그래밍 언어로 예제를 생성할 수 있음을 보여주고, 제공되는 답변에 주요 세부 정보와 새로 생성하는 작업에 사용된 방법론을 추가함으로써 최종 사용자의 업무 프로세스를 간소화한다고 했다.

 

 

 

 

가장 중요한 선결 과제는 '안전한 사용 환경'

 

AI와 LLM은 위험 관점에서 양날의 검이다.

 

기가몬(Gigamon) CSO 차임 마잘

제품을 안전하게 사용하도록 보장하는 것이 리더가 해야 할 중요한 일이며, 보안 및 법률팀이 협력해 지적 재산이나 보안 침해없이 기술을 활용하는 최선의 방법을 찾아야 한다. 생성형 AI/LLM은 전반적으로 보안 문제를 더 빠르고 효율적으로 해결하기 위해 이해관계자를 참여시키는 수단이 될 수 있다. 리더는 목표 달성을 위한 툴 활용법을 알리는 동시에 툴이 가진 잠재적인 위협에 대해서도 교육을 실시해야 한다.

 

생성형 AI는 오래된 구조적 데이터를 기반으로 하므로 보안 및 방어를 평가할 때만 출발점으로 삼는 것이 현명하다.

 

 

Deep Instinct의 풀머

앞서 언급한 이점을 위해 생성형 AI를 사용하는 경우 사람이 결과물을 정당화해야 한다. 결과물을 오프라인으로 가져와서 더 정확하고 실용적으로 보강해야 한다.

 

생성형 AI 챗봇/LLM이 궁극적으로 보안과 방어를 강화하는 역할을 하겠지만, 사이버보안 태세에 도움이 되도록 활용하는 핵심은 결국 내부 커뮤니케이션과 대응이다.

 

 

토비 AI(Tovie AI)의 AI 기술 부문 책임자이자 CEO인 조슈아 카이저

AI 기반 챗봇을 정기적으로 업데이트하고 LLM의 올바른 동작을 감독하는 인력을 마련하고 정기적인 테스트와 평가를 통해 잠재적인 약점이나 취약성을 파악하면 위협에 효과적으로 대처할 수 있을 것이다.

 

 

 

 

마치며

이번 기술스터디를 통해 생성형 AI와 사이버보안에 대해 다시 한번 생각하게 되었다. 앞으로 공격자들이 생성형 AI를 통해 공격하게 될 때 만약 기업에서 생성형 AI 이용없이 방어한다면 지금까지보다 훨씬 더 큰 위험 및 피해가 발생할 것이다. 하지만 오히려 생성형 AI로 인해 기업에 지적 재산이나 보안 침해사고가 일어나거나 잠재적인 위협이 있을 수도 있다. 따라서 기업에서는 위와 같은 방법들처럼 생성형 AI를 이용하여 사이버보안을 강화하되, 꼭 안전하게 사용하는 최선의 방법을 고안하여 적용하는 것이 중요할 것 같다.