[CIO Korea] 칼럼 | 생성형 AI 도입이 IT리더에게 고민거리인 이유

---

칼럼 | 생성형 AI 도입이 IT리더에게 고민거리인 이유 - CIO Korea

칼럼 | 생성형 AI 도입이 IT리더에게 고민거리인 이유

위 글을 기반으로 작성했습니다.

 

 

AI에 관심이 있는데, 지난 10년 동안 가장 중요한 기술로 빼놓을 수 없는 생성형 AI를 주제로 한 칼럼을 찾아보았다.

생성형 AI가 화두가 되고 있는데, 이로 인해 엔터프라이즈 데이터 플랫폼에게 새로운 과제가 생겨났다.

 

ⓒ Getty Images Bank

 

 

생성형 AI에 대해 많은 CIO들이 하고 있는 고민

최대한 신속하고 안전하게 직원들을 '가장 중요해질 수 있는 기술'로 무장시킬 최선의 방법

 

생성형 AI 챗봇은 노코드(No-code) 콘텐츠 생성 기능을 갖추고 있다.

예를 들어, 어느 직원이든 단 몇 초 만에 예산안, 고객 제안서, 광고 CM 송, 프레젠테이션 작품 등을 만들어내도록 돕는 것이다. 상황에 맞게 C++, 파이썬 등의 프로그래밍 언어로 코드를 생성하는 기능도 탑재되고 있다.

 

 

생성형 AI 도입이 미치는 영향

1. CIO가 조직이 경쟁 업체를 앞서도록 지원 가능 (획기적인 운영 개선 및 마케팅 과정 간소화, 고객 서비스 강화)
2. 생성형 AI 통합 계획을 세우지 않을 경우, 2~5년 후에는 뒤처지게 될 수 있다는 것이 현실 (제품 & 솔루션 선택의 제한, 느리고 낮은 성과의 콜센터 운영 등)

 

조직들이 생성형 AI를 훨씬 더 빠르고 저렴하게 구현하는 방법

1. 자체 데이터로 오픈 AI의 GPT 4.0, 메타의 라마(LLaMA), 구글의 람다(LaMDA) 또는 아마존 타이탄(Titan) 시리즈 같은 서드파티 모델을 미세 조정하는 방법
2. 엔터프라이즈 데이터 플랫폼이 서비스 접근성과 가치를 높이기 위해 생성형 AI를 프론트엔드에 추가하는 방법

→ 공개된 생성형 AI 챗봇(챗GPT, 구글 바드(Bard), 마이크로소프트 빙(Bing) 등등)보다 더 나은 정밀도, 프라이버시, 보안을 제공한다.

 

기업이 할 수 있는 일과 이에 대한 위험 수준은 자체 엔터프라이즈 데이터 플랫폼의 상태에 달려있다.

 

클라우데라의 CTO 램 벤카테시

데이터 플랫폼은 파운데이션 모델의 토대이다. 조직에서 더 많은 사람이 데이터를 잘 활용할 수 있는 플랫폼이 갖춰지지 않았다면 생성형 AI에 대한 준비가 되지 않은 것이다.

 

외부에서 구축된 생성 엔진에 회사의 데이터를 넘길 때 수많은 위험 요소가 발생할 수 있다.

많은 CIO들이 이를 파악하면서, 최근 거버넌스가 우선 순위 최상단에 오르고 있다.

 

조직들 대부분이 생성형 AI 모델을 지원 역할로만 제한해서 잠재적인 피해 가능성을 차단하고 있다.

즉, 대부분의 모델이 의사 결정 권한을 갖지 못한 상태다.

 

 

AI가 어떻게 도울 수 있을까?

기업 측면에서 생성형 AI의 가장 흥미로운 역량

비정형 데이터를 작업에 활용해 기존 머신러닝 기술로는 파악하기 어려웠던 정보를 신속하게 수집하는 능력

→ 엄청난 양의 비정형 데이터를 이해하는 데 어려움을 겪는 고객 서비스 및 지원 부서에 적합하다.

    의사결정 매트릭스가 복잡할수록 개선의 여지도 크다.

 

1. 수동으로 챗봇을 만드는 과정을 생성형 AI로 대체
2. 신속한 답변 제공 및 한번의 대화로 서비스 완료

 

1. 수동으로 챗봇을 만드는 과정을 생성형 AI로 대체

 

클리어센스의 CIO 찰스 보이시

의료분야에도 적용이 가능하다. 자사에는 생각지도 못한 질문이 들어올 때 답변을 전담하는 팀이 있었다. 모든 질문에 대한 답변을 일일이 작성했다. 대규모 언어 모델이 이러한 작업을 상당 부분 없앨 것이다. 왜냐하면 AI로부터 완벽에 가까운 답변을 얻을 수 있기 때문이다.

 

2. 신속한 답변 제공 및 한번의 대화로 서비스 완료

 

NYLIC의 전략 책임자 알렉스 쿡

고객 서비스 담당자가 복잡한 문제에 더 폭넓게 답변할 수 있도록 자체 AI 도구를 개발하고 있다. 예를 들어, 어느 고객은 회사가 더 이상 제공하지 않지만 여전히 유효한, 35년 된 보험에 대해 질문할 수 있다. 이런 질문에 답변하기는 매우 까다롭다. 해당 상품이 제공된 시기에는 태어나지도 않았던 담당자들이 많다. 지금까지는 고객을 기다리게 하거나 나중에 다시 연락하는 경우가 많았다. 이는 효율적이지도 못하고 고객에게 좋은 경험도 아니다. 생성형 AI 도구를 통해 신속한 답변을 제공하고, 한번의 대화로 서비스를 완료할 수 있도록 하는 것이 목표다.

 

 

노코드의 종착역

AI의 보급은 지금까지 로우코드·노코드 도구의 주요 화두였다.

생성형 AI가 지원되는 챗봇을 이용하면 접근이 허용된 사람이라면 인사이트를 누구나 얻을 수 있다.

즉, 데이터 과학자와 비즈니스 분석가의 영역에 더 이상 국한되지 않는다는 의미이다.

 

클라우데라의 CTO 램 벤카테시

더 많은 사람이 데이터에서 답변을 얻을 수 있다는 점만 흥미로운 것은 아니다. 어느 때보다 더 많은 데이터에 접근할 수 있다는 점도 중요하다. 더 이상 모델에게 대출과 모기지 론이 특정 맥락에서는 같은 의미로 사용될 수 있음을 가르칠 필요가 없다. LLM은 이를 스스로 인지한다. 의미론적 해석을 추출하는 비용이 18개월 전보다 아마 100배는 저렴할 것이다.

 

 

마치며

대부분의 기업들이 생성형 AI를 인간의 의사 결정과 상호작용 속도를 높이는 도구로 보고 있다.

하지만 아직 생성형 AI가 의사를 직접 결정하거나 고객들과 직접 소통하는 경우는 아직 찾지 못했다고 한다.

이에 대한 의견도 아직 분분하다.

 

규제가 완화되고 환각 문제가 크게 개선되면 애플리케이션이 적극적으로 AI를 품어갈 것이라는 의견과 이를 확신하지 않는 의견으로 나뉘어진다.

개인적으로 'AI에 선택권을 넘겨주는 데 따르는 잠재 비용이 이익보다 훨씬 크다' 라는 AWS의 기술 디렉터 샤운 난디의 의견에 동의한다. 그는 규제가 엄격한 산업에서는 AI에 대한 제대로 된 통제 장치가 마련되어야 하는데, 이를 통제할 수 있는 가장 간단한 장치는 바로 똑똑한(smart) 사람이라고 말했다.

 

생성형 AI의 도입으로 인해 얻을 수 있는 이점과 가능성이 무궁무진하다. 따라서 흐름을 따라가려면 이를 잘 활용하는 것이 중요하다고 생각한다. 그러기 위해서는 기업들이 각종 위험 요소에 대비한 생성형 AI 통합 계획을 세워 이에 맞는 자체 엔터프라이즈 데이터 플랫폼을 잘 갖추고 있어야 한다.