한빛출판네트워크

요즘은 정보화 시대의 시선으로 볼 때 유례없는 시국이다. 미국 경제의 대부분이 중단될 기미를 보이고 있고, 우리의 데이터와 사생활에 대한 사회적 규범들은 세계 방방곡곡 뿌려지고 있다. 게다가 코로나 바이러스에 대한 백신이나 효과적인 치료법이 개발될 때까지 많은 것들의 변화가 있을 것이다. 그리고 이 변화는 인공 지능(Artificial Intelligence, AI) 시스템에 엄청난 피해를 줄 수도 있다. “Garbage in, garbage out(GIGO, 쓰레기가 들어가면 쓰레기가 나온다)”는 말은 2020년에도 그대로 계속 우리와 함께 하고 있다. 가장 흔한 유형의 AI 시스템은 여전히 뛰어나봤자 우리의 훈련 데이터만하다. 현재 우리의 상황을 비춰볼 만한 역사 속 자료가 없다면 AI 시스템이 흔들릴 수 있다고 볼 수 밖에 없다. 

 

현재까지 각종 공공 및 리서치 데이터베이스에는 최소 1,200건의 AI 사건 사고가 접수됐다. 그 말은 즉 지금이야말로 AI 사태 대응 방법 및 AI 관련 기관에서 AI 시스템의 문제가 발생했을 때 어떻게 바로 대응할지 계획을 세워야하는 단계라는 얘기다. 사건 대응책은 기존 사이버 보안 세계에서 발달이 잘 되어있지만 AI 세계에서는 제대로 본 적이 없다. AI 시스템에서 사건이란 무엇인가? 언제 AI가 기관이 대응해야만 하는 책임을 만들어 내는가? 사이버 보안 관련 사건 변호사와 데이터 과학자로서의 경험, AI 위험을 관리할 수 있는 법적 프레임워크 구축, 그리고 위험 완화를 위한 정교하고 해석 가능한 모델 구축 등을 바탕으로 위 질문에 대해 답해주려고 한다. 이 글의 주 목적은 언제 AI가 AI를 사용하는 기관에게 책임감을 야기하고 그 이유는 무엇인지, 그리고 AI가 중대한 문제를 일으켰을 때 기관들이 어떻게 대응해야 하는가에 대한 설명이다.

 

AI가 다른 이유

AI 사건 대응책에 구체적으로 들어가기 전에 먼저 다음과 같은 질문을 던져보는 게 좋다. AI가 전통적인 소프트웨어 시스템과 다른 점은 무엇일까? 그렇다면 AI 세계에서 사건 대응책도 다르게 생각해야할까? 이에 대한 답은 크게 3가지 요소로 정리할 수 있다. 이는 다른 대형 소프트웨어 시스템에도 역시 해당될 수 있지만, AI의 경우 특히 더 안좋게 악화되는 것이다. 3가지 요소는 시간에 따라 AI의 기능이 저하되는 경향, AI의 엄청난 복잡성(complexity) 그리고 통계와 머신 러닝(Machine Learning, ML)의 확률론적인 성격이다.

 

대부분의 AI 모델은 시간이 경과함에 따라 기능이 저하된다

모델 디케이(model decay)라 알려진 이 현상은 새로운 데이터 패턴이 훈련 데이터에서 학습된 패턴에서 벗어나면서 시간이 지날수록 AI 시스템 결과의 품질이 저하되는 것을 말한다. 이는 기본 코드가 AI 시스템에 완벽히 유지되어있어도 아웃풋의 정확성이 떨어진다는 것이다. 결과적으로 AI 사건 발생 확률이 시간에 따라 높아지는 경우가 많다[1]. 그리고 당연히 모델 디케이의 위험성은 급격한 변화의 시기에 더 악화될 수 밖에 없다.

 

[1] 적응형 학습의 하위 단계는 스스로 업데이트해주는 시스템으로 이 문제를 해결하게 한다. 그러나 Microsoft사의 악명 높은 Tay 챗봇이 보여줬듯이 이런 시스템은 모델 디케이보다 더 큰 위험을 초래할 수 있다.

 

AI 시스템은 기존 소프트웨어보다 더 복잡하다

대부분의 AI 시스템의 복잡성은 기존 소프트웨어 시스템에 비하면 기하급수적인 레벨이다. Bruce Schneier의 말에 따라 “보안의 주적은 복잡성”이라면,  AI는 본질적으로 불안정한 측면이 많다. AI 사건의 맥락으로 보면, AI의 복잡성은 감사(audits)와 디버깅(debugging)에 더불어 심지어 무엇이 잘못됐는지 이해하는 것 조차 불가능하게 만들 수 있는 문제가 있다[2].

 

[2] ML(머신 러닝, Machine Learning) 연구의 새로운 분야는 많은 ML 알고리즘에 의해 발생하는 복잡성에 대해 해결책을 내놨다. 그러나 많은 기관들은 여전히 ML과 AI 기술을 채택하는 초기 단계에 있으며, 해석가능한 ML과 설명가능한 AI의 최근 진척에 대해서 모르는 것 같다. 예시로 텐서플로(Tensorflow)는 Github에서 14만 개 이상의 ‘별(star, ‘좋아요’와 같다)을 받은 반면 DeepExplain에서는 400개를 받았다.

 

통계이기 때문

마지막은 본질적으로 확률론적인 ML의 성격이다. 모든 예측가능한 모델도 때때로 틀린다. 그냥 사람보다는 조금 덜 틀리겠지 싶은 거다. 저명한 통계학자 George Box는 “모든 모델은 틀리다. 하지만 그 중 몇은 유용하다.”라고 잘라 말한 적이 있다. 하지만 잘못된 결과가 종종 버그로 처리되는 기존의 소프트웨어와 달리 ML에서는 잘못된 결과가 이러한 시스템의 예상되는 기능이다. 이는 기관들이 ML 시스템이 크고 작게 실패할 것에 대한 대비를 항상 하고 있어야 한다는 의미다. 그렇지 않으면 사건이 벌어지고 나서 손댈 수 없는 상황에 빠지게 될 터다.

 

종합하면 AI는 리스크가 높은 기술이다. 요즘은 거의 항공 산업이나 원자력 발전과도 맞먹을 것이다. 핵심적인 이득을 주면서도 외부 공격자(attacker)와 상관없이 사고를 일으킬 가능성이 있다.

 

“AI 사건” 정의

보통 소프트웨어 프로그래밍에서 사건은 어느 정도 공격자의 형태가 필요하다. 

 

AI 사건을 악성 공격과 실패로 나누는 기본 분류법. 실패는 사고, 부주의 또는 예측 불가능한 외부 상황에 의해 야기될 수 있다.

 

하지만 AI 시스템의 사건은 다르다. AI 사건은 의도와 상관없이 해를 끼칠 가능성이 있는 모델의 그 어떤 모습도 고려대상이다. 여기에는 모델을 조작하거나 모델에 인코딩된 데이터를 훔치려는 외부 공격자와  같은 잠재적인 개인 정보 보호 및 보안 위반이 포함된다. 하지만 이와 더불어 부정확한 예측을 포함하고 있는데, 만일 이 예측이 아무런 설명없이 내버려두게 되면 엄청난 피해를 입힐 수 있다. 한마디로 AI 사건은 외부 공격자가 필요 없다는 얘기다. AI 시스템 실패의 가능성은 AI 자체로 높은 리스크를 초래한다. 특히 올바른 모니터링이 없을 때는 더 심하다[3].

 

[3] 이 프레임워크는 AI 연구진들이 최근 AI 사고를 정의한 방식과도 확연히 맞아떨어진다. 이는 ‘해를 유발하거나 유발할 수 있는 AI 시스템에 의한 원치 않거나 예상치 못한 행동의 사례’라고 정리되있다.

 

이 프레임워크는 확실히 광범위하다. 이는 모니터링되지 않은 AI 시스템이 실제로 사고를 내는 방식과 연관되어 있다[4]. 그래도 유용하기엔 너무 광범위할까? 오히려 정반대다. 기관이 끊임없이 변화하는 환경에 구축된 점점 더 복잡한 소프트웨어 시스템(AI 관련, 비관련 모두)에 의존하는 상황에서 보안에 힘써봤자 모든 사고 발생을 철저히 막을 수는 없다. 대신 기관들은 사건이 발생할 여지가 있다는 것을 인정해야한다. 한두 건의 사건이 아닌 여러 개의 사건일 수도 있겠지만 말이다. 결론적으로 이는 사건이라고 지칭할 수 있는 모든 일은 기관의 대응하는 방법에 못지않게 중요하다는 것을 의미한다. 

 

[4] AI 책임에 대한 최근 논문에서 연구원들은 “복잡한 시스템은 지속적인 경계를 유지하지 않는 한 안전하지 않은 상태로 가는 경향이 있다”고 지적했다. 복잡한 시스템에서 중요한 것은 각 사건의 아주 작은 확률들의 총합이다. 만약 이 확률이 아무런 방지턱 없이 계속 늘어난다면 재앙의 확률은 1이 되는 것이다.

 

따라서 AI가 어디서 해를 일으키는지, 그리고 실제 사건이 발생했을 때를 파악하는 것은 겨우 첫 단계일 뿐이다. 다음 단계는 대응 시기와 방법을 결정하는 것이다. 여기서 ‘준비성’과 ‘중요성(materiality)’, 이 두 주요 요소를 고려하는 것이 중요하다고 본다.

 

준비 상태에 따른 심각도 측정

AI 사태에 언제 어떻게 대응할지 결정하는 첫 번째 요인은 준비성, 즉 사건에 따른 잠재적 피해를 기관이 사전에 얼마나 예상했고 완화해놓았는지가 관건이다.

 

AI 시스템의 경우 사건이 발생하기 전에 대비할 수 있고 심지어는 사고 대응의 핵심 단계를 구성하는 다양한 프로세스를 자동화해놓을 수도 있다. 악성 종양 식별용 의료 이미지 분류 모델을 예로 들어보자. 만약 이 모델이 위험하고 불확실한 예측을 하기 시작한다면 여기서 ‘준비성’은 완전한 완파 사고와 대처가능한 변경과의 차이를 만들어 줄 것이다.

 

일반적으로 사용자가 자기주장을 할 수 있도록 하거나 운영자가 의심가는 모델 행동에 대해 이의를 제기할 수 있도록 하면(프로그램을 모니터링하고 감시해주는 엄격한 모델을 포함하여), 기관들이 잠재적 유해한 행동을 거의 실시간으로 인식하게 도와준다. 만약 모델이 종양 식별에 대해 거짓음성반응(false negative)을 보인다면 기관들은 자동화된 이미징 결과물을 방사선 전문의의 리뷰나 혈액 검사를 참고해 잠재적인 불확실한 예측을 검출해내는 작업과 연결시켜놓을 수도 있다. 이로써 인간과 기계의 노력을 합친 정확도가 훨씬 더 개선될 수 있을 것이다[5].

 

[5] 이 가상의 예는 매우 유사한 현실 세계의 문제에서 영감을 받은 것이다. 연구원들은 최근 특정 종양 모델에 대해 “전반적인 성능은 높을 수 있지만 아주 희귀하지만 매우 심각한 암 하위유형(cancer subtype)을 끊임없이 놓치고 있다”고 토로했다.

 

즉 얼마나 잘 준비되어 있는지는 사건의 심각성, 대응해야 할 속도, 기관이 대응하는데 쏟아야 할 자원을 결정하는 데 도움이 될 수 있다. 그 어떠한 사태에 따른 피해도 예상하고 있었고 그 여파를 최소화 해놓은 조직은 최소의 대응 작업만 수행해내면 된다. 그러나 허를 찔린 기관은 무엇이 잘못 되었는지, 어떤 여파가 있을 것인지에 대해 알아내려고 많은 자원을 투입해야 하며, 그 후에야 복구 작업에 들어갈 수 있는 것이다.

 

위협이 얼마나 중요성이 있는가?

중요성(materiality)은 리스크 경영(Risk Management) 모델 세계에서 널리 사용되는 개념으로 금융기관이 배치한 모델을 문서화, 테스트하고 감시하는 방식을 규제하는 꼭 필요한 분야다. 일반적으로 중요성은 모델 오류의 여파와 그 오류가 생길 확률의 곱으로 정리된다. 중요성은 피해의 규모와 피해가 발생할 가능성과 모두 관련이 있다. 만약 가상의 이미지 분류 모델이 악성 종양을 식별하지 못할 확률이 높고, 이 여파로 인해 질병을 잘못 진단하거나 환자의 생명까지 잃게 만든다면, 이 모델의 중요성은 높을 것이다. 하지만 이 모델이 질병을 진단해주는 수많은 기구 중 하나로 사용되어 전에 계산된 여파가 줄어든다면, 중요성은 낮아지는 것이다.

 

데이터 민감도(data sensitivity) 또한 모든 사건의 중요성에 도움되는 척도가 될 수 있다. 데이터 프라이버시를 생각해보면, 소비자금융 또는 건강, 인종, 성적 성향 또는 성별과 관련된 민감한 데이터는 높은 리스크를 안고 가야하기 때문에 책임과 피해에 대한 잠재 가능성이 더 높을 수 밖에 없다. 높은 중요성에 대한 추가적인 현실적 고려사항에는 건강, 안전과 제3자에 대한 위협, 법적 책임 및 명예 훼손 또한 포함될 것이다.

 

그래서 AI 프로젝트에 합법적이고 규정 준수를 하는 인력을 동원시키는 것을 서둘러야한다. 아마 많은 사람들은 익숙지 않을 것같지만 말이다. 

 

다 재밌다. 법정에 서기 전까지는

왜 항상 AI에는 변호사들이 따라다닐까? 가장 분명한 이유는 AI 사건이 심각한 법적 책임을 낳을 수 있고, 책임은 항상 본질적으로 법적인 문제라는 것이다. 모든 데이터가 새로운 리스크를 발생시킨다는 이른바 AI 투명성의 역설(AI transparency paradox)은 변호사와 법적 특권이 데이터 과학에서 왜 그토록 중요한지에 대한 답을 해준다. 또한 법적 특권이 이미 전통적인 사건 세계 속에서 핵심적인 요소로 자리잡고 있는 이유를 설명해준다. 게다가 기존 존재하는 법률에서는 AI 사건이 위배할 만한 기준을 제시해준다. 매 사건마다 법적으로 어떤 영향을 미칠 지에 대해 모른다면, 기관들은 소송에서 규제 벌금, 또 사건 발생 후 보험 승인 취소에 이르기까지 나락으로 떨어지는 것이다. 

 

미국 연방 통상 위원회(the Federal Trade Commission, 이하 FTC)의 합리적인 보안 기준을 예시로 보자. 이는 FTC가 위반과 공격의 여파로 기업에 책임을 할당해주는 기준이다. 이 기준을 충족하지 못하는 기업은 사건 발생 후 수억 달러의 궁지에 몰리게 된다. 심지어 올해 5월초 FTC는 앞으로 시행될 집행조치를 언급하며 AI의 구체적인 가이드라인을 출간했다. 추가적으로 특정 유형의 프라이버시 및 보안 문제가 생겼을 시 운영자나 소비자에게 보고하는 것을 의무화하도록 주 및 연방 모든 곳에서 위반 보고법률이 다수 존재한다. 위 요건에 위반할 경우 벌금은 천문학적으로 나올 수 있으며, 또 프라이버시와 보안 관련된 몇몇 AI 사건은 이 요건을 유발할 수 있다.

 

책에 존재하는 법만 해도 이정도다. 주, 연방, 국제적인 차원에서 새롭게 통과된 다양한 법률은 AI를 대놓고 겨냥하고 있어 시간이 지날수록 법규 준수에 대한 리스크가 커질 것으로 보인다. 예컨대 작년에는 알고리즘 책임법(Algorithmic Accountability Act)이 상하 양원에 AI 관련 규제 감독을 강화하는 방안으로 새로 도입되었다. 이렇게 많은 새로운 법률이 제정되고 있다[6]. 

 

[6] 최소 캐나다, 독일, 네덜란드, 싱가포르, 영국, 미국(백악관, 국방부, 식품의약국)의 정부에서 AI 특화 지침을 제정하거나 제안했다.

 

첫 걸음

그렇다면 기관들이 AI에 대한 리스크에 대비하기 위해 할 수 있는 일은 무엇일까? 또 어떻게 AI 사건 관리 계획을 할 것인가? 기관들의 규모, 부문 및 쌓아왔던 AI 관리 프로그램의 완성도에 따라 답변은 다를 것이다. 그래도 몇 가지 일반적인 요점들은 AI 사건 대응의 출발점이 되줄 것이다.

 

대응은 계획하는 것으로 시작된다

사고 대응은 계획 수립이 필요하다. 사건 발생 시 누가 대응할 것이고 사업부 및 경영진과 어떻게 의사소통할 것인지, 무엇을 하는지 등 많은 것들이 있다. 명확한 계획이 마련되지 않았다면 기관들이 AI가 발생시킬 수 있는 모든 피해를 억제하기는커녕 식별해내는 것조차 매우 어려워진다.  이는 우선 AI 사태에 대응할 수 있는 인력을 파악하고 사건 발생 시 대처법의 틀을 잡아주는 명확한 계획을 세워야한다는 뜻이다. 이러한 유형의 계획을 입안하는 데에 복잡한 노력이 필요할테지만 사실 현존하는 다양한 툴과 프레임워크가 있다. 특별히 AI의 리스크에 맞춘 내용은 아니지만 NIST(미국표준기술연구소)의 <Computer Security Incident Handling Guide>가 좋은 출발점이 될 것이다.

 

계획을 세우는 것 외에도 기관은 실제로 사고가 발생하여 완화시켜야 되기 전까지 가만히 있을 순 없다. 실제로 어떤 사건이 발생하기 훨씬 전에 할 수있는 최고의 작업들이 있다. 기관들은 다른 최선의 작업 중 다음과 같은 작업을 해야한다.

 

모든 AI 시스템 인벤토리 최신화 유지: 이를 통해 기관들은 잠재적인 사건이 어디에 발생 될지에 대한 기준선을 그려볼 수 있다.

 

모든 AI 시스템의 비정상적인 동작 모니터링: 올바른 모니터링은 사고 감지 및 대응의 후기 단계동안 완벽한 복구를 하는데 중심이 된다.

 

AI전용 예방 보안 조치에 더 노력: red-teaming이나 신고 보상 프로그램과 같은 노력은 완파된 사고가 발생하기 훨씬 전에 잠재적인 문제들을 식별하는데 도움을 줄 수 있다.

 

모든 AI와 ML(머신 러닝, machine learning) 시스템의 철저한 문서화: 관련 기술적 정보와 인적 사항들과 함께 기록 문서는 시스템이 꺼졌을 때의 비즈니스적 여파와 시스템에 대한 정상적인 작동을 생각하며 포함시켜야한다.

 

투명성이 최고다

이런 최선의 대책들을 넘어 AI 해석능력을 강조하는 것도 중요하다. 정확하고 신뢰성있는 모델을 만드는 것과 AI 사건에 성공적으로 대응해주는 기능 모두 말이다. 사건 대응에 대한 관점으로 투명성은 사건 대응하는 모든 단계에서 핵심적인 요인이다. 예를 들어서 만약 모델이 결정을 내리는 방법에 대해 이해를 못하고 있다면 문제를 제대로 파악하지못할 것이다. 물론 AI의 내부 작업에 대한 통찰력 없이 오류를 방지하거나 교정할 수 없다. GA2M과 같은 본질적으로 해석가능하고 정확한 모델부터 블랙박스 모델의 포스트혹 설명(post-hoc explanation, 먼저 있었던 사건을 이유로 드는 설명)까지 투명성의 우선 순위를 정하고 해석능력에 대한 우려를 대처하기 위해 기관들이 사용하는 다양한 방법이 있다.

 

초기 AI 보안 노력에 참여

신뢰성 있는 AI를 위한 광범위한 노력도 전세계적으로 진행되고 있으며 기관들은 각 AI 사고 대응법을 이 대형 프로그램에 다양하게 공유할 수 있다. 예를 들어, 한 국제 연구 그룹은 집단방위을 개선하기 위해 AI 사건을 보도하는 방법을 포함한 일련의 가이드라인을 발표했다. 잠재적인 책임과 장벽이 높아 이러한 유형의 공개적인 보고가 어려울 수 있지만, 가능한 기관들은 보다 광범위한 AI 보안의 공을 쌓기 위해 AI 사건 보고를 힘써야한다. 정보보안 취약점 표준 코드(Common Vulnerabilities and Exposures, CVE) 데이터베이스가 전통적인 정보 보안 세계의 중심이 되는 것처럼, 공동의 정보 공유는 AI의 안전한 채택에 매우 중요하다.

 

오늘의 교훈 : 늦기 전에 해라

한때 “기술 부채의 고금리 카드”로 불렸던 AI는 흥미진진한 새로운 기회를 안고 있는 반면에, 정확성, 프라이버시, 보안, 그리고 공정성의 전통적인 개념에 도전하는 리스크를 또한 안고 있었다. 준비성이 뛰어난 기관들은 이 리스크가 결국 사건으로 터졌을 때 잘 대응해낼 것이고 이 기술로부터 더 많은 가치를 이끌어낼 수 있을 것이다.

 

*****

원문: What to Do When AI Fails

번역: 김정욱