빅데이터와 인공지능

빅데이터 란?

빅데이터는 데이터가 너무 방대하여 기존의 방법으로 수집이나 저장 및 분석이 어려운 정형 또는 비정형 데이터를 의미한다. 위 그림과 같이 1분 동안 구글은 200만건의 검색, 유튜브는 72시간의 비디오, 트위터는 27만건의 글이 생성된다. 크기 다양성 속도 이렇게 대량으로 생성된 데이터를 가지고 빠르게 분석하여 의미있는 데이터를 만들어 내는 것이 빅데이터의 특징이다. 그래서 크기(Volume), 속도(Velocity), 다양성(Variety)을 빅데이터를 구성하는 3가지 조건이라 부른다.

4차 산업혁명의 핵심적인 기술 대부분은 임대를 하거나 구매가 가능하다. 하지만 빅데이터 만큼은 자체적인 구축이 필요하며 4차 산업혁명의 뿌리가 되는 기술이다. 어떤 데이터를 저장하여 어떻게 활용되는지 실제 사례들로 만나보자.

 

빅데이터 무엇을 수집하나?

정말 우리는 알지도 못한 채 대기업들은 이미 다양한 데이터를 수집하고 있다. 검색어는 물론, 쇼핑몰의 구매기록도, 어떤 화면에 어느 곳을 보고 있는지 조차도 수집한다.
길을 찾기 위해 구글맵을 사용하면 어디로 얼마나 걸렸는지 조차 수집하고 있을 것이다. 스마트 와치를 통해 심장박동수나 운동여부도 저장하며 페이스북의 사진이나 구글의 포토, 아이폰의 아이클라우드까지 사진내 담겨있는 정보(언제 어디서 어떤사람과 촬영했는지)들을 대기업들은 차곡 차곡 정리해서 가지고 있다. 무심코 누른 좋아요, 댓글 하나까지 모두 수집의 대상이다. 데이터는 인터넷에 국한되지 않는다. 날씨, 온도, CCTV, 금융 거래기록 등 세상에 수집할 데이터는 넘쳐난다. 즉 사람과 사물, 환경을 통해 발생되는 모든 데이터는 수집 대상이다.

어떻게 활용하나?

중요한 결정을 단순 추측만으로 일하는 시대는 이미 지나갔다. 방대한 양의 정확한 데이터를 기반
으로 광고, 국가정책수립, 의료, 부동산, 범죄예방, 유가예측, 증권, 스포츠 등 사람이 할 수 있는 모
든 일에 빅데이터는 활용이 가능하다.
기업별 활용사례를 보며 자세히 알아보자.

구글

빅데이터를 가장 잘 활용하고 있는 기업중 하나가 구글이다. 크롬, 구글맵, 유튜브, 안드로이드 등 구글의 모든 플랫폼은 사용자의 정보를 수집한다. 구글은 이미 당신이 어떤 휴대폰을 쓰는지, 성별은 무엇인지, 어디에 자주 가는지, 어떤 정치성향을 가지고 있는지, 무엇을 좋아하는지 당신에 대한 모든 것을 알고 있다. 이렇게 수집된 정보는 고객에 맞는 정교한 검색과 맞춤형 광고를 보여주어 구글에게 막대한 광고수익을 안겨주는 핵심적인 기술이다.

 

2014 FIFA 월드컵 독일의 우승

브라질에서 개최된 2014년 월드컵에서 독일이 우승을 거머쥐었다. 그 배경에는‘빅데이터’가 있는데 독일 국가대표팀은 SAP(독일의 소프트웨어 전문기업)와 함께 훈련과 실
제경기에 ‘ SAP 매치 인사이트’를 도입했다. 선수들에게 부착된 센서를 통해 운동량, 순간속도, 심박수, 슈팅동작등 다양한 데이터를 수집, 분석한 결과를 감독과 코치에게 전송
하여 데이터를 기반으로 전술을 짜게 도왔다. 상대팀의 전력, 강점, 약점 등 종합적인 데이터를 수집하여 과학적인 전략을 수립하였다. 정보 수집에 쓰이는 센서 1개가 1분에 만들어 내는 데이터의 양만 약 12000여개로 90분 경기 동안 한 선수당 약 432만개, 팀 전체는 약 4968만개의 데이터가 수집되었다.

 

올빼미 버스

한국인들이 느낄수 있는 사례로 서울시의 심야 버스인 올빼미 버스가 있다. 서울시는 공공데이터와 KT에서 제공한 심야시간 통화 기지국 위치와 청구지 주소 데이터 통계치 30억건을 분석하여 심야버스 노선을 선정하여 운영하였다. 올빼미 버스는 늦은 시각, 택시의 승차 거부로 귀가에 어려움을 겪는 많은 사람들이 이용하며 시민들의 귀가 걱정을 덜었다.

 

미국 국세청 3450억$ 탈세 적발

IRS(미국 국세청) 에서는 방대한 거래데이터 중 일반적인 거래와 다른 징후를 추적하여 계좌, 주소, 전화번호, 납세자 간 연관된 데이터를 가지고 만든 빅데이터로 3450억 달러의 탈세를 적발하여 추가 세금을 징수하였다. 이는 한화로 345조 우리나라 2013년 예산규모와 같다.

 

미래학자 앨빈 토플러는 “정보를 가진 자가 권력을 가진 자이다” 라고 했다.
하지만 현실은 권력을 가진자가 아닌 권력을 가진 기계가 나올것을 걱정하고 있다.
즉 인공지능이다.

예전에는 빅데이터를 구축하는 것도 사용하는 것도 사람이라면 이제는 모든 중요한 결정을 컴퓨터에게 맡긴다, 인공지능은 학습하면 할수록 스스로를 진화시키며 성장한다. 더 이상 인간의 라이벌은 인간이 아닌 인간의 지능을 뛰어넘은 기계이다. [트랜센던스]란 영화를 보면 인공지능을 두려워하는 인간과 창조주에 가까워진 인공지능의 대결
을 주제로 다루고 있다. 인공지능이 진화하여 불치병을 치유하거나 인간에게 불멸의 신체를 가지게 하며 모든 인공지능에 연결된 사람들은 인공지능이 조정할 수 있게 된다. 당황스러운 일이지만 곧 현실로 만날 수 있을지도 모른다.
사람보다 더 똑똑한 인공지능으로 많은 사람들이 직장을 잃을 것이며 어떤 직종의 사람들이 직장을 잃을지에 대해 화두로 떠오른다. 일부학자들은 인공지능이 감성이 필요한 예술이나 문학을 넘볼 수 없을 것이라 주장했다.
정말? 그 주장들이 맞는지 현실은 어떤지 한번 알아보자.

아래 야구기사를 한번 읽어보자

기사1

KT는 16일 열린 2015 프로야구 롯데와의 홈경기에서 1-10점으로 크게 패하며 홈팬들을 실망시켰다. KT는 정대현을 선발로 등판시켰고 롯데는 김승회가 나섰다. 롯데는 정훈이 맹활약을 펼쳤다. 정훈은 6회초 1아웃에 맞이한 타석에서 2점을 뽑아 내며 롯데의 9점차 승리를 이끈 일등 공신이 됐다. 한편 오늘 롯데에게 패한 KT는 6연패를 기록하며 수렁에 빠졌다.

 

기사2

롯데 자이언츠가 SK 와이번스를 물리치고 1460일 만에 순위표 최상단에 이름을 올렸다. 한화 이글스는 연장 접전 끝에 삼성 라이온즈를 제압했다. 넥센 히어로즈와 두산 베어스, NC 다이노스도 승리를 추가했다. 롯데는 11일 인천 SK행복드림구장에서 열린 2017 타이어뱅크 KBO리그 SK와의 경기에서 6-4 승리를 거뒀다.

하나는 실제 기자가 쓴 기사를 일부 발췌했고 하나는 서울대 언론 정보학과 이준환 교수팀이 개발한 뉴스로봇이 작성한 것이다. 어떤 글이 로봇이 썼는지 구분할 수 있는가? 기사1이 뉴스로봇이 작성한 내용으로 사람이 쓴 글과 크게 다르지 않다. 로봇은 초당 10개의 기사를 만들어낼 수 있으며 이러한 뉴스로봇은 실제로 활용되고 있다. 뉴욕 LA 타임즈에서는 퀘이크봇이 기사를 작성하며 독일 엑세아(Aexea)는 로봇에 의해 만들어진 스포츠, 날씨 기사를 개당 1유로에 판매한다. 미국 AP통신은 분기당 3천여 건의 기사를 로봇이 쓰고 있다. 아직은 미흡하지만 조금씩 인간과 로봇의 경계를 인공지능이 허물기 시작하는 사례임은 분명하다.

 

미술분야는 어떠할까?

아래 그림들을 보면 유명 거장들의 이름이 떠오르겠지만 전부 인공지능의 작품이다. 유명 거장들의 그림들을 인공지능이 배워 얼마든지 같은 풍의 그림을 만들어낸다. 뭉크의 <절규>도 피카소의 <앉아 있는나체의 여성>도 인공지능이 학습 후 똑같은 그림을 만들어낼 수 있게 된 것이다.
독일 튀빙겐 대학교 소속 연구팀이 구현한 이 인공지능은 딥 러닝(Deep learning)을 통해 학습하면 학습할수록 사람보다 더 멋진 그림을 만들어 낸다. 이 기술은 실제 뇌가 세상을 어떻게 인식하는지 분석해 인공신경망을 만들어 내어 그림의 다양한 스타일을 스스로 학습한다. 인공지능은 이미 인간 고유의 영역으로 불리던 예술이나 문학·분야조차 인간을 넘어서고 있다.

다른 분야들도 크게 다르지 않다. 무인자동차가 현실에서 구현이 가능해진 것도 인공지능과 빅데이터를 이용한 기술로 이루어져 있으며 구글의 번역도 최근 인공지능이 도입되었다. 페이스북에 사진을 올리면 페이스북은 금방 누구인지 알아내 사진에 태그를 단다. 어떤 일을 하고 있든 어떤 분야에 있든 인공지능은 활용되고 있으며 앞으로도 활용될 것이다.

인공지능 좋기만 할까?

기업의 입장에선 너무나 훌륭하다. 많은 인건비를 지급하지 않아도 기존과 같은 서비스를 유지할 수 있다. 인공지능은 실제 일반인들의 일자리를 뺏어가고 있다. 화이트칼라의 대명사인 은행원들조차 현재 인원감축이 이루어지고 있는 상황이다. 빌게이츠는 인공지능이 발전해 인류를 위협하는 존재가 될지도 모른다는 견해를 밝혔다. 엘론 머스크도 ‘인공지능 연구는 우리가 악마를 소환하는 것과 다름없다’ 라고 말한다. 많은 리더들이 사람보다 더 똑똑한 인공지능이 지배하는 시대를 우려한다. 영화 ‘터미네이터’가 곧 현실로 다가올지도 모른다.

인간은 앞으로 더 똑똑해질 필요가 있게 되었다.
단순 노력만으로는 해결이 안될지도 모른다.
이제는 우리가 인공지능을 간과하거나 몰라서는 안되며
잘 이해하고 고찰하여 현명한 대처가 필요한 때이다.