거의 모든 인터넷의 역사 (55) – 데이터 웹과 빅 데이터 바람

중요한 것은 데이터의 양이나, 이를 저장하는 기술이거나, 데이터를 보여주는 기술이 아니다. 보다 본질적인 변화와 혁신을 이끌어내는 것은 사람들이 무엇을 공유하고, 어디에 가며, 무슨 이야기를 하고 있고, 어디에 관심을 가지고 연결하고 생산하는지에 대한 ‘가치있는 정보’ 들이다. 그리고, 이런 가치있는 정보들은 결국 사람들의 경험을 좋게 만들고, 제품이나 서비스의 혁신을 가져올 수 있다.

데이터의 양이 늘어나면 늘어날수록 사람들의 인지범위를 넘어서는 소위 노이즈(noise)가 늘어나는 것 뿐이며, 처리해야할 데이터가 많으니 속도가 느려지게 되고, 보여주는 것들이 복잡해지면서 혼란만 가중시킬 수도 있다. 그래서, 추천기술이나 인공지능 등과 같은 기술이 점점 더 중요해지는 것이다.

소셜 전문가로도 유명한 브라이언 솔리스는 빅 데이터의 중요한 가치로 “연결된 소비자주의(connected consumerism)”를 언급하였다.

빅 데이터의 중요한 가치는 무엇일까? 

미래의 혁신의 방향성을 읽고, 경쟁에서 앞설 수 있도록 하는 정보의 가치는 기업의 경영에서 정말 핵심적인 것이라고 할 수 있다. 그러므로, 어쩌면 빅 데이터 기술에 관심을 가지는 기업이라면, 빅 데이터 솔루션을 도입하는 것보다 기업이 정적이고 기존의 사업모델과 제품군, 서비스에 집착하는 문화에서 점진적으로 변화를 추구하고, 혁신을 실험할 수 있으며, 그런 혁신실험의 결과로 진화해나갈 수 있는 문화를 심는 것이 더 중요하다.

어떤 조직이든 사람들이 변화하고 있으며, 미래에 적응하는 것이 중요하다는 것을 인지하고 있지 못한 곳은 빅 데이터가 알려줄 수 있는 새로운 트렌드나 기회를 포착하고 이를 낚아챌 수 없다. 데이터가 보여주는 것을 가치로 연결시키는 것이 더욱 중요하다는 이야기다.

데이터가 가치를 가지도록 해석하고, 영감을 줄 수 있으며, 이를 바탕으로 혁신하지 못한다면 빅 데이터와 관련한 기술이나 자원에 투자하는 것은 전부다 비용만 늘어나는 결과를 초래할 것이다. 그리고, 이런 비용에 대한 투자가 결실이 나지 않는다면, 결국 기대만 일으킨 마케팅 용어였다는 비판에 직면하는 것은 당연한 귀결이다.

최근에는 데이터 분석의 가치가 올라가면서, 데이터 과학(Data Science)이 주목받고 있다. 데이터를 분석하는 데이터 과학자들이 필요하다는 이야기도 나오고 있으며, 분석된 내용을 잘 보여주는 것도 또 하나의 테마를 형성하면서 빅 데이터에 대한 분위기가 조금은 바뀌고 있는 듯하다.

이는 분명히 지난 몇 년간 어떻게 데이터를 저장하고, 접근할 것인가에 초점을 맞췄던 것 보다는 확실히 나은 방향이다. 그러나, 여전히 지나치게 기술적이다. 분석이 많이 필요하다는 것은 ‘분석의 과잉’을 가져올 수 있으며, 이는 너무 많은 데이터 분석의 홍수 속에 사람들이 무감각해지는 결과를 낳을 수 있다.

또한, 잠깐 잠깐 변화하는 것에 지나치게 민감하게 반응하거나, 분석이 이루어지는 시점의 착시효과에 의해 잘못된 판단을 내리거나, 데이터에 대한 일반적인 사람들의 과도한 신념(?)을 이용해서 장난을 치는 일부 데이터 과학자들의 남용과 오용 사례도 많아질 것이다.

결국 데이터에 접근하고, 분석하고, 이를 해석하고 결정을 내리는 사람들이 확실한 자율성을 가지고, 투명하면서도 진정성있게 데이터를 보고 자신들과 관련된 가치를 뽑아내려는 노력을 하지 않는다면 이런 데이터 과학과 분석이라는 것도 아무런 가치를 만들어내지 못할 것이다.

또 한 가지 고려할 점은 이렇게 연결된 사회에서의 빅 데이터는 계속해서 변하므로, 이것을 정해진 시점에서 분석하는 것 자체보다, 시간과 함께 변화하는 양상을 보고 본질을 파악할 수 있는 능력을 길러야 한다는 것이다.

어제의 데이터와 분석의 내용은 오늘과는 다르며, 내일은 또 달라질 것이다. 이런 시간의 흐름과 함께 하는 변화의 요체를 파악하는 능력을 길러야 하며, 이는 데이터 과학자나 도구들이 뽑아낼 수 있는 범위를 넘어선다. 그리고, 고객들이나 데이터를 생산하는 사람들이나 기기의 데이터가 변했다면, 데이터를 생산하는 사람들과 기기들이 왜 변했는지 명확히 이해해야 한다. 사람에 대한 이해와 기술의 변화에 따른 데이터의 변화도 염두에 두어여 한다. 단지 데이터만 가지고 분석을 한다고, 그 가치를 제대로 파악하기란 어렵다.

‘빅 데이터’를 도깨비 방망이로 생각해서는 안된다. 빅 데이터 역시도 융합적인 접근이 필요한 것이다. 그렇다고, 필자가 ‘빅 데이터’가 쓸 데 없다는 이야기를 하려는 것은 아니다.

어떤 기업에서 고객들이 자신들의 제품이나 서비스에 어떻게 반응하는지 잘 파악하고자 하며, 고객들의 반응에 그 때 그 때 반응하면서 제품이나 서비스를 혁신하려는 의욕에 가득차 있다고 하자. 그런 기업이라면 빅 데이터의 가치를 잘 발견할 수 있을 것이다.

빅 데이터는 여러 고객들의 행동과 생각의 변화를 읽고, 새로운 제품이나 서비스를 내놓게 될 것이고, 이런 혁신의 결과가 좋은지 나쁜지를 고객들이 즉각적으로 피드백을 주게 될 것이다. 고객들이 기업의 혁신에서 좋은 경험을 쌓게 된다면, 자연스럽게 고객의 충성도는 올라가게 될 것이며, 이는 또 다시 고객들이 반응하는 데이터의 신뢰성을 더욱 높여주는 선순환의 고리를 돌 수 있게 만든다. 이런 기업은 이미 ‘빅 데이터’의 필요성을 절감하고 있으며, 어떤 ‘데이터’를 얻고 싶으며, ‘무엇’을 알고 싶은지에 대해서 명확히 정의가 되어 있을 것이다.

도대체 무슨 데이터를 얻고, 어떻게 정보를 획득할 것이며, 무엇을 알고 싶은지도 모르는 상황에서 무슨 유행처럼 ‘빅 데이터’ 솔루션을 도입한다고 기술쇼핑을 일삼는 행위는 크게 주객이 전도된 것이다. 결국 ‘빅 데이터’의 진정한 가치는 무엇일까?

아마도 그것은 ‘작은 혁신과 행동(small innovation and action)’일 것이다. 데이터만 많이 쌓아놓고, 분석만 많이 하는 사람이나 기업이 혁신을 하고 새로운 가치를 창출하는 경우는 많이 보지 못했다.

무규칙 웹의 데이터 웹으로의 진화

이처럼 데이터가 중요시되는 웹의 환경은 과거 아무런 규칙없이 화면에 뿌려지는 HTML 코드의 잡탕으로만 구성된 웹의 진화양상에도 영향을 주고 있다. 사물인터넷과 스마트폰, 소셜 등으로 인해 데이터의 양도 늘어나고, 데이터를 개방하고 공유하는 프로젝트도 늘어나면서 소위 생데이터(raw data)도 의미는 있지만, 이왕이면 이렇게 웹에 개방되고 공유된 데이터의 가치를 효율적으로 가치를 상승시킬 수 있는 방안에 대하여 많은 논의가 있었다.

오픈소스로 접근할 수 있는 소프트웨어도 적절한 관리의 방안이 있어야 성공할 수 있었듯이, 이렇게 개방되고 공유가 가능한 데이터 웹의 경우에도 효율을 위한 몇 가지 합의된 철학이 있어야 한다. 데이터 웹과 관련하여 개방과 공유와 관련한 철학으로는 다음과 같은 것들이 있다.

• 무엇이 바뀌었는지 안다: 원본이 공개되고, 이 공개된 데이터에 대해 누군가가 접근을 해서 수정을 했다면 이렇게 바뀌었다는 것을 누구나 알 수 있어야 하며, 경우에 따라서는 시간 순으로 돌아갈 수 있는 장치가 되어 있어야 한다. 이런 장치가 없다면 애써 공개한 데이터가 악의적인 시도를 통해 왜곡되거나 손상을 입을 수 있다.

• 패치가 가능하다: 데이터를 수정하고자 하는 사람들이 쉽게 접근을 해서 수정내용을 전송할 수 있는 어떤 형태의 서비스가 있어야 한다. 동시에 여러 곳에서 진행된 변경내용이 적절하게 시간에 따라 반영될 수 있도록 버전을 관리하는 것이 협업에서는 매우 중요하다.

• 릴리즈 (Release) 프로세스: 프로그램을 개발할 때에는 개발자와 사용자들의 사이는 릴리즈(release)라는 프로세스가 접점을 만든다. 중간에 수정되고 있는 완결되지 않은 프로그램으로 인해 사용자들이 문제를 겪을 가능성을 배제하기 위해서, 프로젝트 관리자가 적절한 테스트를 통해 일정시간을 기준으로 끊어서 문제가 최소화되었다고 판단할 때 릴리즈를 한다. 데이터 역시 같은 원칙이 적용될 수 있다. 버전 관리를 하면서 지속적 업데이트를 허용하지만 민감한 데이터 들이나 진실에 대한 문제가 있을 수 있는 부분들은 적절하게 릴리즈를 하도록 전체적인 관리를 하는 것이 효과적이다.

이런 개념을 적용해보면 효율적인 데이터 웹이 구축되려면 개방된 데이터라도 어느 시기에 작성되어, 어떤 업데이트 과정을 거치고 있는지를 명확히 알 수 있어야 한다. 그리고, 가능한 최신의 데이터와 정보가 사용자들에게 전달되도록 하는 것이 좋을 것이다.

소프트웨어 개발의 경우에는 라이브러리나 운영체제 등에 의해 의존성(dependency)가 발생한다. 개방형 데이터는 어떨까? 데이터 역시 2차 가공 데이터나 데이터-서비스 융합과 관련한 변화가 발생하는 경우라면 역시 의존성이 발생할 가능성이 많다. 여기에 어떻게 슬기롭게 대처할 것인지에 대해서도 사용자들이 구체적인 방안을 가지고 있어야 한다.

이런 원칙이 적용된다면 자연스럽게 사용자들도 데이터에 대한 버전 개념을 알아야 한다. 데이터와 정보에도 버전 개념이 들어간다면 손쉽게 언제 어떻게 업데이트가 된 데이터이고 정보인지 알 수 있게 된다. 경우에 따라서는 데이터를 활용한 분석 및 2차 가공 정보를 만드는 동안에 새로운 버전의 데이터가 릴리즈될 수도 있다. 아마도 과거 데이터로 작업하던 사람에게는 참 괴로운 일일 것이다. 그렇지만, 이런 과정은 너무나 자연스러운 것이니 쉽게 받아들여질 것이다.

이와 같은 변화를 염두에 두고 데이터 웹으로의 진화를 위해 W3C에서 표준화하고 현재 빠르게 확산되고 있는 기술표준이 링크드 데이터(Linked Data)이다.

링크드 데이터는 URI로 대표되며, 웹에 리소스로서 노출을 시킬 수 있는 어떤 것으로 HTTP URI를 이용해서 사람들이 이를 쉽게 찾아볼 수 있으면서, URI를 통해 참조를 했을 때 리소스에 대한 정보를 제공하고, 다른 리소스와의 링크를 포함하여 웹에서의 정보를 쉽게 찾아낼 수 있도록 하는데이터 기반의 웹 기술 표준이다.

사실 링크드 데이터는 차세대 웹 기술로 이야기되었던 시맨틱 웹(semantic web) 기술에서 중시되었던 온톨로지(ontology)라는 것과 많은 연관성을 가지고 있는데, 이들의 정보 네트워크가 심화되는 방향으로 발전을 하면서, 다양한 서비스들이 이 표준을 채택해 데이터를 개방하면서 급격히 주류의 기술로 올라서고 있다.

이미 위키피디아(Wikipedia), 지오네임즈(GeoNames), 인터넷무비 데이터베이스(Internet Movie Database, IMDB), Shopping.com과 같은 수 많은 서비스들의 데이터가 링크드 데이터 표준으로 공개되고 있어서, 정보를 공개하고 발행하려는 쪽에서 자신의 콘텐츠와 데이터를 간단히 이렇게 공개된 링크드 데이터들과 연결할 수 있기 때문에, 이들의 연계를 통한 다양한 부가서비스 개발이 가능하다.

앞으로의 차세대 웹을 이끌기 위한 가장 중요한 토양이 만들어지고 있는 셈이다. 링크드 데이터가 추구하는 것은 아무런 의미가 없는 섬과 같은 형태의 웹 페이지들이 둥실둥실 떠다니는 것이 아니라, 웹 페이지에 있는 데이터에게 생명력을 부여하고, 이들이 서로 연계가 되고 관계를 찾을 수 있도록 한 것이다. 이렇게 링크드 데이터 표준을 지키는 웹 페이지와 서비스가 많아진다면 현재의 웹은 한 단계 진화한 데이터 웹으로의 변신을 가속화하게 될 것이다.

오픈 데이터를 이용한 도시의 변신

이와 같이 데이터의 개방과 데이터 웹으로의 진화가 진행되면서, 이를 활용한 변화도 전 세계에서 나타나고 있다. 최근 서울시는 ‘공유도시’ 선언을 하고 이와 관련한 다양한 정책들을 진행하고 있다. 서울에 앞서 공유도시 정책을 과감하게 시행하고 있는 샌프란시스코는 Shareable.net 이라는 훌륭한 사이트도 운영하고 있다. 이런 시각의 변화가 나타나고 있는 것은 ‘산업시대’에 최적화된 도시와 앞으로 우리가 개척해야 하는 미래가 요구하는 도시의 요구조건이 다르기 때문이다.

산업시대에는 대량생산과 유통, 그리고 사람들이 주거지를 중심으로 물류와 사람들의 이동을 원활하게 하면서 여러 가지 자원들을 효율적으로 이용할 수 있도록 하는데에 도시의 기능이 집중되었다. 그러다보니, 자동차를 중심으로 하는 인프라가 구성되었고, 자동차 도로와 대중교통망, 전기공급과 상하수도 및 쓰레기 처리 등이 가장 중요한 이슈가 된다.

이 때에도 사실 도시는 ‘플랫폼’으로 일부 역할을 했다고는 할 수 있다. 공공자원을 통해 산업사회가 잘 유지될 수 있도록 도와주었으니까 … 그러나, ‘플랫폼으로서의 도시’라는 개념은 이보다 훨씬 광범위하고 근본적인 변화를 이야기한다.

많은 것이 연결되어 있고, 이를 통한 네트워크 효과를 가져올 수 있으며, 개방되고 실시간으로 반응할 수 있도록 하는 통신과 정보혁명이 도시에도 큰 영향을 미치고 있는 것이다. 스탠포드 대학이 있는 캘리포니아의 팔로알토시의 경우 2012년 8월 2일 “오픈 데이터 계획”을 발표하면서 시민들과 시의 다양한 서비스들, 그리고 기관들이 개방된 커다란 데이터와 스마트 디바이스 등을 활용해서 도시에서 새로운 창발적인 가치가 창출될 수 있도록 할 것이라고 천명하기도 하였다.

21세기 도시가 해결해야 하는 문제점들은 산적해있다. 도시의 재정은 나빠지는데, 인프라는 노후화되고, 실업은 늘어나고 있다. 그렇다고, 과감한 혁신을 하기도 쉽지 않다.

도시는 스타트업과 달리 실패에 대해 고통받는 사람들이 많기에, 스타트업처럼 ‘빨리 실패하고, 많이 실패하더라도 실패에서 배워서 성공의 기반을 닦는’ 그런 접근방법을 적용하기 곤란하다. 그래서, 도시의 행정이 그토록 느리고 비효율적으로 보이는 것이다. 그렇다면 도시는 미래를 위한 파괴적 혁신을 할 수는 없는 것일까?

정답은 시민들에게 있다. 결국 창조적 파괴를 시민들이 할 수 있도록 하는 것이 혁신의 포인트이고, 이를 위해서는 외부에서 혁신을 쉽게할 수 있도록 혁신의 비용을 낮추는 도시의 플랫폼화가 필요한 것이다. 그런 측면에서 단순히 데이터를 오픈한다고 만사가 해결되는 것은 아니다. 이미 오픈 데이터 포탈을 운영하는 도시만 하더라도 미국의 샌프란시스코, 오스틴, 영국의 런던, 호주의 시드니 등 여럿이 있다.

시카고에서는 2007년부터 이런 움직임이 있었다고 한다. 그러나, 실제로 이렇게 공개된 데이터는 많은 사람들에게 공유되고, 시민들이 이를 이용해서 뭔가 새로운 가치를 만들어낼 때 이런 정책들이 빛을 볼 수 있다. 이런 혁신을 유도하기 위해서 많은 도시들이 협업을 통해서 표준화된 데이터 형태와 소프트웨어 등을 연계하는 작업도 활발해질 전망이다.

무엇보다 이런 노력이 성공하려면, 시민들의 활발한 참여와 도시의 플랫폼이 만나서 비즈니스 측면에서도 성공하는 사례들이 나와야 한다.

MSNBC에 인수된 SeeClickFix나 OpenCity에 인수된 Everyblock 과 같은 스타트업 성공사례가 더 많이 나온다면, 도시를 혁신시키려는 시민들의 참여도 자연스럽게 늘어나게 될 것이다. 물론 새로운 미래를 대비하는 도시의 변화에 있어 “오픈 데이터”라는 것은 시작에 불과한 것이다. 그렇지만, 데이터는 실질적인 혁신을 이끌어가는데 있어 매우 좋은 길잡이이자 힌트를 제공하는 역할을 할 것이다.

여기에 도시에서 생활하는 많은 시민들의 실제 생활을 적절하게 접목한 융합형 비즈니스와 플랫폼이 등장하는 것이 변화의 시작이 될 것이다. 아마도 새로운 형태의 상거래와 커뮤니티 서비스, 버려지는 것을 가치로 바꿀 수 있는 서비스, 그리고 협업과 네트워킹, 빠른 대응 등을 통해서 도시가 경제적, 환경적으로 지속가능한 플랫폼으로 탈바꿈 가능하도록 시민들이 참여하고, 도시가 역동적인 모습을 보여준다면 그 도시의 미래는 밝을 것이다.

최근 서울시에서도 데이터를 개방하고, 이를 시민들이 적극적으로 활용해서 새로운 가치를 창출할 수 있도록 도와주는 여러 가지 정책을 펼치고 있다. ‘공유도시’ 개념도 이런 맥락에서 이해할 때 더욱 가치가 있을 것이다. 주차장이나 빈 사무실과 같은 공간에서부터, 재활용 가능한 물건들이 새로운 가치를 창출할 수 있으며, 사람들이 서로 협업하고 상부상조할 수 있도록 도와주는 다양한 시도들이 성공하기 위해서는 단순히 ‘공유도시’를 홍보하는 것만으로는 부족하다.

더욱 많은 시민들이 참여할 수 있는 동기부여를 할 수 있는 방법을 찾아보아야 한다. 도시의 변화의 키는 시장이 아니라, 시민들이 쥐고 있다. 데이터 웹으로의 진화와 빅 데이터는 이렇게 새로운 가치를 찾아내고, 그것을 이용한 혁신을 이끌어내는 사람들을 많이 만들어낼 때 진정한 의미가 있는 것이다.

P.S. 이 시리즈는 메디치미디어의 <거의 모든 인터넷의 역사>라는 책으로 출간이 되었습니다. 전체 내용을 보고 싶으신 분들은 책을 구매하셔서 보시기를 권합니다