우버는 2019년 스트라타 데이터 컨퍼런스에서 데이터 분석가들의 어려움을 극복한 사례를 발표했다. 우버의 데이터 분석가들이 관련성 있는 데이터를 찾는데(Discover, Understand, Trust) 1주에 3시간 이상 사용하고 있었다. 이것을 비용으로 환산했을 때 $$$M 비용을 지불하고 있었다. 우버는 이것을 문제라고 인식했다. 그래서 우버는 이 문제를 해결하기 위해 데이터 카탈로그인 Databook을 만들었다.
Databook 플랫폼은 우버의 데이터 세트에 대한 풍부한 메타 데이터를 관리하고 표시하여 우버의 직원이 데이터를 탐색, 발견 및 효과적으로 활용할 수 있도록 했다. Databook은 데이터에 대한 컨텍스트(의미, 품질 등)가 데이터를 분석하려는 수천 명의 사람들 사이에서 손실되지 않도록 했으며, Databook의 메타 데이터는 우버의 엔지니어, 데이터 과학자 및 운영 팀이 원시 데이터보기에서 실행 가능한 지식을 갖출 수 있도록 지원했다. 그 결과 Databook을 사용하여 데이터 분석가들은 데이터 활용 시간을 줄일 수 있었다.
1. 디지털 경제의 핵심 요소
산업화 시대를 지나 정보화 시대로 접어들면서 데이터의 잠재적 가치가 부각되고 있다. 4차 산업혁명의 핵심에는 빅데이터와 AI가 자리하고 있고 이것들은 일반인들에게 더 이상 낯선 용어는 아니다. 데이터가 디지털 경제의 핵심으로 인식되면서 정부도 막대한 자금과 관련법(데이터 3법)으로 데이터 경제 활성화를 지원하고 있다. 데이터를 모르면 경쟁에서 살아남을 수 없으며 미래 사업도 데이터를 통해 창출되는 시대를 맞이하고 있다.
2. 데이터 확보 및 활용의 어려움
데이터가 부가가치 창출의 원천으로 인식되면서 조직 내/외부의 데이터를 적시에 확보하고 이를 효과적으로 활용할 수 있는 체계가 필요하게 되었다. 빅데이터 환경을 통해 대규모의 데이터 확보에는 성공했지만 방대한 데이터 속에서 정작 필요한 데이터를 찾기가 쉽지 않다. 데이터 사이언티스트를 통해 데이터의 전략적 활용을 모색하고 있는 조직이 늘어나고 있지만 전략적 분석에 필요한 데이터가 부족하거나 데이터의 품질이 낮아 사이언티스트들은 대부분의 시간을 데이터 수집과 정제에 소모하고 있다.
3. 새로운 관점의 데이터 관리 체계
데이터가 부가가치 창출의 원천으로 인식되면서 조직 내/외부의 데이터를 적시에 확보하고 이를 효과적으로 활용할 수 있는 체계가 필요하게 되었다. 데이터 확보와 공급의 체계적 관리가 이루어지지 않으면 데이터의 원활한 분석과 활용은 불가능하다. 일상적인 업무 수행 관점에서의 데이터 관리는 안정된 기반을 갖추고 있다. 그러나 데이터 거버넌스가 필요한 이유는 데이터에 대한 접근이 새로운 관점에서 이루어지고 있기 때문이다.
첫째, 데이터 용도 변화에 대한 대응
지금까지 데이터는 업무수행에 기초 자료로 활용되었다. 데이터가 전략적으로 활용되기 위해서는 특정 업무가 아니라 조직 전반에서 공유되어야 한다. 급변하는 시장의 유동성에 효과적으로 대응하기 위해서는 상황에 맞는 데이터가 수시로 필요하다. 그래서 상황이 발생하면 즉각적으로 활용할 수 있는 데이터 공급 체계가 필요하다.
둘째, 다양한 형태의 데이터 수용과 기술 확보
새로운 사업 방향을 모색하면서 수익성을 확보하기 위해서는 기존보다 확장된 범위의 데이터가 필요하다. 기존 DB에서 관리하는 정형적인 데이터 뿐만 아니라 각종 보고서, 외부정보, SNS, 웹 로그, VOC, IOT 등 서로 다른 형태의 데이터를 확보하고 활용할 수 있어야 한다. 정형과 비정형 데이터 모두를 처리할 수 있고, 데이터를 처리하기 위한 기술도 복잡해진다. 선별 및 정제 기술을 사용하여 필요한 데이터를 선별하고 이들을 다른 데이터와 결합하여 활용할 수 있는 자원으로 변환하고, 자원을 찾아내고 공급할 수 있는 체계를 갖추어야 한다.
셋째, 원활한 데이터 결합
데이터 분석을 통해 전략을 도출하기 위해서는 여러 관점에서 발생한 데이터를 조합하고 다각적인 시각에서 검토가 이루어져야 한다. 당면한 사안과 관련된 모든 데이터를 수집하고 결합하여 입체적인 파악이 이루어져야만 효과적인 대응책을 마련할 수 있다. 서로 다른 용도에서 만들어진 데이터는 형식과 관리 방식이 달라서 결합이 어렵다. 이런 데이터를 조합하여 활용하기 위해서는 가능한 많은 연결고리를 찾아 내고 이들간의 상호 연결이 용이한 형태로 관리되어야 한다.
결론
데이터 거버넌스의 궁극적인 목표는 데이터를 통해 수익을 창출하고 데이터를 경쟁력의 원천으로 활용할 수 있는 기반을 마련하는 것이다. 데이터의 경쟁력 확보를 위한 데이터 분석 및 활용을 위한 다양한 시도가 이루어지고 있다. 하지만 발생하는 사안마다 데이터를 수집하고 정제하는데 많은 시간과 노력이 필요하다면 데이터의 전략적 활용은 한계에 부딪히게 된다.불필요한 반복작업을 최소화하여 데이터 수집에서 활용까지의 시간을 단축시켜야 한다. 데이터 획득 및 활용의 경험을 기반으로 기존의 한계를 극복하고 데이터 자원을 가치를 극대화할 수 있는 조직 자원의 데이터 관리 체계를 재구성해야 한다.
데이터 거버넌스는 부분적 혹은 이례적인 접근이 아니라 조직 전체 차원에서 최적의 데이터 관리 체계를 찾아내고 정착시키기려는 노력이다. 그리고 이를 통해 다양한 형태의 데이터를 공유하고 결합하여 더 전략적으로 활용할 수 있는 기반을 제공한다. 조직의 데이터 관리 역량을 확대하고 데이터의 전략적 가치를 향상시키는 선순환 구조의 중심에 데이터 거버넌스가 위치하고 있다.
출처 및 참고사이트