ADSP 요약정리 - 2장 데이터의 가치와 미래 - 빅데이터의 이해

제 1 절 빅데이터의 이해 

1. 정의 

 - 빅데이터 (Big data) : 큰 (big) 데이터 

  * 단순히 용량만 방대한 것이 아니라 복잡성도 증가해 기존 데이터 처리 애플리케이션이나 관리 툴(tool)로는 다루기 어려운 데이터세트의 집합(collection of data sets)

 - 빅데이터 현상은 다양한 영역에서 일어나고 있으며 정의 또한 다양

  * (일반적 정의) 빅데이터는 일반적인 데이터베이스 소프트웨어로 저장, 관리, 분석할 수 있는 범위를 초과하는 규모의 데이터(Mckinsey, 2011) --> 활용하는 데이터 규모에 중점

  * 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고 데이터의 초고속 수집 발굴 분석을 지원하도록 고안된 차세대 기술 및 아키텍처 ( IDC, 2011) --> 분석비용 및 기술에 초점 

  * 데이터와 데이터 처리, 저장 및 분석 기술 + 의미있는 정보 도출에 필요한 인재나 조직도 포함 (일본 노무라연구소) --> 정의자체가 포괄하는 범위 확대 

 - 3V : 빅데이터로 인한 새로운 도전과 기회를 요약 (가트너그룹 더그래니)

  * 데이터의 양 (Volume), 데이터 유형과 소스 측면의 다양성 (Variety), 데이터 수집과 처리 측면에서 속도 (Velocity) 3가지 측면의 급증으로 인한 현상 

  -빅데이터를 보는 관점의 범위에 따른 정의

   * 3V로 요약되는 데이터 자체의 특성 변화에 초점을 맞춘 좁은 범위의 정의

   * 데이터 자체뿐 아니라 처리, 분석 기술적 변화까지 포함하는 중간 범위의 정의

   * 인재, 조직 변화까지 포함해 빅데이터를 넓은 관점으로 정의 하는 방식 

데이터변화	기술변화	인재, 조직 변화
* 규모(Volume) * 형태(Variety) * 속도(Velocity)	* 새로운 데이터 처리, 저장, 분석 기술 및 아키텍처  * 클라우드 컴퓨팅 활용	* Data Scientist 같은 새로운 인재 필요 *데이터 중심 조직

   *기존 방식으로는 얻을 수 없었던 통찰 및 가치 창출 

   * 사업방식, 시장, 사회, 정부 등에서 변화와 혁신 주도 

 

 2. 출현 배경 

  - 빅데이터 현상은 없었던 것이 새로 등장한 것이 아니라 기존 데이터, 처리방식, 다루는 사람과 조직 차원에서 일어나는 변화를 가르킴 (패러다임 전환)

  - 빅데이터 출현 배경 

   * 산업계 :  고객데이터 축적 (양질 전환 법칙) 

   * 학계: 거대 데이터 활용 과학 확산 

   * 관련 기술 발전 ( 디지털화 저장기술, 인터넷보급, 모바일혁명, 클라우드 컴퓨팅) 

  - 개별 기업의 고객 데이터 축척 및 활용 증가, 인터넷 확산, 저장 기술의 발전과 가격하락, 모바일 시대의 도래와 스마트 단말의 보급, 클라우드 컴퓨팅 기술 발전, SNS와 사물네트워크 확산 등이 맞물려 데이터 생산이 폭발적으로 증가하면 면서 대세는 빅데이터 시대 

 

 3. 빅데이터 기능 

  - 산업혁명의 석탄, 철 

  - 21세기의 원유

  - 렌즈 ex) 구글 'Ngram Viewer'
  - 플랫폼 

   ==> 차세대 산업 혁신에 꼭 필요한 요소

    차세대  산업혁신에서 원재료 역할을 하면서 그 재료부터 가치를 추출하는 기법까지 아우르는 개념으로  폭넓게 쓰이고 일상생활을 깊이 침투할 것 

 

 4. 빅데이터가 만들어 내는 본질적인 변화 

 -사전처리 --> 사후처리

   * 정해진 특정한 정보만 처리하는 것이 아닌, 가능한 많은 데이터를 모으고 그 데이터를 다양한 방식으로 조합해 숨은 정보를 찾아냄 

 - 표본조사 --> 전수조사 

   * 샘플링이 주지 못하는 패턴이나 정보를 얻을 수 있는 전수조사 (complete enumeration)로 변화, 활용의 융통성 유지가능. 

  - 질 --> 양 

   *대세에 영향을 주지 못하는 사례들일지라도 다른 변수에 대해서는 풍부한 정보를 갖고 있기 때문에 모든 데이터를 활용할 때, 훨씬 더 많은 가치를 추출할 수 있다는 관점. 

  - 인과관계 --> 상관관계 

   * 데이터 기반의 상관관계 분석이 주는 인사이트가 인과관계에 의해 미래 예측을 점점 더 압도해 가는 시대 도래