ADSP 요약정리 - 6장 시뮬레이션 및 최적화 - 빅데이터와 시뮬레이션

제 1절 빅데이터와 시뮬레이션

   - 데이터마이닝 : 대용량 DB에서 숨어있는 예측 가능한 정보를 자동으로 추출하는 데이터 부석 방법

    * 데이터에서 쉽게 발견하기 어려운 정보를 발견하거나 특정상황을 예측하는 것 

   - 데이터 마이닝은 모든 분야 Business Intelligence는 기업에서 데이터 분석을 통해 효율적인 의사결정을 하도록 지원하는 시스템과 기술 

   - 데이터 마이닝을 정의 하는 핵심용어 : 자동화(automated), 숨겨진(hidden), 예측가능(predictive)

    * 이전에 발견되지 않았던 데이터들 간의 상호관계를 분석하는 것 

   - 더 많은 데이터는 시뮬레이션 에측의 정확도를 높임

   - 시뮬레이션 : 실제 테스트해보기 어려운 초대형 프로젝트나 위험한 테스트 등을 대신해 행하는 모의실험

    * 실제상황을 컴퓨터 모델로 축약해 표현하는 방법을 통해 물리적 변화 없이 가상으로 실제상황을 재현함으로써 문제점을 발견하고 ㅎ해결하거나 예측하는 기법

   - 시뮬레이션 활용 분야 : 다양한 분야에서 문제해결을 위해 이용 

   - 시뮬레이션으로 상황을 결정하는 각 요인이 결과에 어떤 영향을 미치는지 알아볼 수 있음

   - 통계학 관점에서 상황예상하는 dynamic 시뮬ㄹ레이션, 미분방정식등 이용하는 확정적 방법 등 

    * 모델에 따라 연속형 /이산형으로 나누기도 함. 

   - 시뮬레이션 프로그램 구현시 부분적으로 최적화 방법 활용하기도 함. 

    * 최적화 : 어떤 제약조건이 있을 수도 있는 상황에서 목적함수의 최대값과 최소값을 찾는것 

    * 목적함수에 포함된 변수들은 제약조건에 해당 변수들에 대한 제약이 표현돼있고 이를 만족해야함. 

   - 최적해를 찾기 위해 최적화 할 때 보통 혼합정수프로그래밍(MIP)이나 선형 프로그래밍(LP)사용 

    * 근본적인 질문에 대한 답을 주나 최적화가 최적해를 주는 것은 아니며 다만 최적화를 통해 도출된 최적해가 어떻게 동작하는지 시각적으로 보일수 있음.

   - 시뮬레이션과 최적화는 근본적으로 빅데이터가 필수는 아님 

    * 입수 가능한 데이터가 풍부해짐에 따라 시뮬레이션이 더욱 각광받고 있으며 최적화 또한 함수에 포함된 계수 등을 정확히 추정하는데 큰역할

   - 일반적으로 충분히 많은 데이터가 있다면 그 데이터는 정규분포를 따름 

    * 이 분포를 이용해 평균 대기시간을 추정해 대기시간 최소화 가능

   - 최적화는 상시 운영하는 경우가 드물고 주기적으로 수행

   - 데이터 분석과 시뮬레이션의 관계 

    * 데이터 분석의 흐름에 따라 여러 프로세스의 기기에서 나오는 머신 데이터를 저장 관리할 수 있게 되면서 전체적인 흐름이 명확하고 속성의 변화나 확률적 분포가 emircal distribution으로 대체 가능해짐

    * 정보의 지속 공급이 모델이 반영되며 미래를 예측하고 폐회로(closed loop) 액션을 하는게 용이해져 분석적 업무를 운영업무 수준에 가깝게 관리 가능해짐 

   - 최적화와 데이터 분석의 연관점 : 입력데이터 측면과 활용 측면 

    * 입력데이터 측면 : 입력데이터가 최적화 모델링의 목적함수나 제약조건의 계수값에 사용 되는데 데이터 분석으로 값의 산출이 쉬워짐. 다양한 머신 데이터에서 정보 획득 가능해 최적화의 제약조건에 반영 가능해짐 

    * 활용측면 : 점점 많은 정보 발생하고 있고 다양한 문제를 해결해야 하는 시대가 돼 모든 문제에 집중할 수 없으므로 취사선택해야 하는 일이 늘어남. 어디에 집중해야 하는지 얼만큼 자원할당해야하는지 최적화 접근이 더욱 필요해짐