빅 데이터가 만드는 비즈니스 미래지도 / 송민정 지음 / 한빛미디어
출판사 책 소개
『빅 데이터가 만드는 비즈니스 미래지도』는 빅 데이터의 현상과 태동 움직임, 배경, 의미와 본질에 대해 파헤쳤다. 산업의 패러다임을 바꿀 새로운 기회로 다가온 ‘빅 데이터 이코노미’, 그 안에서 뛸 수 있게 만들어줄 다양한 요소 기술의 지원 가능성, 그리고 잠재적 비즈니스 혁신 유형과 그 사례들, 이로 인해 펼쳐지는 미래 사회 모습들까지 모두 살펴본다. 또한 빅 데이터를 활용한 공공 정책과 사회적·경제적 혁신사례들을 이해하기 쉽게 소개한다. 저자는 인간의 건강, 교육이나 정치 등의 사회 시스템의 투명성, 국가나 환경의 안전성 등 우리 삶에서 돈으로 살 수 없는 것들에 대해 ‘빅 데이터’가 할 수 있는 역할을 강조하며 ‘빅 데이터의 이코노미’의 미래 사회를 우리 눈앞에 펼쳐 보인다.
핵심 내용
4장: 빅 데이터 비즈니스를 가능하게 하는 기술
1. 빅 데이터 기술 프로세스
빅 데이터를 다루는 데 필요한 기술은 다음과 같다.
데이터 생성 - 수집- 저장 - 처리 - 분석 - 표현
한눈에 보는 데이터 기술 프로세스 관련 기술들
2. 데이터 수집: 빅 데이터 자동 수집 방법
1) 로그 수집기: 조직 내부에 존재하는 웹서버의 로그 수집, 웹로그, 트랜잭션 로그, 클릭 로그, DB의 로그 데이터 등을 수집
- 클라우데라의 플룸(flume), 페이스북의 스크라이브(scribe), 야후의 척콰(Chuckwa)가 대표적.
- 비정형 데이터는 비구조적 데이터 저장소에 저장 혹은 구조적인 형식으로 변형해서 저장
2) 크롤링: 주로 웹로봇을 이용하여 조직 외부에 존재하는 소셜 데이터 등과 같은 인터넷에 공개되어 있는 자료 수집 - 소셜 데이터 같은 공개 데이터(Open Data) 수집
3) 센싱: 각종 센서를 통해 데이터를 수집
4) RSS Reader, Open API: 데이터의 생산, 공유, 참여 환경인 웹 2.0을 구현하는 기술로 필요한 데이터를 프로그래밍을 통해 수집
빅데이터 수집을 위한 변환 및 통합
