빅데이터 분석을 위한 데이터스토어 빅데이터

IT/빅데이터|2020. 9. 17. 09:57

최근 파이썬을 통해서 빅데이터를 분석하고 시각화 하는 학습을 하고 있습니다. 먼저 공공데이터가 가장 흥미롭습니다. 분석하는 기법과 분석을 위한 Insight만 조금 있다면 다양한 공공데이터를 충분히 활용하여 멋진 데이터 분석을 할 수 있을 것 같아요.

 

예전에 빅데이터를 제공하는 공공데이터 오픈 포털의 빅데이터에 대하여 제공되는 유형을 간략하게 정리한 적이 있습니다. 아래 포스팅을 참고하시면 좋을 것 같네요.

 

 

 

한장으로 정리한 공공데이터포털에서 제공하는 데이터 목록 및 유형(국가표준, 이슈데이터 등)

어느 데이터를 제공하고 있어서 어떤 데이터를 가지고 어떤 서비스를 개발할 지는 먼저 데이터 유형이 정리가 되면 더 좋을 것 같은 취지구요 이렇게 한장으로 정리함으로서 더 많은 저와 같은

funfundata.tistory.com

 

 

최근 분석 학습을 해 보면서 제공 리스트만 가지고 정보를 알아보기에는 조금 불편할 것 같아 실제 분석에 사용될 수 있는 제공되는 데이터의 유형을 각 기관별로 조금씩 정리해 보려고 합니다. 우선 한국 소비자원에서 제공하는 빅데이터 유형을 정리해 보려고 합니다. 


데이터스토어

 

정액제 기반(제공기관과 비용 협의, 무료, 유료 등) 데이터 제공(API) 기관

 

 

www.datastore.or.kr

 

DATA STORE

사용일수(시간) 기반 정액제는 이용자가 데이터를 사용한 시간, 즉 일수에 따라 부과하는 방식입니다. 데이터의 일당 단위 가격에 사용한 일수를 곱하여 수수료를 부과합니다. 기본산정 방식은

www.datastore.or.kr

 

 

- 유통/물류

 

 : 업종별 웹사이트 사업자의 쿠폰정보, 자산/물류 정보관리 API 등

 

 

- 문화/관광/체육

 

 : 자전거 길안내 정보, 웹사이트 유저의 업종별 키워드 타게팅 정보 데이터 등

 

 

 

 

- 교육/취업

 

 : 유튜브 유저의 업종별 키워드 타게팅 정보 데이터, 업종별 웹사이트 사업자의 쿠폰 정보 데이터 등

 

 

 

- 사회/경제

 

 : 경제데이터 API, 아이디어 DB, 해외 디지털경제 뉴스 기사 데이터 등

 

 

 

- 보건의료/건강

 

 : 한국 전통지식정보(약재, 처방, 유사처방, 논문, 병증, 용어사전, 한양방병증매핑, 전통식품 등), 고양시 수상드론 API 등

 

 

 

- IT/과학기술

 

 : 이미지태깅 API, 악성 URL 및 URL 정보 분류 데이터 등

 

 

 

- 공공행정

 

 : 정부R&D 특허성과정보, 특허기술거래정보 등

 

 

- 안전/복지

 

 : 클라우드 기반 기상데이터 API서비스, 물놀이시설 수질 검사결과 현황 API(고양시) 등

 

 

- 국토/교통

 

 : 버스노선 상세정보 조회, 자전거길 위험지역 조회 등

 

 

- 환경/에너지

 

 : 부산시 스마트 해양레저 API, 고양시 안심교육 서비스 API 등

 

 

- 농축수산

 

 : 비료업체 현황 정보 API, 농약 판매 업체 현황 정보 API 등

 

 

- 통계

 

 : 유동인구 빅데이터 고속도로 휴게소 API, 유동인구 빅데이터 지하도상가 API 등

 

 

- 지도/지리

 

 : 자전거 길안내 정보 조회, (아파트/연립다세대/오피스텔) 주소기반 지역특성정보 API 등

 

 

- 기타

 

 : 자산/물류 정보관리 API 등


 

 

 

데이터를 분석하는 방법은 다양합니다만 제가 주로 사용하는 방식과 툴은 파이썬이라는 프러그래밍입니다. 빅데이터의 분석 영역에 대한 각광으로 더욱 많은 사람들이 관심을 가지고 있는 프로그램 언어이지요. 저도 안지는 꽤 되었지만 실제로 사용하면서 학습하는 시기는 최근인거 같습니다. 많은 흥미를 가지고 있는 언어입니다. 파이썬의 기본 사용방법에 대해서는 아래 포스팅을 참고하세요. 공부하면서 몇자 적어 보았습니다.

 

 

파이썬 사용환경 구축 및 기본 문법 사용 방법

최근에 파이썬을 배우고 있습니다. 파이썬은 다양한 프로그래밍을 쉽고 간편하게 만들 수 있는 유용한 프로그램 언어예요. 파이썬으로 빅데이터 분석을 하고자 열심히 배우고 있는데 파이썬에

funfundata.tistory.com

 

파이썬으로 실제 분석하고 시각화 하는 프로그래밍과 관련한 포스팅은 조금 더 유용한 결과를 분석할 줄 아는 시점에서 하는게 좋을것 같아요. 잘 알지도 못하면서 아는것처럼 포스팅하기에는 부담이 많이 됩니다. 그럼 재밌게들 학습해 보세요~

 

아 그리고 파이썬은 누구나 사용할 수 있는 무료 프로그램언어입니다. 빅데이터에 특화되어 있으니 알고 빅데이터 분석에 참여하시면 좋습니다

 

댓글()
  1. BlogIcon 지후니74 2020.09.17 10:49 신고 댓글주소  수정/삭제  댓글쓰기

    데이터의 관리와 분석이 부의 원천이 되는 시대인데... 유용한 정보입니다.

  2. BlogIcon 운동좋아하는성진 2020.09.17 10:50 신고 댓글주소  수정/삭제  댓글쓰기

    빅데이터를 잘 활용하기 좋은 프로그래밍이네요^^

  3. BlogIcon JoyHz 2020.09.17 11:25 신고 댓글주소  수정/삭제  댓글쓰기

    빅데이터아 이렇게나 다양한 곳에서 쓰이고 있었군요!

  4. BlogIcon ilime 2020.09.17 11:27 신고 댓글주소  수정/삭제  댓글쓰기

    빅데이터 분석 너무나 재미있는 분야입니다. 데이터스토어도 소개해주셔서 잘 알고 갑니다 :D

  5. BlogIcon 최류현 2020.09.17 11:54 신고 댓글주소  수정/삭제  댓글쓰기

    다양한 분야에서 쓰이는 빅데이터를 분석하기에 좋은방법이네요!

  6. BlogIcon 올리브나무7 2020.09.17 12:17 신고 댓글주소  수정/삭제  댓글쓰기

    김미경님도 중요하다고 말한 파이썬을 이용한 빅데이터 분석~
    이렇게 잘 배우시니 좋은 능력 하나 더 갖게 되신 겁니다^^

  7. BlogIcon 간단이 2020.09.17 12:19 신고 댓글주소  수정/삭제  댓글쓰기

    오오... 잘 보고 갑니다!

  8. BlogIcon 9냥 2020.09.17 18:24 신고 댓글주소  수정/삭제  댓글쓰기

    데이터 분석을 위해 자료들을 이렇게 가져오는군요 ㅎㅎ

  9. BlogIcon k.s.shin 2020.09.18 07:45 신고 댓글주소  수정/삭제  댓글쓰기

    데이터 시대이죠
    저도 어제 오늘 회사에서 데이터리터러시에대해 배우고 학습하고 있습니다. 어렵네요~