[빅데이터 커리어 가이드북] 1부
처음으로 올리는 포스팅인데 점차 쌓여가겠지?
책 소개
전역 전에 자기계발비를 다 털고 싶어서 교보문고에서 뭘 살지 고민하다가 상단에 뜨는 추천 책이라서 구입 총 4부로 된 책이라 4일에 걸쳐 읽을 듯
특기할만한 내용
공개 데이터 사이트
케글에서 다양하게 활동해보자
이하는 해외 사이트
이 책에서 편의상 구분한 DS 직종 및 업무/요구사항
| 업무 | 요구사항 | |
|---|---|---|
| 데이터 엔지니어 | 비지니스를 이해하고 파이프라인 개발 및 관리. 백엔드/분산 시스템 개발 | SQL 필수. 프로그래밍 언어(Java, JS, Python, C/C++) 스킬. 하둡/스파크/도커 경험자 우대 |
| 데이터 애널리스트 | 비즈니스 인사이트 제공. 경향, 패턴, 이상치 인식 | SQL, 기초 통계 지식 필수. 태블로/스팟파이어 등 시각화 도구, AWS 등 클라우드 솔루션 경험자 우대 |
| 데이터 사이언티스트 | ML Model 활용하여 인사이트 창출. 예측 모델링, 추천 시스템 개발 | 통계, 수학, CS, 산공쪽 대학원 졸업자 우대. 데이터 애널리스트/데이터 분석 프로젝트 진행 경험자 우대. SQL 및 프로그래밍 언어 필수 |
| 데이터 리서처 | 최신 머신러닝, 인공지능, 통계 접근법의 연구와 구현, 알고리즘 및 모델 개발 | 통계, 수학, CS, 산공쪽 대학원 졸업자(박사) 우대. 학괴 논문 게재/독자적 연구 진행 경험자 우대. 프로그래밍 언어 필수 |
| 데이터 기획자 | 클라이언트 요구 바탕 프로젝트의 범위와 문제 정의. 서비스 개선 방안 및 기한 내 마무리 스케쥴링 | 기획 업무 경력자 우대. 프로그래밍 언어 1개 이상 사용 가능자 우대. Power BI 등 시각화도구 및 분석 도구 스킬 필수 |
그냥 대학원 가라는 소리 아닌가..? ㅜㅜ
다룰 만한 SW/Language
빅데이터 분산 저장/처리
빅데이터 분산 저장 및 처리 전문 소프트웨어
- 하둡(Hadoop)
- 하이브(Hive)
- 임팔라(Impala)
- 스파크(Spark)
커뮤니케이션
사내 커뮤니케이션 툴
- 슬랙(Slack)
- 노션(Notion)
- 애자일(Agile) 방식
시각화 툴
DS(Visualization)
- 스팟파이어(Spotfire)
클라우드 컴퓨팅 툴
Cloud Computing
- AWS(Amazon Web Services): S3
- Amazon 아테나(Athena): S3를 ETL 없이 간편하게 분석 가능한 대화식 쿼리 서비스
- Amazon 퀵사이트(QuickSight): 대시보드 및 데이터 시각화 제공, 애드혹 분석 사용 가능
- Amazon 세이지메이커(Sagemaker): 머신러닝 모델 구축/학습/배포 툴