[PySpark] 스파크 완벽 가이드 - 4장 구조적 API 개요

2부에서 살펴보는 건

• Dataset
• DataFrame
• Sql Table + View

기존 [파이썬을 활용한 스파크 프로그래밍] 책의 3장내용과 많이 흡사함

[PySpark_#3] 파이썬을 활용한 스파크 프로그래밍, (3장/8장) - 박홍 데이터베이스

DataFrame

• 스파크에선 DataFrame과 Dataset이라는 두가지 컬렉션을 가지고 있음
• 스키마는 DataFrame의 컬럼명과 데이터 타입을 정의함
• 실행계획수립과 처리에 사용하는 자체 데이터 타입정보를 가지고있는 카탈리스트 엔진을 사용함 스파크는
• 비타입형 DataFrame VS 타입형 Dataset
• 스키마에 명시된 데이터 타입 일치 여부를 런타임에 확인함

Dataset

• JVM기반의 언어인 스칼라와 자바에서만 지원함.
• 스키마에 명시된 데이터 타입의 일치 여부를 컴파일 타임에 확인함

구조적 API 실행과정

1. 코드 -> 논리적 실행 계획
2. 스파크가 논리적 -> 물리적 실행계획 + 최적화 계획
3. 클러스터에서 물리적 실행 계획(RDD 처리)를 실행
   이 코드를 Catalyst Optimizer이 넘겨받아서 실행함

 

다음 글

 

[PySpark] 스파크 완벽 가이드 - 5장 구조적 API 기본 연산