[PySpark] 스파크 완벽 가이드 - 16장 스파크 어플리케이션 개발하기

예제코드는 아래의 깃허브에있음

GitHub - FVBros/Spark-The-Definitive-Guide: 한빛미디어에서 출간한 스파크 완벽 가이드 1판의 소스코드 저

보다보니까 스칼라가 생각보다 생산적이고 직관적인 함수형언어 느낌이 나서 배워보고싶은 생각이 들었던 코드들이 많다(굳)

어플리케이션 예제

from __future__ import print_function
if __name__ == '__main__':
    from pyspark.sql import SparkSession
    spark = SparkSession.builder \
        .master("local") \
        .appName("Word Count") \
        .config("spark.some.config.option", "some-value") \
        .getOrCreate()

    print(spark.range(5000).where("id > 500").selectExpr("sum(id)").collect())

로 구성해서 SparkSession객체 생성 후 -> 하나 생성해서 전달전달하는게 좋음

$SPARK_HOME/bin?spark-submit --master local pyspark_template/main.py 

로 실행시켜볼 수 있음

스파크 어플리케이션 테스트

spark-submit은 사실 이 전 책에서 정리했어서 링크를 첨부합니다

[PySpark_#2] 파이썬을 활용한 스파크 프로그래밍, (2장/8장) - 박홍 데이터베이스

어플리케이션 속성

16.5.2인 406p 부터 sparkconf에서 설정해볼만한 속성값들이 가지는 의미랑 기본값들을 알려줌
참조하면 좋아보입니다.

 

 

---

다음 포스팅

 

[PySpark] 스파크 완벽 가이드 - 17장 스파크 배포 환경