![]()
이번 포스팅에선 RDBMS에서 오라클제외 가장 많이 사용되는 MySQL, MariaDB, PostgreSQL 들을 비교해 보고자 글을 작성하였다. 아래의 각 프레임워크별 슬로건을 시작으로 하나씩 알아보고자 한다MySQL - The world's most popular open source databaseMariaDB - the innovative open source databasePostgreSQL - The World's Most Advanced Open Source Relational Database MySQLMySQL HeatWave is a fully managed database service for transactions, real- time analytics across data ware..
5장에서는 DataFrame의 데이터를 다루는 기능을 소개함. 집계 윈도우 조인등의 내용은 7,8장간단한 코드 예제는 github 링크로 대체 Spark/Part2/Chapter5.ipynb at main · PingPingE/SparkContribute to PingPingE/Spark development by creating an account on GitHub.github.com이론은 기존 4장과 유사해서 4장의 링크를 첨부 pyspark 스파크 프로그래밍 기초 학습 - 박홍 데이터베이스Summary 챕터4에서는 pyspark의 기본적인 RDD관련 내용이 나옴page수가 많아서 걱정했는데 그냥 … 코드블럭과 기본적인 연산이어떻게 일어나는지에 대한 하나하나의 설명이였다.기초적인 내용이라devhyun..
2부에서 살펴보는 건DatasetDataFrameSql Table + View기존 [파이썬을 활용한 스파크 프로그래밍] 책의 3장내용과 많이 흡사함 [PySpark_#3] 파이썬을 활용한 스파크 프로그래밍, (3장/8장) - 박홍 데이터베이스 devhyung.github.ioDataFrame스파크에선 DataFrame과 Dataset이라는 두가지 컬렉션을 가지고 있음스키마는 DataFrame의 컬럼명과 데이터 타입을 정의함실행계획수립과 처리에 사용하는 자체 데이터 타입정보를 가지고있는 카탈리스트 엔진을 사용함 스파크는비타입형 DataFrame VS 타입형 Dataset스키마에 명시된 데이터 타입 일치 여부를 런타임에 확인함DatasetJVM기반의 언어인 스칼라와 자바에서만 지원함.스키마에 명시된 데이터 ..
스파크 클러스터 환경On-PremiseCloud이렇게 두개로 나눔자체 데이터 센터를 운영하는 조직에선 온프레미즈가 좋고, 그 밖의 모든 상황에서 트레이드오프가 존재하면 클라우스 쓰면 좋다.스파크는 하둡의 HDFS같은 분산 파일 시스템과 아파치 카산드라 처럼 k-v 저장소 가장 많이 사용함. 그리고 데이터를 수집하는 용도로 Kafka처럼 streaming message bus system dmf tkdydgka.https://www.databricks.com/try-databricks#account(를 장려하나... 못 써봤다.. ㅠ_ㅠ)그 외사실 이 장에서는 뭘 말하고 싶은 건 지 모르겠다..일괄적으로 나열을 해보려 한다.클러스터 매니저(스탠드얼론, YARN, 메소스)spark-s..
예제코드는 아래의 깃허브에있음 GitHub - FVBros/Spark-The-Definitive-Guide: 한빛미디어에서 출간한 스파크 완벽 가이드 1판의 소스코드 저한빛미디어에서 출간한 스파크 완벽 가이드 1판의 소스코드 저장소. Contribute to FVBros/Spark-The-Definitive-Guide development by creating an account on GitHub.github.com보다보니까 스칼라가 생각보다 생산적이고 직관적인 함수형언어 느낌이 나서 배워보고싶은 생각이 들었던 코드들이 많다(굳)어플리케이션 예제from __future__ import print_functionif __name__ == '__main__': from pyspa..
이 장에서 알아볼 주제는스파크의 아키텍처와 컴포넌트스파크 어플리케이션 생애주기파이프라이닝 + low-level 실행 속성스파크 어플리케이션 실행에 필요한거이전의 [파이썬을 활용한 스파크 프로그래밍] 책에서는 3장의 내용과 유사했다 [PySpark_#3] 파이썬을 활용한 스파크 프로그래밍, (3장/8장) - 박홍 데이터베이스 devhyung.github.io 스파크 어플리케이션의 아키텍처2장에서의 내용을 간단하게 복습 후 넘어감Driver운전자 역할, 물리적 머신의 프로세스며 클러스터에서 실행중인 어플리케이션의 상태를 유지Executor드라이버가 할당한 태스크를 수행하는 프로세스클러스터 매니저드라이버와 익스큐터를 허공에 띄울 수는 없으니 매니저가..
![]()
Chapter3. 스파크 기능 둘러보기 이 파트는 기존 [파이썬을 활용한 스파크 프로그래밍]책의 2장,4장부분과 많이 유사함 [PySpark_#2] 파이썬을 활용한 스파크 프로그래밍, (2장/8장) - 박홍 데이터베이스 Summary 챕터2에서는 OS별 스파크 설치와 언어별 실행 스크립트를 설명함.AWS의 EC2와 EMR 인스턴스에 띄워보는등 on-premise와 cloud모두 설명 Keywords & Terms EMR(Elastic Map-Reduce) YARN(Yet Another Resource Negotiator) devhyung.github.io 운영용 애플리케이션 실행하기 ./bin/spark-submit \ --master local \ ./examples/src/main/python/pi...
![]()
Chapter2. 스파크 간단히 살펴보기 1장은 스파크란 무엇인지 + 역사에대해서 이야기를 했습니다. 2장에서는 스파크를 가볍게 사용해보고 Dataframe, SQL, struced API를 사용해서 써본다고합니다. 스파크의 기본 아키텍쳐 이 파트는 [파이썬을 활용한 스파크 프로그래밍] 책의 3장과 같은 내용이였습니다. [PySpark_#3] 파이썬을 활용한 스파크 프로그래밍, (3장/8장) - 박홍 데이터베이스 devhyung.github.io 역시나 이 장도 다르게 말한 부분의 정리를 해볼까 합니다. 한 대의 컴퓨터로 수행하기 힘든 작업이 있잖아? 그러기 위해선 컴퓨터 클러스트(여러 컴퓨터 자원을 모아 하나의 컴퓨터처럼 사용)를 이용하여 해결하면 좋음 하지만 이 과정에서는 클러스터의 작업을 조율할 수..
![]()
앞으로 약 몇 주간 아래의 책을 리뷰해 보고자 합니다. 같이하는 팀원들 다들 화이팅입니다 ㅎㅎ 빅데이터와 스파크 간단히 살펴보기 (chapter 1~3) Chapter 1. 아파치 스파크란 예전 [파이썬을 활용한 스파크 프로그래밍] 책에 대해서 스터디를 했을 때의 같은 내용을 포스팅한 게 있어 링크를 첨부하고 이 책과의 다른 내용만 정리해 봤습니다. 스파크철학, 등장배경, 역사, 로컬환경에서의 실행 등은 아래의 링크에 정리되어 있습니다. [PySpark_#1] 파이썬을 활용한 스파크 프로그래밍, (1장/8장) - 박홍 데이터베이스 소개 Spark스터디에 참여할 수 있는 좋은 기회가 생겼다. 아래의 책을 여러 명이 읽어보고 정리하면서 서로의 생각을 공유하는 스터디 이며 그 첫 장을 여는 포스팅. 많이 부족..
