minjeong-oh
기록
minjeong-oh
전체 방문자
오늘
어제
  • 분류 전체보기 (207)
    • ML & Neural Net (3)
    • ◼️GNN (1)
    • ◼️시계열 (1)
    • ◼️추천시스템 (0)
    • ◼️수학 (3)
    • Data Engineer (2)
    • ◼️Spark (1)
    • ◼️Kafka (1)
    • ◼️Elestic Search (0)
    • ◼️Redis (0)
    • ◼️ClickHouse (1)
    • Programming Language (4)
    • ◼️Git (1)
    • ◼️Python (1)
    • ◼️C++ (33)
    • ◼️Fortran 99 (2)
    • ◼️OpenGL (7)
    • ◼️MFC (35)
    • ◼️Flutter (46)
    • ◼️Kotlin (1)
    • ◼️Android (1)
    • ◼️Java (1)
    • ◼️C (4)
    • Development (0)
    • ◼️디자인패턴 (0)
    • ◼️네트워크 (2)
    • ◼️인증 (1)
    • Computer Science (4)
    • 알고리즘 문제풀이 (12)
    • SQL 고득점 Kit 문제풀이 (8)
    • 취업준비 (0)
    • Notion 정리 글 (1)
    • Article Scrap (3)
      • Careerly - Q&A (7)
      • Careerly - Post (2)
    • 기타 등등 (16)

블로그 메뉴

  • 글쓰기
  • 홈
  • 태그
  • 방명록
  • 편집

공지사항

인기 글

태그

  • mfc
  • kafka구축
  • 이차원구조체배열포인터
  • 이것이C++이다책참고
  • 티스토리폰트배경색없애기
  • 인공지능개발자
  • 구조체배열포인터
  • NextJSSwagger
  • 그램풀스팩업그레이드
  • OpenGL회전
  • API문서정리
  • 리눅스파티션
  • hello테마
  • 19년식그램램장착
  • AI배워야하나
  • 그램업그레이드
  • SpringBootSwagger
  • 구조체매개변수
  • 19년식그램SSD장착
  • GSLB

최근 댓글

최근 글

티스토리

hELLO · Designed By 정상우.
minjeong-oh

기록

◼️Spark

[Spark] 개념

2025. 2. 6. 16:12

 

* MapResulce 한계를 극복한다.

* MapReduce는 디스크에 저장되어서 지연시간을 증가시킨다.

* Spark는 in-memory 방식을 사용해서 중간 연산 결과를 디스크에 저장하지 않기 때문에 중간 연산에서 디스크 I/O 가 발생하지 않는다. 

* in-memory가 디스크보다 10,000 배 빠르다.

* in-memory의 단점은 휘발성이다. 컴퓨터가 꺼지면 날아간다는 것

     - 그래서 이를 보완하기 위해서 나온 개념이 RDD이다.

     - RDD: 심플하게 생각하면 배열이다.

 

 

    티스토리툴바