![]()
1. 배치 vs 스트림배치 프로세스는 언제 읽기 작업이 완료되었는지 알 수 있다.하지만 실제로는 많은 데이터는 시간이 지남에 따라 점진적으로 도착하기 때문에 무제한이다.일반적으로 스트림(stream)은 시간이 지남에 따라 점진적으로 제공되는 데이터를 의미이다. 2. 이벤트 스트림 전송배치 작업에서 또한 스트리밍과 유사한 형태로 작업할 수 있다.파일이나 DB 를 통해 생산자에서 파일이나 DB로 쓰기 작업을 하고, 소비자로서 주기적인 폴링을 통해 작업을 처리할 수 있다.낮은 지연의 요구 사항에서 주기적인 폴링 비용으로 인해 소비자에게 알림을 전달하는 방법이 소비자에게 전달하는 방법이 필요하다.이벤트는 JSON, text string, binary form 형태로 인코딩되고 저장된다. 3. 메시징 시스템일반적..
![]()
1. 일관성, 정합성, 무결성 ??(1) 일관성일관성 : 동일한 시스템 내에서 데이터가 서로 모순되지 않는 것을 의미한다.최종적 일관성(eventual consistency) : 불특정 시간동안 기다리면 결국 모든 읽기 요청이 같은 값을 반환한다는 뜻이다. 복제 데이터베이스는 대부분 최소한 최종적 일관성을 제공한다.이런 약한 보장에도 불구하고 eventual consistency 는 성공적인 애플리케이션과 수익성 있는 비즈니스를 지원한다.(2) 정합성정합성 : 여러 시스템에서 데이터가 정확하고 일관되게 유지하는 것을 의미한다.일관성과 정합성의 차이점 : 서로 다른 시스템 간의 데이터를 다루는 반면, 데이터 일관성을 동일한 시스템 내의 데이터를 다룬다.(3) 무결성무결성 : 데이터가 정확하고 유효한 상태를..
![]()
1. 분산 시스템에서의 부분 결함분산 환경에서 결함이 발생하는 원인은 크게 네트워크와 시계 및 타이밍 문제로 나뉜다. 분산 시스템은 기본적으로 부분 장애 가능성을 염두하고 내결함성 매커니즘을 도입해야 한다. 분산 시스템은 부분 장애로 인해 비결정적인 연산이 발생할 수 있기 때문이다. 결정적인 연산은 하드웨어가 올바르게 동작하면 같은 연산은 항상 같은 결과를 낸다는 의미이다.Internet protocol(IP, 3계층) 은 신뢰성이 낮다. 패킷의 누락, 지연, 중복, 순서 불일치 문제가 발생할 수 있다. TCP(Transmission Control Protocol) 는 손실된 패킷 재전송, 중복 제거, 순서 재조립을 통해 IP 에서의 낮은 신뢰성을 전송 계층에서 보장한다. 하지만, 네트워크 지연에 관한 ..
