Day 개발 기록

카프카 브로커 실행된 카프카 애플리케이션 중 서버 1대를 의미한다. 주키퍼 주키퍼 : 메타데이터( 브로커 id , 컨트롤러 id ) 저장 n개 브로커중 1대는 컨트롤러 수행 컨트롤러 : 브로커가 정상적으로 수행하는지 확인 Record 보내는 데이터 의미 ++ topic : 테이블 같은것 (topic , key , message ) 형식으로 보낸다. 프로듀서는 레코드를 생성하여 브로커에게 전송 전송된 레코드들은 파티션에 신규 오프셋과 함께 기록된다. 컨슈머는 브로커로 부터 레코드를 요청하여 가져간다. ( polling ) 형식 -> 브로커가 컨슈머에게 데이터를 보내는 것이 아니다!! 파일시스템 단위로 저장된다. 메시지가 저장될때는 세그먼트파일이 열린다. 세그먼트가 닫히고 일정시간(or 용량) 에 따라 삭제..

브로커 카프카가 설치된 서버단위 보통 3개단위로 구성 replication 파티션의 복제 리더 - 팔로워 ISR : In Sync Replica 파티션의 고가용성을 위해 사용 -> 파티션 복제기능으로 데이터 유실 방지 replication이 많다고 좋은것은 아님. 브로커의 리소스 사용량이 늘어나게 된다. 저장시간을 잘 생각해서 레플리케이션 설정 리더 파티션 : kafka 클라이언트와 데이터 주고받는 역할 팔로워 파티션 : 리더파티션으로 부터 레코드 지속적으로 복제 특정 파티션의 리더,팔로워가 레코드가 모두 복제되어 Sync가 맞는 상태 👉 ISR unclean.leader.election.enable = default는 false ->만약 true ? 유실이 된다. 데이터 처리가 중요하다는 의미 카프카 ..

1. github.com/microsoftarchive/redis/releases 들어가서 원하는 버전의 msi 설치파일 선택해서 설치한다. 설치 과정에서 Path 설정에 체크해야 한다. Releases · microsoftarchive/redis Redis is an in-memory database that persists on disk. The data model is key-value, but many different kind of values are supported: Strings, Lists, Sets, Sorted Sets, Hashes - microsoftarchive/redis github.com 2. cmd창에 들어간다. redis-server 접속한다. ------ 다른 창으로 r..

외래키로 존재하는 칼럼에 ai 다시 추가해주려 하니 1833 오류가 났다 외래 키 검사를 해제 해서 변경한다. SET FOREIGN_KEY_CHECKS = 0; 출처 : https://stackoverflow.com/questions/13606469/cannot-change-column-used-in-a-foreign-key-constraint