본문 바로가기

programmer/kafka

(3)
MSSQL의 CDC를 위한 SQL Server Agent 설정 및 특정 테이블 CDC 설정 Change Data Capture (CDC)는 테이블 데이터의 변경 사항을 캡처하고 기록하는 SQL Server의 기능입니다. 이 기능은 이력 변경 추적, 데이터 웨어하우싱 등의 데이터 관련 작업에 매우 유용할 수 있습니다. 특정 테이블에 CDC를 활성화하기 전에 SQL Server Agent를 실행하고 데이터베이스 수준에서 CDC를 활성화해야 합니다. 1. SQL Server Agent 시작: CDC를 활성화하기 전에 SQL Server Agent가 실행 중인지 확인하세요. SQL Server Agent는 데이터 변경을 캡처할 작업을 실행하는 데 책임이 있습니다. SQL Server Management Studio (SSMS)를 엽니다. 객체 탐색기에서 SQL Server 인스턴스에 연결합니다. 서버..
Avro converter 사용방법 Avro converter 사용방법 https://docs.confluent.io/platform/current/schema-registry/fundamentals/serdes-develop/serdes-avro.html 참고 블로그 https://velog.io/@suhongkim98/Kafka-Connect-Avro-Converter-%EC%A0%81%EC%9A%A9%ED%95%98%EB%A9%B0-%EC%8A%A4%ED%82%A4%EB%A7%88-%EB%A0%88%EC%A7%80%EC%8A%A4%ED%8A%B8%EB%A6%AC-%EC%97%B0%EA%B2%B0%ED%95%98%EA%B3%A0-%EC%9D%B4%EB%A5%BC-%EC%B9%B4%ED%94%84%EC%B9%B4-%EC%8A%A4%ED%..
kafka connector 버전 별 설치 방법 개요 es sink connector 버전에 따른 설치 방법을 알아본다. 내용 1. 파일 source connector https://www.confluent.io/hub/jcustenborder/kafka-connect-spooldir 2.debezium 소스 커넥터 https://debezium.io/releases/1.8/ 3.es sink connector https://www.confluent.io/hub/confluentinc/kafka-connect-elasticsearch 3.1 es 버전에 맞는 source connector 확인하는 방법 git 소스 파일에서 원하는 버전을 선택하고 pom.xml에서 'es.version'을 확인한다. https://github.com/confluenti..

반응형