kafka connect, ms source connector 설치방법

msSql source connector는 debezium 에서 제공하는 플러그인을 설치하면 된다.

https://www.confluent.io/hub/debezium/debezium-connector-sqlserver

Debezium SQL Server CDC Source Connector

 

위 커넥터를 설치하려면 먼저 'confluent-hub' 클라이언트를 설치해야한다.

2023.07.10 - [programmer/Spark] - confluent-hub 설치 방법

confluent-hub 설치 방법

 

 

mssql 에서 cdc 가 실행되지 않는 경우

아래와 같이 특정 db와 table에 cdc 설정을 작은 후에도 _ct 테이블에 cdc 로그가 적재 되지 않는 경우가 있다 

create database _SEARCH_CDC;
use _SEARCH_CDC;

EXEC sys.sp_cdc_enable_db;


CREATE TABLE test_table (
    id INT PRIMARY KEY,
    name NVARCHAR(255),
    modified_date DATETIME DEFAULT GETDATE()
);

EXEC sys.sp_cdc_enable_table
    @source_schema = 'dbo',
    @source_name   = 'test_table',
    @role_name     = NULL;


SELECT * from cdc.change_tables;

INSERT INTO test_table (id, name)
VALUES (1, 'Test Name');

SELECT [name], is_cdc_enabled FROM sys.databases WHERE [name] = '_SEARCH_CDC';
SELECT [name], is_tracked_by_cdc FROM sys.tables WHERE [name] = 'test_table';

이럴때는 당황하지 말고 cdc를 수행하는 'SQL server agent'가 실행되고 있는지 확인하면 된다.
아래 글에 너무 친절하게 설명되어 있어 설명은 링크로 대체 한다.

 

https://taewooblog.tistory.com/entry/MS-SQLSQL-SERVER-AGENT-%EC%82%AC%EC%9A%A9-%EC%9E%90%EB%8F%99-%EC%8A%A4%EC%BC%80%EC%A4%84%EB%A7%81