kafka connector 버전 별 설치 방법

개요

es sink connector 버전에 따른 설치 방법을 알아본다.

내용

1. 파일 source connector
https://www.confluent.io/hub/jcustenborder/kafka-connect-spooldir

2.debezium 소스 커넥터
https://debezium.io/releases/1.8/

3.es sink connector
https://www.confluent.io/hub/confluentinc/kafka-connect-elasticsearch

3.1 es 버전에 맞는 source connector 확인하는 방법
git 소스 파일에서 원하는 버전을 선택하고 pom.xml에서 'es.version'을 확인한다.
https://github.com/confluentinc/kafka-connect-elasticsearch/tree/v11.0.0

4. avro-converter 설치 방법

아래와 같은 connect 기동에러가 발생한다면 하기 링크에서 컨버터를 설치 해 준다.

ERROR Stopping due to error (org.apache.kafka.connect.cli.ConnectDistributed:86)
org.apache.kafka.common.config.ConfigException: Invalid value io.confluent.connect.avro.AvroConverter for configuration key.converter: Class io.confluent.connect.avro.AvroConverter could not be found.

https://www.confluent.io/hub/confluentinc/kafka-connect-avro-converter