Releases: qlangtech/plugins
Release v3.7.1
Abstract
TIS的v3.7.1版本终于要与大家见面了，v3.7.1着重在以下几方面进行了功能加强和升级。
-
TIS与Apache Zeppelin无缝整合
Apache Zeppelin 是一款让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能。经过与TIS无缝整合之后，用户可以在TIS中方便观测各数据源
中数据的状态。TIS中安装及使用Zeppelin说明 -
重新整理TIS中离线调度功能
目前TIS中支持的离线调度引擎为Spark，Hive，AliyunODPS，用户可以一站式地在TIS中抽取数据，并且通过离线分析引擎进行
T+1数据分析操作
，详细请查看 -
支持用户在数据库系统中采用分表策略
生产环境中使用分表策略是DBA经常使用的应对海量数保存的一种方法，在本版本中以优雅的方式支持物理分表合并导入目标数据端，
详细请查看 -
添加Kafka Sink Connector插件
添加Kafka Sink Connector插件，支持canal和debezium两种格式，datavane/tis#179, 另外修改了flink的flink-json模块
在消息体中添加了source表名和生成记录的时间戳 qlangtech/flink@9844b37
Bug Fix
- [bug]After the ftp synchronization doris task is successfully created, an error message is displayed if you click the Generate script#211
- [bug]ftp file data synchronization doris error#207
- 通过插件池安装tis-hive-plugin失败#200
- 希望能提供一下mysql-SR没有主键不能建立实时通道的问题，辛苦了。#198
- 3.7 mysql 实时任务到 es有bug ,任务编译不了#194
- [Oracle->Doris] Chunjun Source 实时同步异常#192
- [mysql->doris]JdbcInputFormat.getMaxValueFromDb Faild And Instantiation classLoader of Source Flink-CDC-MySQL Faild#184
- mysql synchronize clickhouse#182
- mysql -> elastic 增量同步增量脚本生成出错#178
- MySQL -> Doris 实现增量通道分区表增量通道出错#176
- mysql->doris BIGINT(20) UNSIGNED 类型映射 失败#175
- oracle-> starRocks 增量实时脚本生成有误#173
- 当源表有选取部分列同步，开启flink 增量同步会出错#170
- Flink Server side JM TM启动 classloader 初始化并发异常#169
- Mysql Writer datasource selection faild#106
New Feature
- TIS 中支持阿里云 odps导入及基于MaxComputer的离线数据分析#183
- The save path of StreamUberJar shall be changed#180
- 增加 source & sink 端kafka#179
- starRocks Sink 端改造层chunjun类型的端#174
- add control flag startNewChain when use flink-cdc as Stream Source#164
- 实现TIS与Zeppling的整合弥补TIS在数据可视化方面的短板#161
- 实现数据通道删除功能#158
- 同库相同表结构表名不一样的表无法写入到相同的一张目标表#150
- 希望TIS 支持删除实例，目前实例只能新增#122
- Assemble节点中Dag调度并发度控制#119
Installation
- TIS Package 安装说明
- TIS Flink Standalone Package 安装说明
- TIS Zeppeline NoteBook Installation安装说明
Related Projects
Release v3.6.0
Abstract
经过几个月时间的开发TIS的v3.6.0版本终于要与大家见面了，v3.6.0着重在以下几方面进行了功能加强和升级。
-
对Apache Hudi Sink
- 主键模型重新进行抽象，已经完全和Apache Hudi 主键模型匹配。
- 为了支持Hudi能够支持三方包多版本多依赖，在TIS插件池中引入了
插件多版本依赖，具体来说，在运行时可以选择Hudi版本所依赖的不同Hadoop依赖版本目前TIS中Hudi可以选择 Hadoop 2.7或者 Hadoop3.0。 - 另外为云端用户加入了KerberOS设置项，使用大数据组件中为了网络安全需要，用户往往需要为组件访问开启KerberOS认证功能，为了简化添加该认证机制流程，3.6.0中添加了开启KerberOS认证功能
-
引入 Chunjun 来完善TIS Source/Sink 的端覆盖面 #139,
在TIS的生态中以MySQL为例，如需以MySQL作为Source端，用户可以根据自身业务特点，可以选择 基于 Flink-CDC MySQL 插件或者基于 Chunjun 基于polling 策略实现的插件，两种插件各有特点，至于选择使用那种就取决于使用者自己的判断了。临近发布发现一个很有意思的使用场景，那就是用户可以选择基于Flink-CDC实现 MySQL插件来监听MySQL 表的增量变更来将数据同步到以 Chunjun 构建的 Sink端中去，这样的混搭使用方式给用户带来了更多的选择自由度，也避免了
在Flink-CDC和Chunjun各自的框架内部重复造轮子从而造成生态内卷。 -
完善各个端（Source/Sink）的单元测试，由于添加到TIS生态中的数据端（Source/Sink）逐渐增多，每次发布无法通过人肉的方式把所有的端功能回归
一遍，因此在v3.6.0版本中通过引入testcontainer将各中数据库进行Stub化，最大限度保证每次发布功能稳定。
Bug Fix
- Oracle table column NUMBER(11,0) mapper to MySQL error#166
- mysql -> doris Flink 实时同步 出错#162
- postgresql作为Writer source的bug#149
- MySQL8 的Chunjun Source 执行datetime类型的数据映射出错#148
- 定义Oracle数据源过程使用ServiceName连接方式导致找不到表#147
- DataX 执行过程中，出错日志信息写入到了tis.log 中，没有打印到控制台执行日志中#146
Others
- 通过querySql中where条件实现增量抽取，flink 脚本支持SQL并且让用户自行修改#160
New Feature
Installation
Related Projects
Release v3.6.0-alpha
Abstract
经过几个月时间的开发TIS的v3.6.0版本终于要与大家见面了，v3.6.0着重在以下几方面进行了功能加强和升级。
-
对Apache Hudi Sink
- 主键模型重新进行抽象，已经完全和Apache Hudi 主键模型匹配。
- 为了支持Hudi能够支持三方包多版本多依赖，在TIS插件池中引入了
插件多版本依赖，具体来说，在运行时可以选择Hudi版本所依赖的不同Hadoop依赖版本目前TIS中Hudi可以选择 Hadoop 2.7或者 Hadoop3.0。 - 另外为云端用户加入了KerberOS设置项，使用大数据组件中为了网络安全需要，用户往往需要为组件访问开启KerberOS认证功能，为了简化添加该认证机制流程，3.6.0中添加了开启KerberOS认证功能
-
引入 Chunjun 来完善TIS Source/Sink 的端覆盖面 #139,
在TIS的生态中以MySQL为例，如需以MySQL作为Source端，用户可以根据自身业务特点，可以选择 基于 Flink-CDC MySQL 插件或者基于 Chunjun 基于polling 策略实现的插件，两种插件各有特点，至于选择使用那种就取决于使用者自己的判断了。临近发布发现一个很有意思的使用场景，那就是用户可以选择基于Flink-CDC实现 MySQL插件来监听MySQL 表的增量变更来将数据同步到以 Chunjun 构建的 Sink端中去，这样的混搭使用方式给用户带来了更多的选择自由度，也避免了
在Flink-CDC和Chunjun各自的框架内部重复造轮子从而造成生态内卷。 -
完善各个端（Source/Sink）的单元测试，由于添加到TIS生态中的数据端（Source/Sink）逐渐增多，每次发布无法通过人肉的方式把所有的端功能回归
一遍，因此在v3.6.0版本中通过引入testcontainer将各中数据库进行Stub化，最大限度保证每次发布功能稳定。
Bug Fix
- MySQL8 的Chunjun Source 执行datetime类型的数据映射出错#148
- 定义Oracle数据源过程使用ServiceName连接方式导致找不到表#147
- DataX 执行过程中，出错日志信息写入到了tis.log 中，没有打印到控制台执行日志中#146
- TIS启动时访问 http://mirror.qlangtech.com/.../default.json 超时#145
- error of create ftp source that is sink to mysql#143
- mysql同步clickhouse，字段大写导致映射字段重复#141
- mysql增量同步clickhouse部署异常#140
- [clickhouse] mysql-> clickhouse 使用k8s 集群同步方式#134
- [hudi]hudi DeltaStreamer 执行过程中tpi包并发修改出错#133
- spark sql查询批量同步生成的hudi分区表会报错，而hive和presto查询正常#131
- TIS平台自身的MySQL连接URL要加 useSSL=false 参数#130
- MySQL增量同步到clickhouse带有dateTime字段存在问题#116
- mysql8同步到es7.9.3版本date字段缺失"format"属性配置#114
- CUDCDCTestSuit 单元测试assert阶段定义的 TIME 类型 从flink RowData取出早8个小时#22
New Feature
- [feat] add to sink/source connector for customized selected tab properites#144
- 利用Chunjun添加新的Source/Sink支持#139
- 重构tis.pub文档结构#138
- 去除tis-solrj-client 模块依赖#137
- [starrocks][2.2版本] [兼容需求]sr从1.8版本升级到2.2后tis工作不正常需要tis调整对应的writer#132
- [Hudi] keyGenerator可视化配置完善#128
- [Clickhouse Sink] 目前不支持Delete 删除功能 #125
- sink-starrocks 字段与对端校验不一致#113
- TIs mysql的sink端插件暂未支持#110
- 支持DDL同步列注释自动添加#91