binlog事件数据结构

2021-08-26

binlog事件数据结构

TABLE_MAP

row格式的binlog文件中，每个ROW_EVENT之前都有一个TABLE_MAP_EVENT，用于描述该更新的元数据信息，记录包括，tableId, database,table,columnTypes等

结构如下：

1
2
3

监听的事件类型:TABLE_MAP
header:EventHeaderV4{timestamp=1629959676000, eventType=TABLE_MAP, serverId=1, headerLength=19, dataLength=35, nextPosition=9806, flags=0}
data:TableMapEventData{tableId=1447, database='flink_sql', table='xx', columnTypes=3, 15, 3, columnMetadata=0, 180, 0, columnNullability={1, 2}, eventMetadata=null}

EXT_UPDATE_ROWS

update操作事件，记录tableId，includedColumnsBeforeUpdate（更新之前列位置），includedColumns（更新后的列位置），before（更新之前的数据），after（更新之后的数据）。不包括列名信息

结构如下：

header:EventHeaderV4{timestamp=1629959676000, eventType=EXT_UPDATE_ROWS, serverId=1, headerLength=19, dataLength=45, nextPosition=9986, flags=0}
data:UpdateRowsEventData{tableId=1447, includedColumnsBeforeUpdate={0, 1, 2}, includedColumns={0, 1, 2}, rows=[
    {before=[4, ssxx11, null], after=[4, ssxx11, 3]}
]}

EXT_WRITE_ROWS

insert操作事件，包括：tableId，includedColumns（列位置信息），rows（插入的行信息）

监听的事件类型:EXT_WRITE_ROWS
header:EventHeaderV4{timestamp=1629961329000, eventType=EXT_WRITE_ROWS, serverId=1, headerLength=19, dataLength=27, nextPosition=10788, flags=0}
data:WriteRowsEventData{tableId=1448, includedColumns={0, 1, 2}, rows=[
    [5, xxx, b]
]}

EXT_DELETE_ROWS

delete操作事件类型,包括tableId，includedColumns（列位置），rows（行数据）

监听的事件类型:EXT_DELETE_ROWS
header:EventHeaderV4{timestamp=1629962064000, eventType=EXT_DELETE_ROWS, serverId=1, headerLength=19, dataLength=27, nextPosition=11063, flags=0}
data:DeleteRowsEventData{tableId=1448, includedColumns={0, 1, 2}, rows=[
    [5, xxx, b]
]}
DeleteRowsEventData{tableId=1448, includedColumns={0, 1, 2}, rows=[
    [5, xxx, b]
]}

QUERY

QUERY_EVENT事件以文本的形式记录信息,所有DDL操作以文本的形式记录在该事件中

监听的事件类型:QUERY
header:EventHeaderV4{timestamp=1629961045000, eventType=QUERY, serverId=1, headerLength=19, dataLength=150, nextPosition=10251, flags=0}
data:QueryEventData{threadId=3, executionTime=0, errorCode=0, database='flink_sql', sql='ALTER TABLE `flink_sql`.`xx` 
CHANGE COLUMN `age` `age` VARCHAR(10) NULL DEFAULT NULL'}