Netty写回数据报错unsupported message type: TextWebSocketFrame (expected: ByteBuf, FileRegion)-CSDN博客

在使用Netty构建WebSocket服务时遇到一个问题，当尝试在建立连接时进行权限校验并回传结果时，遇到了UnsupportedOperationException。问题源于在握手完成前就尝试发送消息。解决方案包括：1)推迟到连接成功后再进行认证并返回结果；2)使用CompletableFuture异步处理权限校验，确保在正确的时间点发送响应。

问题描述

在调用ws请求后，往请求方写回数据发生报错：

DefaultChannelPromise@3404daa6(failure: java.lang.UnsupportedOperationException: unsupported message type: TextWebSocketFrame (expected: ByteBuf, FileRegion))

该问题是由于Netty在创建连接时，会触发channelActive()方法，然后会调用channelRead()方法
创建连接会获取到FullHttpRequest对象，我的代码在channelRead中从url获取了登陆信息，做了权限校验，往客户端写回权限认证结果，触发了报错。
主要代码如下：

// 认证方法
public boolean auth(HttpRequest httpRequest){
	// 具体实现
}
@Override
public void channelRead(ChannelHandlerContext ctx, Object msg) throws Exception {
	FullHttpRequest request = (FullHttpRequest) msg;
    FullHttpRequest copy = request.copy();
	// 接收认证结果
	boolean accept = auth(copy);
	// 返回客户端
	ctx.channel().writeAndFlush(new TextWebSocketFrame("成功"));
	ReferenceCountUtil.release(copy);
}

该问题是由于创建连接时代码逻辑走到channelRead()，还没有完成WebSocketServerProtocolHandler的链接建立，即握手还未完成

解决方法

下面是两种方式：

不在建立连接时写回数据，认证在建立连接成功后，通过客户端发起认证消息再去处理

异步处理权限校验

CompletableFuture.supplyAsync(() -> auth(copy))
.thenAccept(auth -> {ctx.channel().writeAndFlush(new TextWebSocketFrame("成功")))
.thenAccept(v -> ReferenceCountUtil.release(copy));