Protobuf on I'm OWenT

新版本libatbus的设计变更——从树形路由到拓扑驱动

Fri, 27 Mar 2026 16:08:45 +0000

前言

很久很久以前，我为了解决以前项目中bus通信膨胀的问题设计了 libatbus, 当时主要解决的核心问题是解决大量服务器节点互通时服务器间两两建立通道时的大量内存浪费问题。也同时使用跨进程的无锁队列避免了多写单读场景下的加锁以提高性能。

Protobuf又一坑 - C++标准和ABI兼容性

Sun, 11 Jan 2026 01:15:45 +0000

背景

前段时间例行升级我为游戏框架写的构建系统 cmake-toolset 时，又遇到了 protobuf 的一个新 ABI 兼容性问题。

这已经不是第一次被 protobuf 的 ABI 兼容性问题“教育”了。这篇把问题拆开讲清楚，并给出一套可落地的规避方案，供遇到类似问题的同学参考。

编译环境：Windows + Visual Studio 2026
Abseil-Cpp：20250512.1
Protobuf：v31.1（看起来目前最新的 v33.1 也有这个问题）

现象与错误定位

首先在链接阶段出现错误：

protobuf v22和gRPC v1.55版本升级的依赖变化和upb适配

Sat, 17 Jun 2023 17:01:45 +0000

前言

近期的 protobuf v22和 gRPC v1.55 版本在构建流程层面引入了一些比较大的变化。最初我关注到这个问题是在我参与的一个社区项目 opentelemetry-cpp 的issue中（ https://github.com/open-telemetry/opentelemetry-cpp/issues/2095 ）。直到后来，我们在自己的构建系统 cmake-toolset 对 protobuf 和 gRPC 也进行了升级。所以顺带给社区的项目也提交了一些相关的Patch，在这里分享一下可能其他同学也会碰到。

关于protobuf近期版本（v20/v3.20+）和 gRPC v1.54版本在某些编译环境下的一些链接和编译问题

Fri, 16 Jun 2023 22:25:45 +0000

前言

年初的时候我们项目组的构建系统( cmake-toolset )里把 protobuf 升级到了 v20/v3.20 版本, gRPC 也升级到了 v1.54 版本。然而这两个版本在Linux的ELF ABI和MacOS的Macho ABI下都出现了一些符号未定义的问题（当然也包含Android和iOS）。这些问题也不仅限于 protobuf v20/v3.20 和 gRPC v1.54，后续的版本有些修复了，有些没有。在官方完全修复之前，我们自己打了一些patch去修复这些问题。

xresloader-Excel导表工具链的近期变更汇总

Tue, 18 Apr 2023 20:27:45 +0000

前言

xresloader 是一组用于把Excel数据结构化并导出为程序可读的数据文件的导表工具集。它包含了一系列跨平台的工具、协议描述和数据读取代码。

主要功能特点：

跨平台（java 11 or upper）
Excel => protobuf/msgpack/lua/javascript/json/xml
完整支持协议结构，包括嵌套结构和数组嵌套
同时支持protobuf proto v2 和 proto v3
支持导出proto枚举值到lua/javascript代码和json/xml数据
支持导出proto描述信息值到lua/javascript代码和json/xml数据（支持自定义插件，方便用户根据proto描述自定义反射功能）
支持导出 UnrealEngine 支持的json或csv格式，支持自动生成和导出 UnrealEngine 的 DataTable 加载代码
支持别名表，用于给数据内容使用一个易读的名字
支持验证器，可以在数据里直接填写proto字段名或枚举名，或者验证填入数据的是否有效
支持通过protobuf协议插件控制部分输出
支持自动合表，把多个Excel数据表合并成一个输出文件
支持公式
支持oneof,支持plain模式输入字符串转为数组或复杂结构,支持map
支持空数据压缩（裁剪）或保留定长数组
支持基于正则表达式分词的字段名映射转换规则
支持设置数据版本号
Lua输出支持全局导出或导出为 require 模块或导出为 module 模块。
Javascript输出支持全局导出或导出为 nodejs 模块或导出为 AMD 模块。
提供CLI批量转换工具（支持python 2.7/python 3 @ Windows、macOS、Linux）
提供GUI批量转换工具（支持Windows、macOS、Linux）
CLI/GUI批量转换工具支持include来实现配置复用

xresloader 包含了多个组件，其中最主要的部分分别是。

填个转表工具 xresloader 去年的坑（数组尾部裁剪）

Sat, 27 Aug 2022 20:59:45 +0000

前言

xresloader 是一个功能比较全面并且跨平台的Excel导出protobuf、msgpack、xml、lua、json、javascript、UE-Csv、UE-Json等数据格式的工具。并且整个工具链还包含了基于模板引起生成读表代码的 xres-code-generator ，方便产品/策划使用的 GUI批量执行工具 - xresconv-gui 和方便CI集成和程序使用的命令行批量执行工具 - xresconv-cli。

集成 upb 和 lua binding 的踩坑小记

Sat, 20 Aug 2022 17:59:45 +0000

前言

最近新项目重新评估了一下protobuf的C/C++ -> Lua binding 方案。之前，使用最广泛的 Lua binding 方案应该是云风的 pbc 。但是这个库已经是作者弃坑好多年的状态了。我之前使用 pbc 的时候刚碰上 protobuf 3.0 刚出来，当时打了patch来适配 protobuf 3.0 ，还修复了一些其他问题。这个Patch有些推给了上游，有些因为和上游的某些机制冲突没有推。我了解到的很多其他项目也或多或少的打了自己的Patch，大多数也没往上游推。基本上 pbc 已经处于一个失维的状态，所以这次新项目就干脆来寻求更好，或者说仍然有良好活跃度的解决方案。于是就看向了 upb 。

C++20 Text Formatting/fmtlib 适配问题小记

Sun, 05 Sep 2021 15:48:54 +0000

前言

C++20 正式发布已经有一段时间了。其中 Text Formatting 是一个我个人比较感兴趣的新组件。它主要是解决了之前字符串格式化库 ( printf 系 ) 的效率问题和运行时安全的问题。并且新的格式设置的形式也比较友好。相关规范和用法可以参见:

在C++ 20能够普及以前，我们可以用 fmtlib 这个库来完成一样的功能。实际上我们项目组已经在这么做了。在使用 fmtlib 之前，比如我们按玩家打日志大概是这种形式。

基于protobuf的代码生成

Tue, 09 Feb 2021 11:39:45 +0000

前言

前段时间我用 Python 和 Mako 模板引擎重新梳理了我们项目中的一些重复的流程。重构了所有的RPC系统。这个工作其实完成了挺久了，但是迫于懒一直拖着没写完这篇记录，就一直没发。

使用代码生成工具实现RPC模块还是比较有成效的事情，有助于统一API接口，也有利于部分组件模块化，修改和重构内部实现也会比较方便。业内已有的代码生成实现也比较多，但是多是针对特定系统和框架实现的，如果要接入其他框架或者说接入多种SDK的流程并不是很方便。我这次的实现一方面是针对我们内部的服务提供类似很多RPC系统也提供的内部接口、实现和注册流程的标准化，另一方面也是尽可能灵活且通用一些，可以用于接入外部的SDK。

几个使用protobuf中C++接口的Arena的坑

Tue, 10 Nov 2020 16:35:33 +0000

前言

protobuf 从3.0版本开始对C++增加了Arena接口，可以用于使用连续的内存块分配内部对象，并且可以更容易精确地控制对象地生命周期，最终达到减少内存碎片地目的。最近我给我们项目的部分接口流程进行相关地改造，在大多数使用 protobuf 的地方都增加了对Arena的支持，但是在接入过程中也碰到了一些问题和坑。

xresloader转表工具链增加了一些新功能(map,oneof支持，输出矩阵，基于模板引擎的加载代码生成等)

Sat, 29 Aug 2020 14:07:45 +0000

xresloader 是一组用于把Excel数据结构化并导出为程序可读的数据文件的导表工具集。它包含了一系列跨平台的工具、协议描述和数据读取代码。支持把Excel配置输出成 protobuf二进制、xml、json、lua、javascript、nodejs、msgpack、UE的Json格式及支持蓝图的代码、UE的Csv格式及支持蓝图的代码。

protobuf、flatbuffer、msgpack 针对小数据包的简单对比

Sat, 03 Aug 2019 10:59:58 +0000

前言

前段时间我尝试给 atframework 的 libatapp 整合进UnrealEngine做Dedicated Server和逻辑server通信的时候碰到了一些问题。主要在于这些客户端引擎一般来说默认都是关闭exception的甚至会关闭RTTI。而 libatapp 所依赖的通信组件 libatbus 里内部协议是msgpack ，而 msgpack 的官方 C++ 的header only的实现是必须开异常的功能的。所以我近期打算抽空增强一波 libatbus 的功能，增加一些跨版本向前向后兼容功能，和一些简单的验证功能（仅仅是为了防止误操作导致的问题）。具体的变更等我弄完了再发一篇。

Excel转表工具(xresloader) 增加protobuf插件功能和集成 UnrealEngine 支持

Sat, 08 Jun 2019 12:47:58 +0000

前言

我们项目组最近在学习UE，然后就涉及导表这个东东。之前我已经做过一个功能比较全面并且跨平台的Excel导出protobuf、msgpack、xml、lua、json、javascript等的工具 xresloader 。并且做了方便服务器集成的CLI工具和方便策划、前端用的GUI工具。那么这次很自然地就让它能够导出UE所支持的内容就行了。然后额外增加了基于protobuf插件形式的多key索引和自动生成一些支持蓝图和非蓝图的常用接口代码。

pbc的一个陈年老BUG

Mon, 04 Jul 2016 13:01:42 +0000

近期跟了一下pbc的lua-binding的一个老BUG，起源是我们客户端报了一个奇怪的问题，我们游戏里的某些功能的optional字段，服务器并没有下发数据，但是客户端竟然能读到。

一开始我去issues里翻，翻到了个这个， https://github.com/cloudwu/pbc/issues/27 。这是2014年就发现的BUG了，然而云风说考虑到性能问题不想改。大事我觉得吧，就算一些性能损失，也好过容易出BUG，并且协议打解包在游戏中的CPU占用本身就不重。所以这能自己动手，丰衣足食喽。

理解Protobuf的数据编码规则

Thu, 31 May 2012 02:18:17 +0000

之前用Google的Protobuf感觉真是个很好用的东西，于是抽时间研究了下他的数据的存储方式，以后可以扩展其他语言的解析器。其实与其说是研究，不如说是翻译。这些文档里都有，可能有些地方理解的不太对，还请见谅。