IRONZERO RUSTED WARFARE RL GitHub ↗

REINFORCEMENT LEARNING / RTS RESEARCH PLATFORM

把真实 RTS
变成可训练环境

面向 PC 版《铁锈战争》的强化学习研究平台。通过 RWPP Headless、结构化状态和动作桥,把真实战场接入 Gymnasium、PPO 与安全推理闭环。

PROTOCOLIronZero / 01
LICENSEAPACHE-2.0
RUNTIMERWPP HEADLESS
《铁锈战争》官方 Steam 商店实机战斗截图
REAL GAME / TRAINING TARGETSTEAM 647960
ALPHA / 01 HOSTILE / 02 ? BATTLEFIELDVISIBILITY / PARTIAL GRID 64 x 64
SOURCE STEAMPOLICY PPORWPP HEADLESS
05系统分层
09协议消息
21自动化测试
180M1 验证帧数
RWPP HEADLESS / M1 VERIFIED

01 / MISSION

不是点击脚本,
是可复现的研究环境。

核心工作不在 PPO,而在游戏状态一致性、动作合法性、episode 重置和版本锁定。

01
◎

真实游戏引擎

复用真实单位、寻路、战斗和战争迷雾规则,而不是用截图或简化模拟器替代游戏。

RWPP / JAVA
02
⌁

结构化接口

使用 tick、实体集合、局部地图和动作掩码,把 RTS 战场转换成模型可消费的观测。

GYMNASIUM / JSON
03
△

安全控制闭环

模型输出经过 schema、动作掩码、可见性检查和限频,再进入游戏线程命令队列。

SAFE / MASKED

02 / LIVE SANDBOX

真实对局,
逐帧落进沙盘。

下面不是示意图,而是一场真实 1.15 无头对局的回放:Lake 地图 tick 56821–60001,画面内 53–54 个单位,双方兵力 19 : 34 打到 22 : 32,本段落累计 2941 点伤害。

真实对局沙盘回放:Lake 地图岸边交战,蓝方基地与坦克、水中敌方舰队,HUD 显示 tick 与双方血量
REPLAY / REAL-GAME FRAMES 真实 1.15 对局的沙盘回放
DATA逐帧回传

桥接层按仿真步长批量推送状态快照(实测间隔 5–50 tick,多为 10),经 loopback TCP 落成 frames.jsonl,沙盘按绝对游标增量取帧。

RENDER真实资源

地形取自游戏原版 tileset,单位贴图按 unitSprites 清单解析,与网页沙盘同一套素材。

CAMERA交战锚定

镜头窗口按片段内的实际伤害重心定位,而不是简单包围盒,避免画面落在空白湖面上。

该片段由 tools/render_sandbox.py 从记录数据渲染,非浏览器截图;游戏素材版权归 Corroding Games 所有,仅用于非官方研究项目。

03 / TRAINING LOOP

从战场到策略,再回到战场。

01

OBSERVE

读取本队可见单位、资源、建筑和迷雾状态。

→
02

ENCODE

全局标量、实体集合与局部地图融合编码。

→
03

DECIDE

PPO 策略在动作掩码约束下选择单位组命令。

→
04

EXECUTE

动作经过安全层和游戏线程队列执行。

→
05

LEARN

按 tick 对齐 reward、done 与 GAE 训练信号。

LOCKSTEP 训练固定决策边界 REALTIME 推理永不阻塞游戏线程

04 / ARCHITECTURE

一个协议,
贯穿训练与推理。

05

Train / Evaluate

PPO · GAE · Checkpoint · Metrics

PYTHON
04

Gymnasium Env

reset · step · reward · done

RL API
03

IronZero Bridge

NDJSON · TCP · schema · sequence

PROTOCOL
02

Game Agent

snapshot · action queue · game thread

ADAPTER
01

Rusted Warfare

RWPP Headless · assets · fixed tick

ENGINE
ironzero / protocol-check
$ python -m unittest discover -s tests -v

Ran 20 tests in 0.026s
OK

$ python tools/validate_schema.py
validated 6 sample messages

$ .\scripts\smoke_rwpp.ps1 -RuntimeDir ... -Ticks 180
M1 harness ready / real runtime pending
SCHEMA 1.0.0IronZero / 01
A

结构化观测

全局资源、实体集合、局部地图和可见性版本。

B

动作桥

移动、攻击移动、指定目标、停止和保持。

C

动作掩码

采样时约束,执行前基于最新状态再次校验。

D

多实例训练

一环境一进程,独立端口、日志和 episode。

E

安全推理

超时兜底、急停、限频和不可见目标拦截。

F

可复现性

固定种子、轨迹哈希、版本清单和回放回归。

05 / ROADMAP

先证明环境,再追求胜率。

M0 / COMPLETE

协议与仓库契约

IronZero v1 schema、动作模型、顺序校验和测试基线。

M1 / COMPLETE

RWPP 运行验证

1.15 客户端、Java 25、RWML 与 RWPP 无头服务端完成 180 tick 实测。

M2 / NEXT

只读 Bridge

读取 tick、单位、资源、地图和迷雾,验证观测一致性。

M3—M4

动作桥与 PPO

固定 micro 场景、动作回执、随机基线,再接入训练闭环。

M5+

评估与演示

固定评估集、内网人机对战、模型晋级和可审计回放。

06 / OPEN SOURCE

代码开放,边界清晰。

原创代码采用 Apache-2.0,文档采用 CC BY 4.0;第三方依赖和未来 RWPP 集成保留各自许可证。

PUBLIC REPOSITORY

从协议基线开始,构建真实 RTS 训练环境。

进入仓库 ↗