使用TraCI在SUMO模拟器中应用强化学习的方法

        这个模拟是为了演示车辆如何通过选择正确的路径来避免交通拥堵，来学习到达目的地。它还展示了车辆如何根据收到的奖励优化其路径选择策略。

一、创建路线文件，用于构建仿真环境

        需要准备一个包含道路信息的网络文件和一个包含车辆路线信息的路线文件，下图显示了由

.net文件和.rou文件生成的模拟道路网络。

        绿色小长方形是阻塞道路(也就是Bottleneck)，左侧的红色小三角是模拟车辆，其目的地位于网络的右侧。

二、图像的转换(flag)

        两个图拥有相同的网络设计，上图显示了连接每个节点的边的ID，这也指示了车辆将采用的路径。例如，如果车辆从节点 A -> C -> F -> E -> B -> C 移动并返回节点 A，则所采取的路径将记录为 [“gneE0”, “gneE1”, “-gneE15 ”、“-gneE6”、“gneE5”、“gneE0”]。