30、从图像中提取平面图及树结构网络索引相关研究

从图像中提取平面图及树结构网络索引相关研究

在模式识别和计算机视觉领域，图和树的应用越来越广泛，但也面临着诸多挑战。本文将介绍从图像中提取平面图的方法以及基于结构网络的树和子树索引方法。

从图像中提取平面图

在图像模式识别任务中，使用图的瓶颈问题是提取出合适的图，即图的大小要合理且语义稳定。为此，研究人员提出了一种从图像中提取图的新方法。

该方法的第一步是进行图像分割，但分割后的区域可能存在嵌套关系，且最后构建的图通常是不连通的，这在组合上不太合适，因此使用Delaunay三角剖分来解决连通性问题。具体操作是在嵌入图的每个面中独立进行Delaunay三角剖分，去除不在区域内的三角剖分边，最后合并三角剖分后的面，得到目标平面图G。

实验部分

研究人员使用伯克利分割数据集的公共基准进行实验，该数据集包含300张自然场景的RGB图像，每张图像至少包含一个可识别的对象，且由多人在无特定分割标准的情况下进行了不同程度的分割。
- 图提取过程中的损失
- 分割损失 ：评估了将图像I分割成k个区域的损失loss(I, Ik)，1633个可用分割的平均损失为10.0%。研究发现损失与区域数量无明显相关性，因为分割大多是语义分割，区域描绘的是对象或对象的部分，颜色不一定均匀。
- 兴趣像素数量的影响 ：研究了提取的兴趣像素数量对从分割图像Ik到图Bg(Ik, s)的损失的影响。提取10到500个兴趣像素并构建相应的图，结果表明，提取的图越大，边越能贴近区域边界，损失loss(Ik, Bg(Ik, s))越低，从10个兴趣像素的3.1%降至500个的0.2%。而且处理兴趣像素引起的损失远小于分割阶段的损失。

| s | k | |V | | loss(I, Ik)) | loss(Ik, Bg(Ik, s)) | loss(I, Bg(Ik, s)) |
| — | — | — | — | — | — |
| 50 | 3 | 104 | 0.084 | 0.006 | 0.089 |
| 50 | 7 | 123 | 0.084 | 0.005 | 0.089 |
| 50 | 9 | 175 | 0.084 | 0.006 | 0.090 |
| 50 | 13 | 149 | 0.084 | 0.007 | 0.091 |
| 50 | 20 | 207 | 0.083 | 0.007 | 0.090 |

• 与另一种平面图提取方法的比较 ：将该方法与另一种经典方法进行比较，经典方法是直接从原始图像中提取兴趣像素，转换为兴趣点元并通过Delaunay三角剖分关联。结果显示，新方法的损失略小，且能保留原始图像的语义信息。
• 图的大小 ：为了获得给定大小的图，可以调整分割级别和提取的像素数量。研究发现，当Bg(Ik, s)和Bg(Ik′, s′)大小相似时，无论选择较多兴趣像素和较少区域，还是相反情况，损失loss(I, Bg(Ik, s))都相当。而且，顶点数|V |与提取的兴趣像素数s近似呈线性关系，对于固定的s，分割区域越多，选择的点元越多，这是因为交点像素随区域数量增加而增多。此外，该方法虽不是压缩算法，但原始图像理论大小为450kB（JPEG编码约70kB），分割文件平均大小为28kB，150个顶点的图所需空间小于1kB。

基于结构网络的树和子树索引

在模式识别中，图作为结构模式表示越来越有吸引力，但使用图进行模式识别存在许多挑战，尤其是难以有效研究图和树的关系。本文聚焦于树结构的关系分析，提出了一种结构网络来表示树结构的演化关系，并提出了一种将树结构编码为数值序列的方法。

结构网络的构建

首先给出了图同构的定义：两个图G1 = (V1, E1)和G2 = (V2, E2)同构，当且仅当存在V1和V2之间的双射ϕ，使得对于V1中的每对顶点i, j，(i, j) ∈E1当且仅当(ϕ(i), ϕ(j)) ∈E2。判断两个无标签树T1和T2是否同构，使用Kucera引入的算法：
1. 在每棵树中，将所有叶子标记为1。若T1和T2的叶子数量不同，则判定为“非同构”。
2. 确定每棵树中未标记顶点的集合S1和S2，使得Si中每个顶点（最多一个邻居除外）的邻居都有标签。暂时将顶点标记为其标记邻居标签的有序列表，比较S1和S2中顶点的暂定标签，若不同则判定为“非同构”。
3. 用新的数字标签替换暂定标签，相同暂定标签的顶点获得相同新标签，且新标签未被使用过。
4. 若并非所有顶点都有标签，则返回步骤2。
5. 判定为“同构”。

结构网络中，每个结构用节点表示，节点按大小分层，边表示子 - 超关系，仅相邻层可连接。构建结构网络有两种方式：
- 自上而下 ：从两个顶点的结构开始演化网络。

initialize the structure network S = φ;
initialize the two-vertices structure t(2) and add it into S;
for each i from 2 to N −1; do
    for each structure tsub ∈T (i), where T (i) ⊆S; do
        cluster all vertices in tsub;
        for each cluster C do
            select an arbitrary vertex v ∈C;
            add an edge connecting to v to construct a new structure tnew;
            look for the isomorphic structure tsup of tnew, where tsup ∈T (i+1) and T (i+1) ⊆S;
            if found then
                link the structure tsub to tsup;
            else
                add tnew into S;
                link the structure tsub to tnew;
            end if
        done;
    done;
done;

• 自下而上 ：当给定的树结构不在网络中时，将其分解直到能完全连接到网络中。

look for the isomorphic structure tsup of t(N), where tsup ∈T (N) and T (N) ⊆S;
if found then
    return tsup;
else
    add a new cluster into S and use t(N) to indicate it;
    for each tsup ∈S where tsup have no link to the structure in T (Size(tsup)−1); do
        cluster all leaves in tsup;
        for each cluster C; do
            select an arbitrary leaves v ∈C;
            remove v to construct a new structure tnew;

对于网络中的节点，有减少和增长两个过程。减少是通过移除叶子节点得到子结构，增长是通过插入边得到超结构。子结构的数量等于叶子的类别数，超结构的数量等于所有顶点的类别数。可以通过计算顶点的图距离直方图来聚类顶点，从而高效地找到上下层的超结构和子结构。

综上所述，从图像中提取平面图的方法在保留语义信息的同时能有效减少信息损失，且图具有平面、连通和大小较小等优点；基于结构网络的树和子树索引方法为研究树结构关系提供了新的思路和方法，未来可以进一步研究替代损失函数、尝试不同的分割算法和创建连通性及结构刚性的方法，以推动相关领域的发展。

从图像中提取平面图及树结构网络索引相关研究（续）

树结构编码方法及实验验证

上文提到为了研究树结构关系，提出了将树结构编码为数值序列的方法，下面详细介绍该编码方法以及相关实验验证。

树结构编码方法

通过对树中的顶点进行聚类来实现树结构的编码。其核心思想是将树的结构特征转化为一个可用于查询的数值序列。在结构网络中，我们可以利用这个编码后的数值序列来快速定位具有相同或相似结构的树。例如，当我们需要在数据库或结构网络中查询特定结构的树时，只需将查询树进行编码，然后与网络中已有树的编码进行比对，就可以高效地找到匹配的树结构。

实验验证

为了验证该编码方法的有效性，进行了相关实验。实验过程主要是将编码方法与传统的匹配方法进行对比，以评估其在处理树同构问题时的效率。
- 实验设置 ：选择了一定数量的树样本，分别使用编码方法和传统匹配方法来判断树之间的同构关系。
- 实验结果 ：结果表明，编码方法在处理树同构问题时具有更高的效率。传统匹配方法需要对每对树进行详细的结构比较，计算复杂度较高；而编码方法将树结构转化为数值序列后，通过简单的数值比对就可以快速判断树之间的关系，大大减少了计算量和时间成本。

潜在应用及总结

上述从图像中提取平面图和基于结构网络的树和子树索引方法具有广泛的潜在应用，以下为详细介绍。

潜在应用

• 图像识别 ：在图像识别任务中，提取的平面图可以保留图像的语义信息，并且图的大小相对较小，便于存储和处理。通过对图像进行图提取和分析，可以更准确地识别图像中的对象和场景。例如，在自然场景图像中，利用提取的平面图可以识别出不同的物体，如树木、房屋等。
• 数据挖掘 ：在数据挖掘领域，树结构的关系分析和索引方法可以帮助发现数据中的潜在模式和结构。例如，在生物数据挖掘中，可以通过分析生物分子的树结构关系，发现生物分子之间的进化关系和功能相似性。
• 文档分析 ：在文档分析中，树结构可以用于表示文档的层次结构和语义关系。通过对文档树结构的索引和分析，可以快速定位和检索相关文档，提高文档处理的效率。

总结

本文介绍了两种重要的方法：从图像中提取平面图的方法和基于结构网络的树和子树索引方法。
- 从图像中提取平面图 ：该方法通过分割图像、构建图以及利用Delaunay三角剖分等步骤，在保留图像语义信息的同时，有效地减少了信息损失。实验结果表明，该方法具有较低的损失率，提取的图具有平面、连通和大小较小等优点，适用于各种类型的图像。
- 基于结构网络的树和子树索引 ：提出的结构网络和树结构编码方法为研究树结构关系提供了新的思路和方法。结构网络可以清晰地表示树结构的演化关系，树结构编码方法可以高效地处理树同构问题，提高了树结构关系分析的效率。

未来的研究方向包括：
- 研究替代损失函数，以进一步优化提取平面图和分析树结构关系的过程。
- 尝试不同的分割算法和创建连通性及结构刚性的方法，提高方法的通用性和准确性。
- 证明提取的图和树结构在模式识别任务中的有效性，并免费分发相关软件，为该领域的发展做出贡献。

总之，这些方法为模式识别和计算机视觉领域提供了有力的工具，有望在更多的实际应用中发挥重要作用。

以下是一个mermaid流程图，展示从图像中提取平面图的主要步骤：

graph LR
    A[图像] --> B[分割]
    B --> C[构建初步图]
    C --> D{Delaunay三角剖分}
    D --> E{去除非区域内边}
    E --> F[合并三角剖分面]
    F --> G[目标平面图G]

以下是一个表格，总结两种方法的特点和优势：
| 方法 | 特点 | 优势 |
| — | — | — |
| 从图像中提取平面图 | 分割图像、处理连通性、保留语义 | 损失率低、图具有良好性质、适用于各种图像 |
| 基于结构网络的树和子树索引 | 构建结构网络、树结构编码 | 高效处理树结构关系、便于查询和分析 |