semantic-segmentation-editor简介

用于创建 AI 训练数据集（2D 和 3D）的基于 Web 的标记工具。该工具是在自动驾驶研究的背景下开发的。它支持图像（.jpg 或 .png）和点云（.pcd）。它是一个使用React、 Paper.js和three.js开发的Meteor应用程序。

功能概述

主要标注工具主要包括两种：

1.位图图像标注工具

2.PCD 点云标注工具

快速运行

程序支持windows，linux等系统；支持docker，源码等部署。

本篇介绍在windows下源码运行，环境准备：node14.x

1.安装依赖：Meteor

npm install -g meteor

ps：因网络问题，安装过程可能会很虐心，坚持住/另辟蹊径。

2.下载源代码

git clone https://github.com/Hitachi-Automotive-And-Industry-Lab/semantic-segmentation-editor.git

克隆有难度可以直接下载zip包到本地，然后进行解压。

3.安装依赖

cd semantic-segmentation-editor
meteor npm install

ps：受网络影响，安装过程可能会比较不友好，需耐心或者自己想办法。

4.修改配置

打开settings.json配置文件，修改images-folder属性：位图图像和pcd文件的根目录；internal-folder：点云二进制分割数据或3d点云文件。

检查Meteor 环境变量以配置应用程序（MONGO_URL、DISABLE_WEBSOCKETS...）

settings.json

{
  "configuration": {
    "images-folder": "d:\images", // 图片和pcd(点云)文件的根目录
    "internal-folder": "d:\pointcloud_data" // Segmentation data (only 3D) will be stored in this folder
  },
  // The different sets of classes available in the tool
  // For object classes, only the 'label' field is mandatory
  // The icon field can be set with an icon from the mdi-material-ui package
  "sets-of-classes": [
    {
      "name": "Cityscapes", "objects": [
      {"label": "VOID", "color": "#CFCFCF"},
      {"label": "Road", "color": "#804080", "icon": "Road"},
      {"label": "Sidewalk", "color": "#F423E8", "icon": "NaturePeople"},
      {"label": "Parking", "color": "#FAAAA0", "icon": "Parking"},
      {"label": "Rail Track", "color": "#E6968C", "icon": "Train"},
      {"label": "Person", "color": "#DC143C", "icon": "Walk"},
      {"label": "Rider", "color": "#FF0000", "icon": "Motorbike"},
      {"label": "Car", "color": "#0000E8", "icon": "Car"}
    },
    { ... }
  ]
}

5.启动服务

meteor npm start

运行成功后，打开浏览器，输入url地址：http://localhost:3000，即可进入标注工具。

如何使用

1.使用位图图像标注工具，主要包括：

多边形绘图工具 (P)

• 单击和/或拖动以创建点
• 键入 ESC 以相反的顺序删除最后创建的点
• 拖动鼠标指针或按住 Shift 键可创建复杂多边形，而无需单击每个点
• 键入 ENTER 或双击第一个点以关闭多边形

魔法工具 (A)

• 使用对比度阈值检测自动创建多边形
• 此工具仅用于绘制具有鲜明对比边缘的对象的轮廓（例如：天空、车道标记）
• 在要勾勒的区域内单击，然后调整右侧的任何滑块以调整结果
• 键入 ENTER 以验证结果

操作工具 (Alt)

• 选择、移动和添加点到现有的多边形
• 在多边形内单击以选择它
• 单击一个点可以选择它
• 围绕多个点绘制套索以选择它们
• 用鼠标拖动一个点来移动它
• 按住 Shift 可分离属于多个多边形的点
• 单击多边形的线以创建新点并拖动新创建的点以放置它

切割/扩张工具 (C)

• 修改现有多边形的形状
• 选择要修改的多边形
• 在多边形的轮廓上画一条线开始和结束
• 新线替换起点和终点之间的现有路径
• 生成的形状始终是最大的形状

连续多边形工具 (F)

• 轻松创建连续多边形
• 使用多边形绘图工具开始一个新的多边形
• 通过捕捉到要解决的多边形的轮廓来创建起点
• 通过捕捉到另一个轮廓来创建终点，此时您必须有一条直线穿过一个或多个现有多边形
• 按 F 一次或多次以选择要使用的解决方法

2.使用点云编辑器

• 鼠标左键：围绕当前焦点旋转点云（默认为点云中心），单击单个点将其添加到当前选择中
• 鼠标滚轮：放大/缩小
• 鼠标中键（或 Ctrl+单击）：更改相机的目标
• 鼠标右键：用于同时选择多个点，具体取决于当前的选择工具和选择模式。
• 箭头键：在场景中移动

PCD 支持

• 支持的输入 PCD 格式：ASCII、二进制和二进制压缩
• 支持的输入字段：x, y, z, label(可选整数), rgb(可选整数)
• 输出 PCD 格式为 ASCII 字段x, y, z, label,object 和rgb（如果可用）

API 接口

• /api/listing：列出所有带注释的图像
• /api/json/[PATH_TO_FILE]：（仅限 2D）获取该文件的多边形和其他数据
• /api/pcdtext/[PATH_TO_FILE]：（仅限 3D）使用 2 个附加列获取 pcd 文件的标签：label 和object
• /api/pcdfile/[PATH_TO_FILE]：（仅限3D）相同但返回“纯/文本”附件文件下载

开源协议

暂无