向驾驶员显示有关其路线的更多详细信息通常可以帮助他们在陌生的位置导航。例如，车道计数可以使GPS系统警告驾驶员偏离或合并车道。合并有关停车位的信息可以帮助驾驶员提前计划，而绘制自行车道则可以帮助骑自行车的人谈判繁忙的城市街道。提供有关道路状况的最新信息也可以改善救灾计划。
但是创建详细的地图是一个昂贵且耗时的过程，大部分由大公司(例如Google)完成，该过程会用绑在引擎盖上的摄像头向车辆发送来捕获该区域道路的视频和图像。将其与其他数据结合可以创建准确的最新地图。但是，由于此过程很昂贵，因此世界上的某些地区被忽略了。
一种解决方案是在卫星图像上释放机器学习模型(更易于定期获取和更新)，以自动标记道路特征。但是道路可能会被树木和建筑物遮挡，这是一项艰巨的任务。麻省理工学院和QCRI研究人员在人工智能促进协会会议上发表的一篇论文中描述了“ RoadTagger”，它使用神经网络架构的组合来自动预测后面的车道和道路类型(住宅或高速公路)的数量障碍物。
在对美国20个城市的数字地图上被遮挡的道路上测试RoadTagger时，该模型对车道号的准确度为77%，对推断的道路类型的准确度为93%。研究人员还计划使RoadTagger能够预测其他特征，例如停车位和自行车道。
“最新的数字地图来自大公司最关心的地方。如果您在他们不太在意的地方，则在地图质量方面处于劣势。”合著者，电机工程和计算机科学系(EECS)的教授Sam Madden说。以及计算机科学与人工智能实验室(CSAIL)的研究员。“我们的目标是使生成高质量数字地图的过程自动化，以便可以在任何国家/地区使用。”
该论文的共同作者是CSAIL研究生何松涛，Favyan Bastani和Edward Park。EECS本科生Satvat Jagwani;CSAIL教授Mohammad Alizadeh和Hari Balakrishnan教授;QCRI研究人员Sanjay Chawla，Sofiane Abbar和Mohammad Amin Sadeghi。
结合CNN和GNN
Madden说，QCRI所基于的Quatar“对于构建数字地图的大公司而言不是优先事项”。然而，它正在不断地建设新的道路，并改善旧的道路，尤其是为主办2022年FIFA世界杯做准备。
麦登说：“在访问卡塔尔时，我们经历了Uber司机无法弄清楚自己要去哪里的经历，因为地图太近了，” “如果导航应用程序没有正确的信息，那么对于诸如车道合并之类的事情，这可能会令人沮丧甚至更糟。”
RoadTagger依赖于通常用于图像处理任务的卷积神经网络(CNN)和图神经网络(GNN)的新颖组合。GNN在图中连接的节点之间建立模型关系，并已广泛用于分析诸如社交网络和分子动力学之类的事物。该模型是“端到端”的，这意味着它仅馈送原始数据并自动产生输出，而无需人工干预。
CNN将目标道路的原始卫星图像作为输入。GNN将道路分为大约20米的路段(或“平铺”)。每个图块都是一个单独的图形节点，通过沿道路的线连接。对于每个节点，CNN都会提取道路特征，并与其直接邻居共享该信息。道路信息会沿着整个图形传播，每个节点都会收到其他每个节点有关道路属性的信息。如果图像中遮挡了某个图块，RoadTagger将使用道路上所有图块的信息来预测遮挡的背后。
研究人员说，这种组合架构代表了更像人类的直觉。假设四车道的道路的一部分被树木遮挡，因此某些图块仅显示两条车道。人们可以轻易地推测出树木背后隐藏着两条车道。传统的机器学习模型(例如CNN)仅提取单个图块的特征，最有可能预测被遮挡的图块是一条两条车道。
他说：“人类可以使用相邻图块中的信息来猜测被遮挡的图块中的车道数量，但是网络无法做到这一点。” “我们的方法试图模仿人类的自然行为，我们从CNN捕获本地信息，从GNN捕获全球信息，以做出更好的预测。”
学习权重
为了训练和测试RoadTagger，研究人员使用了称为OpenStreetMap的真实世界地图数据集，该数据集使用户可以编辑和管理全球数字地图。他们从该数据集中，从包括波士顿，芝加哥，华盛顿和西雅图在内的20个美国城市的688平方公里地图上收集了已确认的道路属性。然后，他们从Google Maps数据集中收集了相应的卫星图像。
在培训中，RoadTagger学习了CNN和GNN的权重-这些权重为特征和节点连接分配了不同的重要性。CNN从图块的像素图案中提取特征，而GNN沿图传播学习的特征。从道路的随机选择子图中，系统学习预测每个图块的道路特征。这样，它会自动了解哪些图像特征有用，以及如何沿图传播这些特征。例如，如果目标图块具有不清晰的车道标记，但是其相邻图块具有四个具有清晰车道标记的车道，并且共享相同的道路宽度，则目标图块很可能也具有四个车道。在这种情况下，模型会自动获悉道路宽度是有用的图像特征，因此，如果两个相邻的图块共享相同的道路宽度，
给定OpenStreetMap训练中未见的道路，该模型将道路分解为小块，并使用其学习的权重进行预测。该模型的任务是预测被遮挡的图块中的车道数量，该模型指出相邻图块具有匹配的像素模式，因此共享信息的可能性很高。因此，如果这些图块具有四个车道，则被遮挡的图块也必须具有四个车道。
在另一个结果中，RoadTagger在合成的，极具挑战性的道路中断数据集中准确预测了车道号。作为一个示例，具有两个车道的立交桥覆盖了具有四个车道的目标道路的几块瓷砖。该模型检测到立交桥的像素模式不匹配，因此它忽略了覆盖图块上的两条车道，准确地预测了下面的四个车道。
研究人员希望使用RoadTagger来帮助人们快速验证并批准对数据集(如OpenStreetMap)中基础结构的持续修改，其中许多地图都不包含车道数或其他详细信息。Bastani说，一个特别感兴趣的地区是泰国，那里的道路在不断变化，但是数据集中几乎没有更新。
“曾经被标记为土路的道路已经铺好，所以最好继续行驶，并且一些交叉路口已经完全建成。每年都有变化，但是数字地图已经过时了。”他说。“我们希望根据最新图像不断更新此类道路属性。”