Sketch2Code

Sketch2Code

Sketch2Code 是由微软 AI Lab 于 2018 年推出的一项开源项目，旨在协助开发人员将手绘的线框草图轻松转化为 HTML 代码。通过运用人工智能与自动化技术，该工具能够直接从草图中生成相应的网页源代码。

支持的网页视觉元素

该工具支持识别并生成基本网页视觉元素的代码，具体包括：

• 标签
• 文本字段
• 文本段落
• 图像
• 按钮

技术原理与工作机制

在 2018 年发布时，Sketch2Code 背后的模型已经过数百万张图像的训练，具备对各类物体进行检测的能力。在实际运作中，该工具会首先生成设计中不同元素的 HTML 代码片段，随后根据这些识别出的元素位置来推断整体设计布局，并据此生成最终的 HTML 代码。

技术演进与推测

在后来的 GPT 4 演示中，也包含了一段将草图转换为网页的 Demo 展示。基于此推测，微软可能已经将该技术与 OpenAI 展开合作并进行了迭代，其最新训练所使用的图像数据规模也有可能远超 2018 年的水平。