Gorden Sun推文
FigmaTrace：首个开源的AI设计教学素材
Patronus AI 团队开源了 FigmaTrace，一个包含 200 多小时人类设计师在 Figma 中操作过程的数据集，用于训练 AI 进行设计任务。该数据集按设计阶段分段，使小型 AI 模型在屏幕操作和设计任务上表现显著提升，并泛化到通用软件操作。
译文
FigmaTrace：首个开源的AI设计教学素材 如今很多 AI 读文字、认图表都挺厉害，可一碰到做设计这种需要审美和创意的活儿，往往就显得很笨拙。 以前教 AI 做设计，大家基本都是把现成的设计图直接塞给它。这就像只给学徒看做好的成品菜，却不教切菜火候一样，AI 根本不知道每一步是怎么想出来的，也就很难学会里面的门道。 Patronus AI 团队换了个思路。他们找来人类设计师，把大家在 Figma 软件里做设计的全过程录了下来，一共攒了 200 多个小时的操作记录，做成了一套名为 FigmaTrace 的教学素材。 这份素材记录了设计师从画草图、调整排版到修改细节的每一步动作。更巧妙的是，团队把这些长视频按照做设计的不同阶段一段段切开，让 AI 能清楚看懂人类在每个环节的具体意图。 学完这套真实操作后，经过训练的小型 AI 模型在屏幕操作和设计任务上进步很大，甚至能轻松看准页面上的小按钮，也不再容易卡住。有意思的是，学会了设计软件里的细致操作后，AI 去操控普通手机和电脑软件的能力也顺带变强了。 开源数据集：https://huggingface.co/datasets/PatronusAI/figmatrace
FigmaTrace：首个开源的AI设计教学素材 如今很多 AI 读文字、认图表都挺厉害，可一碰到做设计这种需要审美和创意的活儿，往往就显得很笨拙。 以前教 AI 做设计，大家基本都是把现成的设计图直接塞给它。这就像只给学徒看做好的成品菜，却不教切菜火候一样，AI 根本不知道每一步是怎么想出来的，也就很难学会里面的门道。 Patronus AI 团队换了个思路。他们找来人类设计师，把大家在 Figma 软件里做设计的全过程录了下来，一共攒了 200 多个小时的操作记录，做成了一套名为 FigmaTrace 的教学素材。 这份素材记录了设计师从画草图、调整排版到修改细节的每一步动作。更巧妙的是，团队把这些长视频按照做设计的不同阶段一段段切开，让 AI 能清楚看懂人类在每个环节的具体意图。 学完这套真实操作后，经过训练的小型 AI 模型在屏幕操作和设计任务上进步很大，甚至能轻松看准页面上的小按钮，也不再容易卡住。有意思的是，学会了设计软件里的细致操作后，AI 去操控普通手机和电脑软件的能力也顺带变强了。 开源数据集：https://huggingface.co/datasets/PatronusAI/figmatrace