跟着大模子加快愚弄落地，提高模子历练服从成为更受存眷的议题。在 10 月 18 日召开的 2024 QCon 大会上拳交 twitter，Motiff 妙多 AI 认真东谈主赵薇共享了国内首个 UI 大模子的缔造经验。赵薇先容，比较于常见的“鼎力出遗迹”作念法，Motiff 妙多采用了“四两拨千斤”。凭借高质料的专科数据和个性化的模子架构，Motiff 妙多大模子在恶果和才调上越过了 GPT-4o 和苹果的 Ferret UI，并追平了历练数据多 40 倍的 Google ScreenAI 大模子。
（Motiff 妙多 AI 认真东谈主赵薇 QCon 演讲现场）
se情在线Motiff 妙多大模子在数据、模子架构和历练要领上进行了屡次改造。UI 限制的历练数据比通用限制少一个量级，Motiff 妙多通过提高常识密度、生成合成数据，构建了一批优质 UI 数据，并凭证 UI 限制需求个性化调遣模子架构。这些调遣使得 Motiff 妙多大模子适配 UI 限制特质，具备“撑执输入高清”、“保执图片长宽比”和“精确定位”三大上风。
“基于自研大模子，咱们能以较低本钱快速孵化 AI 愚弄。”赵薇示意，自研大模子加执下，Motiff 妙多始创了 AI 复制、 AI 设想系统等功能，AI 生成 UI 功能也连忙踏进行业前哨。Motiff 妙多大模子不失为一个典型的样本：当通用大模子在专科限制“失灵”时，AI 愚弄企业怎样通过自研限制大模子助力愚弄改造？
大模子对皆历练“少就是多”，数据质料是要道
刻下，通用大模子在处理复杂任务和逢迎多种数据方面弘扬出色，但在特定限制一经存在显着的局限性。举例，GPT-4 在 UI 限制造作率逾越 70%，逢迎和生成用户界面弘扬欠安。算作 AI 期间设想用具，Motiff 妙多需要构建一个“UI 常识体系完好”和“UI 手段丰富”的专科大模子。
构建大模子的紧要问题是数据。为克服 UI 限制高质料图片数据量较小、数据任务不够丰富的挑战，Motiff 妙多通过增多常识密度和加入基于大众模子生成的合成数据，构建了一批高质料、具有专科常识的 UI 数据。
“数据量少并不是问题，高密度才是要道。”赵薇示意，在限制移动中，无用海量的 UI 限制对皆数据，一经不错竣事存效对皆。
怎样提高信息密度？Motiff 妙多对 UI 数据进行了多维度的推行分析和端倪结构描述。对每张 UI 图片，Motiff 妙多从布局、组件、功能、视觉恶果和设想格调等多维度深远分析，并增多了 UI 特等的结构和定位常识。在就地采样的 1 万条数据中，每张图片的描述 token 数目从 20 增长到 628，信息密度升迁了 30.4 倍。
在生成合成数据经过中，Motiff 妙多引入了多个大众模子，将无数的大众常识索求到合成数据中。以图标描述数据的合成为例，在整合东谈主类大众常识后，Motiff 妙多的数据愈加细粒度且情境关系。比如，针对“爱心”图标，Google 的 ScreenAI 大模子只可描述图标类别，而 Motiff 妙多大模子偶然生成具体的功能描述，如“储藏按钮”。
（通过永远蓄积的大众模子，为合成数据注入无数专科常识）
丰富万般、接近真确宇宙的数据使得历练出的模子具备管制复杂问题的才调。在五个行业公认的 UI 才调基准测试聚首，Motiff 妙多大模子的各项主义均逾越了 GPT-4o 和苹果的 Ferret UI，多项主义追平谷歌的 ScreenAI ，并在 Screen2Words（界面描述与揣测）和 Widget Captioning（部件描述）两大主义上越过了 ScreenAI 。要知谈，ScreenAI 在历练时用了近 4 亿条历练数据，比较之下，Motiff 妙多大模子所用的历练数据不到其 2%。
强化限制模子上风，快速孵化 AI 功能
在完成数据集结与构建后，便参加模子基座与历练阶段。多模态大模子在比年来快速发展，但大多枯竭对 UI 限制的极端适配。赵薇指出，通用模子在 UI 限制容易出现笔墨识别幻觉和定位偏移，这让 Motiff 妙多团队愈加宠爱视觉编码器和位置感知历练。
通用视觉编码器在处理高分辨率和复杂布局时有显着的弱势，容易导致信息丢失。因此，Motiff 妙多接受切图战略，将高清图片切成多张小图送入模子，确保信息完好并升迁细节明锐度。
（Motiff 妙多大模子架构）
Motiff 妙多通过保执长宽比和精确定位，进一步增强模子弘扬。通用大模子频频冷落了精确定位的才调，而 Motiff 妙多通过补充切割后小图的位置信息，升迁了模子的位置感知。
通过矫正模子基座，Motiff 妙多大模子更适配 UI 限制任务，具备“撑执输入高清”、“保执图片长宽比”、“精确定位”三大上风，能更好地逢迎和处理 UI 设想中的复杂元素。
“基于大模子的 AI 愚弄有运行本钱低、算法建模通俗、任务愈加复杂等特质。”赵薇说。以 Motiff 妙多大模子为底座，团队连忙始创和升级了 AI 设想系统、AI 生成 UI 等功能。
以 Motiff 妙多独创的 AI 设想系统功能为例，该功能能精良则位并逢迎设想稿中的通盘设想组件。关于难以辞别的组件（如 button 和 tag），Motiff 妙多大模子都能准确识别，准确率升迁至 95% 以上。
赵薇称，Motiff 妙多研讨在改日执续迭代大模子期间。实施解说，AI 在 UI 设想中的愚弄后劲广泛，Motiff 妙多将悉力于 AI 与 UI 设想的深度和会，为设想师提供更高效、更智能的设想用具，推进 UI 设想行业变革。
告白声明：文内含有的对外跳转相连（包括不限于超相连、二维码、口令等表情），用于传递更多信息，省俭甄选时期，限度仅供参考拳交 twitter，IT之家通盘著作均包含本声明。