河洛网首页 新闻 关注 房产 汽车 教育 健康 婚庆 家居 旅游

| 人工智能

娱乐 体育 财经 科技 人工智能

清华杰团队打造“中文ai设计师”,效果超Dall·E

来源:河洛网    发布时间:2021-06-10     发布人:洛阳新闻网

本文经AI新媒体量子位(公众号ID:QbitAI )授权转载。 转载请联系出处。

清华杰团队打造“中文ai设计师”,效果超Dall·E

2021年,说到OpenAI最火热最具创意的产品,非Dall·; 是emo属的。 这是“ AI设计师” 只需赋予文字,即可根据需要生成图像。 遗憾的是,戴尔& middot; e不支持中文。

那么,最近清华大学的唐杰团队成立了&ldquo中文版Dall·; E” — — CogView,可以将中文文字转换为图像。

谷歌视图是“ 小河在山谷中流淌” :

“ 猫” :

“ 悲伤的博士生” :

CogView目前是开放式AI的戴尔和中间产品; e只有几个关键字修改选项。

能够指定画风和设计服装的CogView的能力,不仅可以从文字中输入图像,还可以应对风格学习、超分辨率、文本图像排名、时尚设计等各种微调策略的下游任务。

使用CogView时,可以添加不同的样式限制,以生成不同的绘制效果。 微调期间,图像对应的文本也将显示“ XX风格的图像” 。

CogView设计的服装也很体面,看起来像电子商务店的展示页,没有虚假痕迹。

原理CogView是具有VQ-VAE分词器40亿参数的Transfomer,其整体结构如下。

CogView利用GPT模型处理离散词典上的token序列。 然后,将学习过程分为两个阶段。 学习编码器和解码器将最小化重建损失,单个GPT通过连接文本来优化两个负对数似然值( NLL )损失。

结果,第一阶段退化为纯离散自动编码器,作为图像tokenizer将图像转换为标记序列; 第二阶段的GPT承担着建模任务的大部分。

图像tokenizer的训练非常重要,方法有最近邻映射、Gumbel采样、softmax近似三种,Dall·; e使用的是第三个,但对CogView来说三个差不多。

CogView的主干是一个方向的转换器,共有48层,40个注意头,40亿参数,隐藏层的大小为2560。

在训练中,作者发现CogView存在溢出(以NaN损失为特征)和下溢)发散损失为特征)两种不稳定性,提出用PB-Relax、Sandwich-LN解决它们。

最后,CogView通过MS COCO实现了最低的FID,与以前的基于GAN的模型和同样的Dall·; e

另一方面,在人工评价的测试中,CogView被选为最佳概率的为37.02%,远远超过了其他基于GAN的模型,能够与groundtruth(59.53% )竞争。

另外,作者已经发布了GitHub项目页面,但是现在没有代码,有兴趣的人请关注并等待代码的发布。

论文地址: https://arxiv.org/ABS/2105.13290

尝试使用demo:https://lab.aminer.cn/cog view /索引. html

GitHub网页: https://github.com/th udm/cog view

【编辑推荐】

人工智能和物联网将如何影响教育 * * *数字科学和技术革命已经触及我们生活的所有领域,教育行业也未幸免。 人工智能和物联网将如何影响教育 与其他行业不同,数字科技和教育行业之间的联系是* * *。一方面,通过重新定义行

《黑镜》来了! 波士顿的动力机器狗启航前往纽约警方,蹦蹦跳跳地出城执法我们生活在赛博朋克的荒诞世界吗? 《黑镜》来了! 波士顿的动力机器狗启航前往纽约警方,蹦蹦跳跳地出城执法 最近出现了类似“黑镜”的场景! 这一天,摄影师丹尼尔valls在街上闲逛。 突然

处理人工智能任务需要知道的11个Python库本文转载自微信公众号“Python学会”,作者黄伟爱。 要转载这篇文章,请联系Python学会公众号。 处理人工智能任务需要知道的11个Python库 前言Python对数据科学非常重要的理由之一是庞大的数据分

人工智能在国防领域中起什么作用?研究表明,人工智能技术的发展势头对迅猛的国防行业来说,这项技术非常重要。 最先采用人工智能技术的组织和受益者,有了人工智能技术,军事行动将更加高效准确,同时从长远的角度来看,

AI脑电波解读,正确率超过80%! 高度复原你眼中最美的ta一千个人眼中有一千个哈姆雷特。 AI脑电波解读,正确率超过80%! 高度复原你眼中最美的ta 由于主观差异,人类的审美有千万种。 个人喜好的观察,人类还需要推测。 何况是机器,该怎么办呢?

上一篇:人工智能如何改变日常的商业运营?

下一篇:没有了

免责声明:非本网注明“禁止转载”的信息,皆为程序自动获取互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明,站长将在收到邮件24小时内删除。

热门标签

洛阳新闻网 | 新闻 | 关注 | 房产 | 汽车 | 教育 | 健康 | 婚庆 | 家居 | 旅游