首个完全由AI创作歌曲发布、为素描“注入生命” 、Runway运动笔刷演示、超快速草图到实物图工具、面部识别分析工具…

11月25日XiaoHu.AI 日报更新

01: 每个人都在谈论 的 Q*       

02: Anna Indiana：AI 歌手兼词曲家

03: LiveSketch：素描动画化新技术

04: LEO：3D 环境中的多功能智能体

05: DeepFace：多功能的面部识别工具

06: Runway 运动笔刷 Motion Brush

07: draw-fast：即时草图转实物图渲染工具

阅读时长: 8 minutes

01

—

每个人都在谈论 的 Q*

每个人都在谈论 OpenAI 的 Q*，OpenAI 的新项目 Q* 正引起广泛关注。根据《商业内幕》的报道，以下是Q的主要特点和潜在影响：

技术结合：Q* 结合了 Q 学习（一种强化学习方法）和A搜索（路径寻优算法），可能在特定问题处理上超越传统语言模型。

逻辑推理能力：人工智能专家 Charles Higgins 指出，Q 在解决数学问题上的能力代表着现有模型的重大进步。这表明 Q 可能在逻辑推理上比现有模型更强。

处理幻觉问题：传统语言模型有时会产生不符合事实或逻辑不连贯的内容，而 Q* 可能更好地结合经验知识和事实推理。

接近人工通用智能（AGI）：Q* 可能在执行更广泛的智能任务上显示出更高的适应性和智能水平，是向 AGI 迈出的一步。

内部担忧和伦理问题：Q* 在 OpenAI 内部引发了一定担忧，可能与其潜在能力和影响相关。

虽然目前公开信息有限，但 Q 的这些特点是基于当前可用信息的推测。随着时间推移，我们对 Q 的理解可能会进一步深入。

文章：https://www.businessinsider.com/openai-project-q-sam-altman-ia-model-explainer-2023-11

02

—

Anna Indiana：AI 歌手兼词曲家

Hello world！我是 Anna Indiana，我是一名 AI 歌手兼词曲家。这是我的第一首歌，《Betrayed by this Town》（城市的背叛）从曲调、节奏、和弦进行、旋律音符、节奏、歌词，再到我的形象和演唱，一切都是使用人工智能自动生成的。

03

—

LiveSketch：素描动画化新技术

LiveSketch 技术引领素描动画创新，通过文本提示实现静态素描的动态转换。它简化了传统动画制作的复杂性，为用户提供了一种直观、灵活的方式来“注入生命”到他们的素描中。

主要特点：

动画化静态素描： 用户仅需通过文本提示描述所需动作，LiveSketch 即可将单一主题的静态素描转换为动画。

基于文本的动作控制： 用户可以通过更改文本提示来精确控制动画的动作和表现形式。

自然流畅的动画： 该技术结合局部变形和全局仿射变换，确保动画自然流畅，同时保留素描的原始外观。

工作原理：

素描处理： 草图由一系列控制点定义，这些点通过特征提取被转换为高维特征表示。

双路径动画生成：

本地路径：处理局部细节，通过多层感知器预测控制点的微小偏移。

全局路径：处理整体运动，通过预测全局变换矩阵控制草图的整体变化。

动画输出：综合这两个路径的处理，生成展示草图从初始状态到最终状态平滑过渡的动画序列。

应用示例：

创建动画素描如游泳的海豚、摇摆的眼镜蛇或玩耍的猫等。

调整描述运动的文本提示以控制动画效果。

当然通过提示文本你还可以控制动画的动作和幅度等

更多信息：

项目及演示：https://livesketch.github.io论文：https://livesketch.github.io/static/source/paper.pdfGitHub：coming soon...

04

—

LEO：3D 环境中的多功能智能体

LEO 是一个创新的多模态、多任务智能体，专门为 3D 环境设计，能够理解和执行基于语言的指令。它结合了自然语言处理、计算机视觉和机器人技术，显示出解决通用任务的强大能力。

主要功能：

3D 视觉-语言理解： LEO 能够将 3D 环境中的视觉信息与语言描述相结合，如识别物体并理解相关描述。

执行语言指令： 它按照语言指令执行动作，例如根据指令“把苹果放在桌子上”来定位并移动物体。

多样化的3D任务执行： LEO 展现了在多种 3D 任务上的出色表现，如 3D 字幕制作、问答、具身推理、具身导航和机器人操控。

工作原理：

两阶段训练：

3D 视觉-语言对齐： 学习将 3D 图像与语言描述结合。

3D 视觉-语言-动作指令调整： 学习根据语言指令执行动作。

大规模数据集： 利用一个包含多种 3D 环境任务的大型数据集进行训练，涉及深入的环境理解和互动。

多模态学习： 结合视觉和语言信息，使其能够在多模态环境中有效工作。

广泛应用能力： 通过这种训练， LEO 在多种 3D 任务中表现出色，展示了其广泛的应用潜力。

项目及演示：https://embodied-generalist.github.io

论文：https://arxiv.org/abs/2311.12871

GitHub：https://github.com/embodied-generalist/embodied-generalist

05

—

DeepFace：高效、多功能的面部识别工具

DeepFace 是一个强大且用户友好的面部识别和分析工具，它整合了多个先进的面部识别模型，如VGG-Face、Google FaceNet、OpenFace、Facebook DeepFace、DeepID、ArcFace、Dlib和SFace，提供高精度的面部分析服务。

主要功能：

面部验证：验证两张面部图片是否属于同一人。

面部识别：在已知的面部数据库中查找输入图像的身份。

面部属性分析：预测面部图像的年龄、性别、种族和情绪。

嵌入式表示：提供面部图像的多维向量表示，即面部的关键特征。

技术亮点：

高准确率：集成多个模型，准确率达到或超过人类水平（97.53%）。

多功能性：提供面部识别、验证和属性分析等多项功能。

灵活性和兼容性：支持多种面部检测器和相似度计算方法，适用于多样环境。

易用性：提供 Python API 和命令行界面，适合各种用户。

实时视频分析：支持实时视频分析，适用于动态应用场景。

应用领域：

DeepFace 适用于各种需要高精度面部识别和分析的场合，如安全验证、个性化推荐、情绪分析等。

更多信息：

GitHub：https://github.com/serengil/deepface

06

—

Runway 运动笔刷 Motion Brush

07

—

draw-fast：即时草图转实物图渲染工具

draw-fast是一个革命性的工具，它能够将草图即时转换为逼真的实物图像，为用户提供了一个快速且直观的绘图到图像渲染体验。

主要特点：

即时渲染：用户的草图可以被快速转换成真实的实物图像。

基于强大模型：利用 fal_ai_data 的 LCM 模型，draw-fast 能实现高效且准确的图像渲染。

易于使用：界面友好，适合各类用户快速上手。

更多信息：

GitHub：https://github.com/tldraw/draw-fast

历史项目记录：xiaohu.ai

感  阅

谢  读

感谢阅读，关注关注关注！