[AI里程碑] AiPhone is coming | AI+手机时代已来

[AI Milestone] AiPhone is coming | AI+手机时代已来

2024年1月18日，三星正式推出了Galaxy S24系列机型，成为全球首款AI手机，从此Galaxy S24超越智能手机时代，将开创新的移动AI手机时代。这是自2007年苹果创始人史蒂夫·乔布斯发布首款iPhone后，智能手机的最强进化。本文主要介绍三星AI手机中涉及到的AI黑科技及原理，以及对AiPhone（AI+Phone）的未来趋势的一点点思考。

✈️ 前言

• 随着新一代三星Galaxy S24系列的到来，创新的Galaxy AI标志着生成式AI、大语言模型等技术正式落地智能手机。三星Galaxy S24系列搭载的Galaxy AI，试图以本地和云端 AI 相结合的方式，从不同层面重塑智能手机的使用体验。
• 在发布会上，三星展示了Galaxy AI在语音、文本、图像和视频处理方面的能力，包括通话中实时翻译，AI组织和优化笔记内容生成大纲，以及AI优化照片和对视频进行慢动作补帧，生成流畅视频画面等功能。
• Galaxy AI结合了Samsung Gauss大模型和多项专有小模型，提供了多种功能，如通话实时翻译、写作助手、笔记助手、转录助手、生成式编辑以及首创的搜索方式——即圈即搜。这些功能旨在改善用户体验，使智能手机更加智能化和个性化。
• 三星电子总裁兼移动体验 (MX) 业务主管 TM Roh 表示：“Galaxy S24 系列改变了我们与世界的联系，并点燃了下一个十年的移动创新。” “Galaxy AI 建立在我们的创新传统和对人们如何使用手机的深刻理解之上。我们很高兴看到世界各地的用户如何利用 Galaxy AI 增强他们的日常生活，从而开辟新的可能性。”

🛩️ 关键AI技术简介

Galaxy AI 是三星在其 Galaxy S24 系列智能手机中引入的一系列人工智能技术，旨在提升用户体验并扩展智能手机的功能。以下是 Galaxy AI 中涉及的一些关键 AI 技术：

1. 通话实时翻译（AI Live Translate Call）：
   • 这项功能允许用户在进行电话通话时，实时地将对话内容翻译成不同的语言。它集成在手机的原生通话应用中，无需第三方应用。
   • 翻译过程完全在设备端进行，保护用户隐私，因为不需要将通话内容上传到云端。
2. 即圈即搜（Instant Search）：
   • 用户可以通过长按 Home 按钮，然后圈选、突出显示、涂画或轻触屏幕上的内容，快速获取搜索结果。这项功能与百度大模型合作，提供了一种新的搜索体验，无需输入关键词，也无需离开当前应用。
3. 笔记助手（Note Assistant）：
   • 这项功能可以帮助用户智能地整理笔记，提供智能排版、摘要生成和封面创建等功能。它利用 AI 的理解能力，帮助用户将长篇内容转化为清晰、有条理的笔记。
4. 转录助手（Transcribe Assistant）：
   • 在会议或讲座中，用户可以利用转录助手将语音实时转录为文本。它能够区分不同的发言者，并支持多语种翻译，帮助用户生成会议纪要。
5. 写作助手（Writing Assistant）：
   • 这项功能可以根据不同的语境，为用户提供合适的文风建议，例如正式的商务邮件或趣味性强的网络文章标题。
6. 智能修图建议（Smart Photo Editing Suggestions）：
   • Galaxy AI 提供智能修图建议功能，可以根据照片内容给出调整建议，帮助用户快速优化图片效果。
7. 生成式编辑（Generative Editing）：
   • 用户可以在编辑照片时移动画面中的对象，AI 会智能填充移动后留下的空白区域，提供更自由的编辑体验。
8. Super HDR（High Dynamic Range）：
   • Galaxy AI 支持 Super HDR 技术，可以在拍摄前提供真实自然的预览画面，并在浏览相册时，通过分析高光区域，以 Super HDR 效果显示，呈现更加真实自然的亮度、色彩范围和对比度。
9. AI 影像处理：
   • Galaxy S24 系列的摄像头系统利用 AI 技术进行图像信号处理，有效去除画面噪点，提升暗光环境下的视频画质，以及在拍摄过程中减少画面模糊。

这些 AI 技术的应用，使得 Galaxy S24 系列在沟通、搜索、生产力和影像处理等方面提供了更加智能化和个性化的体验。通过与本地和云端 AI 的结合，Galaxy AI 旨在为用户提供更加便捷和高效的智能手机使用体验。

🛫 关键AI技术解析

💧 01 通话实时翻译

在全球化的背景下，跨语言交流变得越来越频繁。而语言的差异往往是人们交流的最大障碍。为了解决这一痛点，三星Galaxy S24 Ultra原生通话应用内置了通话实时翻译功能，可提供支持13种语言的实时双向语音和文字翻译，为用户架起一座跨语言沟通桥梁，无论是出国旅游还是跨境商务，都能无缝交流。得益于完全离线的AI特性，通话实时翻译功能还可以更好地保护通话隐私，为用户打造安全、流畅的通话体验

Galaxy S24系列中的通话实时翻译功能涉及到的AI原理主要包括以下几个方面：

1. 语音识别（Speech Recognition）：
   • 在通话实时翻译中，首先需要将通话中的语音转换成文本。这个过程称为自动语音识别（ASR）。AI模型通过分析语音波形，识别出说话人的语音特征，并将这些特征转换成文字。
2. 机器翻译（Machine Translation）：
   • 一旦语音被转换成文本，接下来的步骤是将这些文本从源语言翻译成目标语言。这通常涉及到神经网络机器翻译（NMT）模型，它们能够捕捉语言之间的复杂关系，并生成流畅的翻译。
3. 文本到语音转换（Text-to-Speech, TTS）：
   • 翻译后的文本需要再次转换成语音，以便通话的另一方能够听到。这个过程称为文本到语音转换。TTS系统会根据目标语言的发音规则，合成自然听起来的语音。
4. 端到端模型（End-to-End Model）：
   • 为了实现实时翻译，通常会使用端到端的神经网络模型，这种模型可以直接将源语言的语音输入转换为目标语言的语音输出，省去了中间的文本转换步骤，从而提高了翻译的速度和效率。
5. 本地化处理（On-Device Processing）：
   • 为了保护用户隐私，实时翻译功能通常在本地设备上进行处理，而不是将数据发送到云端。这意味着所有的语音识别、翻译和语音合成都在用户的设备上完成。
6. 自然语言处理（Natural Language Processing, NLP）：
   • 在翻译过程中，NLP技术用于理解和处理语言的复杂性，包括语法、句法、语义和上下文等。这有助于生成更准确和自然的翻译。
7. 错误处理和纠正（Error Handling and Correction）：
   • 实时翻译系统会包含错误检测和纠正机制，以处理识别错误或翻译不准确的情况。这可能涉及到使用更复杂的模型来分析和修正错误。
8. 多语言支持（Multi-Language Support）：
   • 通话实时翻译功能需要支持多种语言，这要求AI模型能够理解和处理不同语言的语音和文本输入。

通过这些AI技术的综合应用，Galaxy S24系列的通话实时翻译功能能够为用户提供快速、准确的翻译服务，同时保护用户的隐私安全。随着AI技术的不断进步，实时翻译的准确性和流畅性也在不断提高。

13种可翻译语言

☄️ 02 即圈即搜

“即圈即搜”功能，为用户构建了一个不用思考关键词，也无需切换应用的全新搜索方式。无论在哪个应用当中，遇到感兴趣的图片、视频或文本，只需长按Home按钮，然后用手势或专属S Pen圈选对象，即可获得最优答案。

Galaxy S24系列中的“即圈即搜”功能涉及到的AI原理主要包括以下几个方面：

1. 图像识别与分析：
   • 用户通过长按Home按钮并圈选屏幕上的图片、视频或文本时，AI系统需要识别和分析被圈选的内容。这通常涉及到计算机视觉技术，尤其是卷积神经网络（CNN）在图像识别中的应用。
2. 内容理解和上下文分析：
   • AI系统需要理解圈选内容的上下文，以便提供相关的搜索结果。这可能涉及到自然语言处理（NLP）技术，用于分析文本内容，以及图像理解技术，用于分析图像内容。
3. 搜索结果生成：
   • 根据圈选内容，AI系统需要快速生成搜索结果。这可能涉及到搜索引擎优化（SEO）技术，确保搜索结果的相关性和准确性。
4. 用户交互设计：
   • “即圈即搜”功能提供了一种直观的用户交互方式，用户可以通过简单的手势操作进行搜索。这涉及到用户界面（UI）设计和用户体验（UX）的优化。
5. 本地化处理：
   • 为了提高响应速度和保护用户隐私，搜索过程可能在本地设备上进行，而不是依赖云端服务。这要求设备具备足够的计算能力和优化的AI模型。
6. 多模态搜索：
   • “即圈即搜”功能支持多种类型的输入，如图像、文本、视频等。AI系统需要能够处理这些不同模态的数据，并提供统一的搜索体验。
7. 个性化搜索：
   • 系统可能会根据用户的搜索历史和偏好来优化搜索结果，提供更加个性化的搜索体验。这涉及到用户画像的构建和机器学习算法的应用。

通过这些AI技术的综合应用，“即圈即搜”功能能够为用户提供快速、直观的搜索体验，无需离开当前应用或输入复杂的搜索词，从而极大地提高了用户获取信息的效率。

🔥 03 笔记助手

文字处理也是工作当中的重要一环。从语句严谨的报告，到文风正式的文件，都需要表达到位，因此非常考验职场人士的行文水平。通过AI加持的写作助手，用户可以快速生成与撰写需求一致的语言风格，无需再花费大量时间和精力思考措辞，将文字工作化繁为简。另外，三星Galaxy S24 Ultra键盘模块内置的AI翻译功能同样支持13种语言的翻译处理，为用户进一步拓展了应用场景边界。 用户可快速完成从内容排版到生成摘要封面的笔记流程，大幅提升效率的同时，便于二次整理和日后查找。此外，三星Galaxy S24 Ultra语音录制应用中的转录助手，能够将语音迅速转化为文本，在会议、演讲、培训、采访等细分场景具有很高的实用性，即使在多人发言的场景中转录效果也非常准确。

Galaxy S24系列中的笔记助手功能涉及到的AI原理主要包括以下几个方面：

1. 自然语言处理（NLP）：
   • 笔记助手使用NLP技术来理解和处理用户输入的文本内容。这包括分词、词性标注、命名实体识别等，以便更好地理解和组织笔记内容。
2. 文本摘要（Text Summarization）：
   • AI系统能够自动从长篇笔记中提取关键信息，生成摘要。这通常涉及到提取式摘要技术，即从原文中选择重要句子，以及生成式摘要技术，即利用深度学习模型生成新的句子来概括原文内容。
3. 文本生成（Text Generation）：
   • 笔记助手可能会使用文本生成技术来自动生成笔记的标题、摘要或封面。这通常涉及到序列到序列（Seq2Seq）模型，如基于注意力机制的Transformer模型。
4. 个性化推荐（Personalized Recommendations）：
   • 笔记助手可以根据用户的笔记历史和偏好，提供个性化的笔记模板和编辑建议。这可能涉及到用户画像的构建和机器学习算法的应用。
5. 上下文理解（Contextual Understanding）：
   • AI系统需要理解笔记的上下文，以便更准确地提取信息和生成摘要。这可能涉及到对用户行为的学习和模式识别。
6. 机器学习（Machine Learning）：
   • 笔记助手通过机器学习算法不断优化其性能，例如通过用户反馈来调整摘要的准确性或改进文本生成的质量。
7. 用户交互（User Interaction）：
   • 笔记助手需要与用户进行交互，以便用户可以提供反馈和指导。这可能涉及到自然语言处理技术，以便系统可以理解用户的意图和偏好。

通过这些AI技术的综合应用，笔记助手能够帮助用户更高效地记录、整理和回顾信息，提高工作效率和学习效果。

🌬️ 04 智能修图建议

新的Galaxy AI技术体系现在不仅可以智能地在拍摄过程中提供构图和拍照模式建议，它还能够在拍摄完成后，智能地“教导”用户对照片进行合适的后期修正。其中包括但不限于摩尔纹、反光等常见的失误，从而大幅提升了一般用户的“成片率”。

Galaxy S24系列中的智能修图建议功能涉及到的AI原理主要包括以下几个方面：

1. 图像识别与分析：
   • AI系统首先需要识别图像中的内容，包括人物、物体、背景等。这通常涉及到卷积神经网络（CNN）等深度学习模型，它们能够自动学习和提取图像特征。
2. 内容感知编辑：
   • 智能修图建议功能可能会分析图像的构图、色彩、光线等元素，然后提供优化建议。这可能包括调整曝光、对比度、饱和度等，以改善图像的整体视觉效果。
3. 机器学习优化：
   • 通过机器学习，AI系统可以从大量的图像数据中学习到哪些编辑操作能够提升图像质量。这些学习到的模式和规则会被用来生成智能修图建议。
4. 用户交互与反馈：
   • 用户的编辑习惯和偏好可以被AI系统学习，以便提供更加个性化的修图建议。用户对建议的接受与否可以作为反馈，进一步优化AI模型。
5. 图像分割与合成：
   • 在提供修图建议时，AI可能需要对图像进行分割，识别出不同的对象和区域。然后，AI可以在这些区域上应用不同的编辑操作，或者在必要时进行内容的合成。
6. 自然语言处理（NLP）：
   • 如果用户通过语音或文本输入修图需求，AI系统需要使用NLP技术来理解用户的意图，并将其转化为相应的图像编辑操作。
7. 生成对抗网络（GANs）：
   • 在某些情况下，智能修图建议可能涉及到使用GANs来生成新的图像内容，例如在去除图像中的不想要的元素时，AI可以生成与周围环境相协调的新内容。
8. 隐私保护：
   • 在处理用户数据时，智能修图建议系统需要确保用户隐私得到保护，这可能涉及到数据加密和本地化处理等技术。

通过这些AI原理的应用，Galaxy S24系列的智能修图建议功能能够为用户提供直观、高效的图像编辑体验，帮助用户轻松提升照片质量，实现个性化的创意表达。

🌈 05 生成式编辑

不光一键消除多余的人物，在原位置上生成自然协调的背景，还能解决照片瑕疵，填充图片背景等。Galaxy AI 编辑工具会在图片上和元数据中添加水印。举例而言，用户现在可以通过Galaxy S24轻松调平倾斜的照片，AI会自动补充边缘缺失的细节，而不再需要靠牺牲画面大小来进行裁切计算。

Galaxy S24系列中的生成式编辑功能涉及到的AI原理主要包括以下几个方面：

1. 图像识别与分析：
   • AI系统首先需要识别和分析图像中的内容，包括人物、物体、背景等。这通常涉及到卷积神经网络（CNN）等深度学习模型，它们能够自动学习和提取图像特征。
2. 内容感知填充（Content-Aware Fill）：
   • 当用户调整图像中的对象大小、删除或重新定位对象时，AI需要预测并填充相应的背景内容。这通常涉及到生成对抗网络（GANs）或变分自编码器（VAEs）等模型，它们能够生成与周围环境相协调的新内容。
3. 图像分割与合成：
   • AI系统需要对图像进行精确的分割，以便在编辑过程中对特定部分进行操作。这可能涉及到语义分割技术，它能够识别图像中的不同对象和区域，并允许用户对这些区域进行单独的编辑。
4. 自然语言处理（NLP）：
   • 如果用户通过语音或文本输入指令进行编辑，AI系统需要理解这些指令并转化为相应的图像编辑操作。这涉及到自然语言理解（NLU）和自然语言生成（NLG）技术。
5. 机器学习优化：
   • 生成式编辑功能可能会通过机器学习算法不断优化其性能，以更好地满足用户的个性化需求。这可能包括监督学习、无监督学习或强化学习等方法。
6. 用户交互与反馈：
   • AI系统需要与用户进行交互，以便用户可以提供反馈和指导。这可能涉及到自然语言处理技术，以便系统可以理解用户的意图和偏好。
7. 隐私保护：
   • 在处理用户数据时，生成式编辑系统需要确保用户隐私得到保护，这可能涉及到数据加密和本地化处理等技术。

通过这些AI原理的应用，Galaxy S24系列的生成式编辑功能能够为用户提供强大的图像编辑能力，允许用户在拍摄后调整构图，改善照片的整体效果，甚至在错过最佳拍摄时机的情况下，也能通过后期编辑创作出理想的影像作品。

🌂 06 Super HDR

它从拍照取景、到照片处理，再到屏幕上的照片和视频回放，都可以支持高动态范围的色彩、亮度和对比度。从技术原理上来说，这就意味着Galaxy S24系列将可以避免影像数据在处理过程中的色阶转换损失，从而保留更多的原始画面信息，直接提升最终拍出的画质。三星Galaxy S24 Ultra首发搭载了Corning® Gorilla® Armor 屏幕盖板，不仅具有历久弥新的耐用性，还能减少至高75%的反光，使得屏幕在不同光线下均能呈现高质量画面。

Galaxy S24系列中的Super HDR（High Dynamic Range）技术涉及到的AI原理主要包括以下几个方面：

1. 图像动态范围优化：
   • Super HDR技术通过算法优化图像的亮度、色彩和对比度，使得图像在高光和暗部区域都能保持丰富的细节。这通常涉及到对图像的局部区域进行分析和调整，以实现更自然和逼真的视觉效果。
2. 色彩对比度增强：
   • AI系统会分析图像中的色彩分布，优化亮点和暗点的色彩对比度，以提供更丰富的色彩层次。这可能涉及到对图像的色调映射（Tone Mapping）处理，以适应不同的显示设备和观看环境。
3. 噪点分析与降噪：
   • 在低光环境下拍摄时，图像噪点可能会更加明显。Super HDR技术通过分析拍摄对象的运动和噪点模式，使用AI降噪算法来减少噪点，提高视频和照片的清晰度。
4. 场景识别与自适应调整：
   • AI系统能够识别不同的拍摄场景，如室内、室外、逆光等，并根据场景特点自动调整HDR参数，以获得最佳的拍摄效果。
5. 实时预览与调整：
   • 在拍摄过程中，Super HDR技术可以提供实时的HDR预览，让用户能够即时看到调整后的效果。这可能涉及到对图像的快速处理和渲染，以便用户可以做出相应的拍摄决策。
6. 多帧合成与细节恢复：
   • Super HDR技术可能会使用多帧合成技术，通过捕捉多张不同曝光水平的图像，然后合成一张具有更宽动态范围的照片。AI在这个过程中会分析和选择最佳的细节，以实现更高质量的图像输出。
7. 用户交互与反馈：
   • 用户可以通过反馈指导AI系统进行更精细的调整，例如调整曝光、对比度或色彩饱和度等，以满足个人偏好。

通过这些AI原理的应用，Super HDR技术能够在Galaxy S24系列中提供高质量的图像和视频拍摄体验，无论是在明亮的户外环境还是在暗光条件下，都能捕捉到清晰、生动的画面。

🌌 07 智能影像处理

拍摄精彩镜头后，创新的 Galaxy AI 编辑工具可实现擦除、重新构图和重新制作等简单编辑。为了更轻松、更高效地进行优化，编辑建议使用 Galaxy AI 为每张照片提出完美合适的调整建议。为了给用户更多的创意控制和自由，生成编辑可以使用生成AI填充图像背景的部分内容。当图片弯曲时，AI 会填充边框。当需要稍微移动物体以使其处于完美位置时，人工智能可以让用户调整主体的位置，并在其原始位置生成完美混合的背景。每当 Galaxy S24 部署生成式人工智能来放大图像时，水印就会出现在图像和元数据中。如果需要放慢动作视频的速度，新的即时慢动作可以根据动作生成额外的帧，以平滑地放慢动作瞬间，以获得更详细的外观。

Galaxy S24系列中的AI影像处理涉及到的AI原理主要包括以下几个方面：

1. 超视觉影像（Super Visual Imaging）：
   • 这是三星全新的AI影像工具套件，它在拍摄、编辑和分享的每个阶段助力用户实现创作自由。通过AI技术，可以自动识别拍摄场景，并根据场景特点自动调整相机参数，以获得最佳拍摄效果。
2. 智能场景识别：
   • AI系统能够识别不同的拍摄场景，如人像、风景、建筑等，并自动调整相机设置，如曝光、色彩平衡等，以适应特定的拍摄条件。
3. 生成式编辑（Generative Editing）：
   • 用户可以移动照片中的对象，AI将自动填充移动后留下的空白区域。这种技术允许用户在拍摄后调整构图，改善照片的整体效果。
4. 实时慢动作功能：
   • AI预测人物的动作并进行补帧，无需借助其他编辑工具，即可实现清晰流畅的慢动作回放。这对于捕捉运动场景特别有用。
5. 智能修图建议：
   • AI提供修图建议，帮助用户快速完成基础的图像编辑任务，如去除摩尔纹、反光等，提高编辑效率。
6. Super HDR：
   • AI技术在Super HDR中的应用，可以提供真实自然的亮度、色彩和对比度，确保图像在每个阶段都具有出色的视觉效果。
7. 降噪和图像信号处理：
   • AI系统通过专用的图像信号处理模块，有效去除画面噪点，特别是在低光环境下，提高图像质量。
8. 光学防抖和运动补偿：
   • AI技术可以分析陀螺仪信息，区分拍摄者和拍摄对象的运动，从而更有效地进行光学防抖和手部运动补偿，提升视频拍摄质量。
9. 高分辨率传感器和像素技术：
   • AI与高分辨率传感器和像素技术的结合，提升了长焦拍摄的表现，尤其是在像素尺寸和感光面积上的提升，使得长焦拍摄更加清晰。

这些AI原理的应用使得Galaxy S24系列在影像处理方面具有更高的灵活性和创造力，为用户提供了更加丰富和专业的拍摄体验。

🛬 AI Phone未来趋势

• 全球手机巨头正竞相布局AI领域，推动智能手机进入全新的AI时代。机构人士认为，投资高端细分市场的AI产品将成为各大消费电子品牌2024年的战略方向，持续看好AI硬件创新和生态落地，驱动消费电子销量提升及产业链复苏
• 数据提供商Canalys预测，到2024年，只有5%的智能手机将支持人工智能，但到2027年，这一比例将增长到45%
• 苹果放弃造车计划，转向生成式人工智能，ALL IN AI for iPhone
• 宣告OPPO正式迈入AI手机时代。而该公司为此专门成立了AI中心，资源将向AI集中。同日，魅族也宣布进行战略调整——将All in AI，停止传统“智能手机”新项目，全力投入“明日设备”AI For New Generations，迈入前景广阔的AI科技新浪潮
• 事实上，AI手机的“战火”早已被点燃。包括华为、荣耀、OPPO、vivo、小米、三星等手机厂商均先后自研或以合作方式推出了手机端侧搭载的大模型

🪂 结论

神预测： 01——2024年09月苹果将发布首款AI手机，命名为 AiPhone 16（Ai 16） 02——届时，国内手机厂都是一个样，All in AI for Phone 03——2024年09月将正式从智能手机时代过渡到移动AI手机时代

• 最重要的是强大的移动端芯片算力，足以支持AI大语言模型离线&实时运行
• 其次，实时翻译、即圈即搜、笔记助手、图片助手，这些看似微小却落在实地的AI助力，才是真正提升生产力，解决无意义步骤内耗的关键。让人们可以节省出更多时间与精力，享受更美好的生活。