PHP大模型深度学习库TransformersPHP

概述

TransformersPHP是一个工具包，PHP开发人员可以轻松地将机器学习魔法添加到他们的项目中。你可能听说过Hugging Face的Python库，它以处理文本而闻名，比如总结长文章，在语言之间进行翻译，甚至是与图像和音频相关的任务。Transformers PHP将这种能力带到了PHP世界。

TransformersPHP被设计为在功能上等同于Python库，同时仍然保持相同的性能和易用性。这个库建立在Hugging Face的Transformers库之上，该库提供了100多种语言的数千个预训练模型。它被设计成一个简单易用的库，供PHP开发人员使用类似于Python库的API。这些模型可用于各种任务，包括文本生成、摘要、翻译等。

TransformersPHP使用ONNX运行时来运行模型，这是开放神经网络交换（ONNX）模型的高性能评分引擎。您可以轻松地将任何PyTorch或TensorFlow模型转换为ONNX，并使用🤗TensorOptimum与TransformersPHP一起使用。

官方文档：https://codewithkyrian.github.io/transformers-php

使用预训练模型

TransformersPHP背后的核心思想是让你使用已经训练好的模型。“预训练模型”只是从大量文本数据中获得和学习的机器学习模型。它们已经准备好开箱即用，可以执行各种任务。使用TransformersPHP，这些模型直接在PHP应用程序中运行。这意味着您不需要使用外部服务或API来处理数据。一切都发生在本地，在你的服务器上。

什么是ONNX？

ONNX引擎看起来似乎是一个复杂的术语，但它本质上是一个高性能引擎，旨在推断和加速机器学习模型。开放神经网络交换（ONNX）格式是该引擎的核心，是机器学习模型的通用格式。这意味着无论最初使用哪个框架来训练模型-无论是PyTorch，TensorFlow，JAX，甚至是经典的机器学习库，如scikit-learn，LightGBM，XGBoost等-可以转换为ONNX格式。这种格式可以在不同的平台上高效运行，包括PHP应用程序。

灵感

TransformersPHP的开发受到Xenova/transformers项目的启发，Xenova/transformers项目也是一个类似的使用ONNX运行时的JavaScript项目。这种共享的灵感意味着大多数为Xenova/transformers准备的模型也与TransformersPHP兼容。它在机器学习世界和PHP开发之间创建了一个无缝的桥梁，允许您在应用程序中利用强大的模型。

快速浏览

Python

from transformers import pipeline

# Allocate a pipeline for sentiment-analysis
pipe = pipeline('sentiment-analysis')

out = pipe('I love transformers!')
# [{'label': 'POSITIVE', 'score': 0.999806941}]

PHP

use function Codewithkyrian\Transformers\Pipelines\pipeline;

// Allocate a pipeline for sentiment-analysis
$pipe = pipeline('sentiment-analysis');

$out = $pipe('I love transformers!');
// [{'label': 'POSITIVE', 'score': 0.999808732}]

Javascript

import {pipeline} from '@xenova/transformers';

// Allocate a pipeline for sentiment-analysis
let pipe = await pipeline('sentiment-analysis');

let out = await pipe('I love transformers!');
// [{'label': 'POSITIVE', 'score': 0.999817686}]

你可以看到它在不同语言之间是多么的相似，如果你在它们之间切换或学习一种新的语言，这会让你更容易。

特性

• 本地模型执行。直接在PHP项目中部署大量NLP模型，无需依赖外部API即可实现语言理解、文本生成等功能。
• 易于集成。轻松地将高级AI功能嵌入到您的PHP应用程序中，通过文本分类和实体识别等功能对其进行增强。
• 针对性能进行了优化。享受快速处理和高效的资源使用，允许跨任何规模的项目提供可扩展的AI解决方案，而不会牺牲速度或性能。

安装

您可以通过Composer安装库。这是安装库的推荐方法：

composer require codewithkyrian/transformers

TransformersPHP所需的所有共享库都将自动安装。如果由于某种原因失败，您可以使用以下命令手动安装它们：

./vendor/bin/transformers install

说明：共享库是特定于平台的，因此在执行代码的目标平台上运行composerrequire或transformers install命令非常重要。在大多数情况下，这将是您的开发机器或部署应用程序的服务器，但如果您使用Docker容器，请在该容器中运行composer require命令。

就是这样！现在您已经准备好在PHP应用程序中使用TransformersPHP了。

预下载模型

默认情况下，当您第一次使用管道或预训练模型时，TransformersPHP会自动从Hugging Face模型中心检索模型权重（ONNX格式）。为了节省时间并增强用户体验，最好提前下载ONNX型号权重，尤其是对于较大的型号。TransformersPHP包含一个命令行工具来促进这一点：

./vendor/bin/transformers download <model_name_or_path> [<task>] [options]

例如，要下载Xenova/bert-base-uncased模型，您可以运行：

./vendor/bin/transformers download Xenova/bert-base-uncased

基本用法

开始使用TransformersPHP的最快和最直接的方法是通过管道API。如果您熟悉Python的Transformers库，您会发现这种方法非常相似。它是一个用户友好的API，将模型与特定任务的所有必要预处理和后处理步骤捆绑在一起。

创建管道

要创建管道，您需要指定要使用它的任务。例如，如果你想使用一个管道进行情感分析，你可以创建一个这样的管道：

use function Codewithkyrian\Transformers\Pipelines\pipeline;

$classifier = pipeline('sentiment-analysis');

第一次运行时，TransformersPHP将下载并缓存默认的预训练模型，以进行即时情绪分析。这个初始设置可能需要一点时间，但随后的运行会快得多。

使用不同的模型

每个任务都有一个用于推理的默认模型。但是，您可以指定要使用的其他模型：

$classifier = pipeline('sentiment-analysis', 'Xenova/bert-base-multilingual-uncased-sentiment');

您还可以指定是否应使用量化模型（默认值为true）：

$classifier = pipeline('sentiment-analysis', quantized: false);

使用流水线

现在你已经有了管道，使用它就像调用一个函数一样简单。只需提供您想要分析的文本即可：

$result = $classifier('I love TransformersPHP!');

你会得到情感分析结果

['label' => 'POSITIVE',  'score' => 0.9995358059835]

你不限于一次一个文本，你也可以传递一个文本数组来获得多个分析：

$results = $classifier([
    'I love TransformersPHP!',
    'I hate TransformersPHP!',
]);

输出将为您提供每个文本的情感评分

[
    ['label' => 'POSITIVE',  'score' => 0.99980061678407],
    ['label' => 'NEGATIVE',  'score' => 0.99842234422764],
]