我想使用多个数据集在gcp的顶点ai上训练一个自动机模型。我希望保持数据集的分离,因为它们来自不同的来源,希望分别对它们进行训练,等等。这可能吗?或者,我是否需要创建包含这两个数据集的数据集?看起来我只能在web用户界面中选择一个数据集。
发布于 2021-08-13 04:16:45
只要你的源在谷歌云存储中,就可以通过Vertex AI API,只需提供符合best practices for formatting of training data的JSON或CSV格式的训练数据列表即可。
请参见用于创建和导入数据集的代码。有关代码参考和更多详细信息,请参阅documentation。
from typing import List, Union
from google.cloud import aiplatform
def create_and_import_dataset_image_sample(
project: str,
location: str,
display_name: str,
src_uris: Union[str, List[str]], // example: ["gs://bucket/file1.csv", "gs://bucket/file2.csv"]
sync: bool = True,
):
aiplatform.init(project=project, location=location)
ds = aiplatform.ImageDataset.create(
display_name=display_name,
gcs_source=src_uris,
import_schema_uri=aiplatform.schema.dataset.ioformat.image.single_label_classification,
sync=sync,
)
ds.wait()
print(ds.display_name)
print(ds.resource_name)
return ds
注意:提供的链接是针对顶点AI AutoML图像的。如果您访问这些链接,则会有其他AutoML产品的选项,如文本、表格和视频。
https://stackoverflow.com/questions/68764644
复制相似问题