如何使用Apache Beam FileIO writeDynamic从字节数组输出音频文件？
如何使用Apache Beam FileIO writeDynamic从字节数组输出音频文件？
提问于 2019-06-23 15:57:47
我们正在使用Apache光束来处理从pubsub源到GCS接收器的具有动态文件名的流数据。我们可以写文本文件，但不能写wav文件。
我们可以写出使用StringUtf8Coder的字节数组字符串(linear16 wav编码)，但使用ByteArrayEncoder时会出现编译错误
//这行得通：
pipelineBeginStage
.apply(
FileIO.<String, KamiAppData>writeDynamic()
.by((SerializableFunction<KamiAppData, String>) input -> input.GCSurl)
.via(
Contextful.fn((SerializableFunction<KamiAppData, String>) input -> input.audioStream),
TextIO.sink())
.to(outputBucket)
.withNaming(url -> FileNaming.getNaming(url, "wav"))
.withDestinationCoder(StringUtf8Coder.of())
.withNumShards(1));//这会产生编译错误：
pipelineBeginStage
.apply(
FileIO.<String, KamiAppData>writeDynamic()
.by((SerializableFunction<KamiAppData, String>) input -> input.GCSurl)
.via(
Contextful.fn((SerializableFunction<KamiAppData, byte[]>) input -> input.audioStream.getBytes()),
TextIO.sink())
.to(outputBucket)
.withNaming(url -> FileNaming.getNaming(url, "wav"))
.withDestinationCoder(ByteArrayCoder.of())
.withNumShards(1));我们得到的错误是：
cannot resolve method 'via(org.apache.beam.sdk.transforms.Contextful.Fn<InputT,OutputT>>,org.apache.beam.sdk.TextIO.Sink)'我们如何使用Apache Beam编译音频并将其写入文件？
回答 1
Stack Overflow用户
发布于 2019-06-24 22:51:06
Anton在上面的评论中的解释在我看来非常清楚。
我只想补充一下，为了让它与字节类型一起工作，你可能需要实现你自己的FileIO.Sink<byte[]>类。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56725569
复制相关文章
相似问题
参数化链接服务Azure数据工厂
在Azure数据工厂的链接服务中参数化集成运行时
Azure数据工厂链接服务问题
参数化链接服务的Azure ARM模板参数
Azure数据工厂无法参数化Blob存储链接服务中的密钥库secretName
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
