使用polybase创建从sql server到hadoop的外部表时出现问题
使用PolyBase创建从SQL Server到Hadoop的外部表时出现问题。
PolyBase是一种用于在SQL Server中查询和访问外部数据源的技术。它允许将Hadoop作为外部数据源与SQL Server集成，从而实现在SQL Server中查询和分析Hadoop中的数据。
当使用PolyBase创建从SQL Server到Hadoop的外部表时，可能会遇到以下问题和解决方法：
- 连接问题：确保SQL Server和Hadoop集群之间的网络连接正常，并且已正确配置PolyBase连接。检查网络设置、防火墙规则和PolyBase连接字符串等。
- 权限问题：PolyBase需要适当的权限来访问Hadoop集群中的数据。确保在SQL Server上配置了正确的身份验证和授权，并且具有足够的权限来访问Hadoop集群。
- 配置问题：检查PolyBase的配置是否正确。确保已正确配置PolyBase外部数据源和外部表的相关属性，例如文件格式、分隔符、列映射等。
- 数据格式问题：PolyBase需要正确的数据格式才能读取和解析Hadoop中的数据。确保外部表的数据格式与Hadoop中的数据格式匹配，并且PolyBase可以正确解析数据。
- 日志和错误处理：查看SQL Server和Hadoop集群的日志，以了解详细的错误信息和异常。根据错误信息进行适当的故障排除和修复。
对于以上问题，腾讯云提供了一系列与PolyBase相关的产品和服务，例如TDSQL、CDH、Hadoop集群等。您可以通过腾讯云官方文档和帮助中心获取更多关于PolyBase的详细信息和使用指南。
腾讯云PolyBase相关产品和产品介绍链接地址：
- TDSQL：https://cloud.tencent.com/product/tdsql
- CDH：https://cloud.tencent.com/product/cdh
- Hadoop集群：https://cloud.tencent.com/product/cdh
相关·内容
1回答
我正在尝试查询Server 2019中的Hive表和Kylin表。我正在做一些研究，发现MSSQL提供了PolyBase作为Hadoop存储接口的一种形式。但是，示例主要包括创建表和将文件格式存储到HDFS中。我所需要的只是使用JDBC驱动程序从MSSQL创建一个外部表。这个是可能的吗？我想避
浏览 0提问于2020-11-05得票数 0
2回答
我想在Server中查询一个DB2表。是否可以在Server中链接DB2表？
我对Server没有那么多的经验，也找不到很多关于这个主题的文档。任何帮助都将不胜感激！
浏览 2提问于2019-05-14得票数 11
我们最近在SQL Server中安装了Polybase。我们正在尝试使用Hortonworks来获取数据。我在创建外部表时遇到了以下问题。destination host is: "xxxxx":1111; :
java.io.EOFException; For more details see: http://wiki.apache.org/hadoop我尝试通过取消Kerbe
浏览 17提问于2019-08-09得票数 1
我正在探索使用Azure blob存储和其他数据源的sql polybase。
对于blob存储，sql server将整个blob带到服务器上，然后执行where/join。当使用像mysql这样的数据库而不是Azure blob存储时，会有什么行为？对于每个查询，polybase是否将整个mysql表数据带入sql服务器？
浏览 0提问于2022-09-23得票数 0
当我创建一个外部表并指向一个Hadoop HDF时，我忘记在脚本中添加一个Reject。当Alter Table with Reject limit设置为100时出错，消息102，级别15，状态1，第1行'REJECT‘附近的语法不正确SQL Server 2017 Polybase中允许更改外部表吗？
浏览 0提问于2018-09-05得票数 1
1回答
我正在尝试连接Polybase 2016中的Hadoop集群(Cloudera)。当我从Polybase查询Hadoop集群时，我得到的性能非常慢。实际上，它比相同数据大小的本地SQL Server表慢50倍。有没有人致力于提高Polybase上的查询性能？Ritu Ranjan
浏览 1提问于2017-04-07得票数 0
我按照msdn ()上的说明创建了一个外部表。如果以本地管理员的身份连接到虚拟机并连接到SQL server实例，则可以从表中进行选择，而不会出现错误。但是，如果我与sql用户连接(sql身份验证，没有窗口身份验证)，则无法访问该表。我得到以下错误：
数据库作用域凭据我无法映射到sql登录
浏览 1提问于2016-11-30得票数 2
我试图用Polybase的概念将SQL Server与Azure数据湖连接起来。在尝试创建以下外部数据源时，出现了以下错误： CREATE EXTERNAL DATA SOURCE AzureDataLakeStore_4 TYPE = HADOOPPlease revise the following 采取<em
浏览 0提问于2018-12-04得票数 2
我是Polybase的新手，但我已经能够在启用了Kerberos和HA的情况下，从到Hadoop 3.1创建外部数据源和外部表。当我试图从外部表中获得一个select查询时，会引发以下错误：
内部查询处理器错误:查询处理器在处理远程查询阶段时遇到意外错误。我已经阅读了文档和可能的理由，其中指出我需要在安装后重新启动Polybase</em
浏览 3提问于2021-01-27得票数 0
回答已采纳
1回答
我得到了善良的老
CREATE EXTERNAL FILE FORMAT csvformat FORMAT_TYPE = DELIMITEDTEXT我试过什么
PolyBase与“外部数据的
浏览 0提问于2019-02-07得票数 4
回答已采纳
我学习了关于用azure databricks进行数据转换的教程，它说在将数据加载到蔚蓝突触分析中之前，由azure databricks转换的数据在加载到蔚蓝突触分析之前先保存在azure blob存储中的临时存储中
浏览 5提问于2020-08-01得票数 2
回答已采纳
我正在尝试尝试使用Server 2017中的外部文件，但在第一步中遇到了困难。[ , DATA_COMPRESSION = { | '
浏览 1提问于2017-12-02得票数 8
2回答
我的hdfs上有一个简单的管道分隔文件(newfile.txt)，并且我正确地配置了我的polybase。我很难使用Polybase将这个文件导入到我的Server中。以下是查询：CREATE EXTERNAL FILE FORMAT TextFile FORMAT_TYPE = DELIMITEDTEXT, FORMAT_OPTIONS ( Field_Term
浏览 6提问于2017-04-26得票数 1
我正在尝试设置一个PolyBase (外部)表，其中包含
Azure Blob存储(CSV数据)Azure SQL服务器附带PolyBase设置吗？我不知道如何从这些中引用的蔚蓝控制台启用“外部数据的多基查询服务”。LOCATION ='wasbs://b
浏览 0提问于2018-11-20得票数 3
回答已采纳
1回答
我正在进行一个项目，该项目旨在使用azure数据库在Azure平台上运行，并在本地使用本地sql server。我们有包含跨数据库调用的存储过程。我们可以使用以下代码在azure服务器中设置外部数据源。在这种情况下，我们可以执行跨数据库调用，比如连接单个数据库中的表。安装名为PolyBase的东西，以便在本地server版本2017中执行跨数据库查询，并且above.It仅支持类型
浏览 2提问于2019-03-27得票数 0
我试图使用Azure SQLDW中的Polybase访问Cloudera集群中的HDFS中的分隔文件(在Azure中作为IaaS提供)，但是我遇到了以下错误：
Msg 105019，级别16，状态1，第40行外部表访问由于内部错误而失败：‘在调用HdfsBridge_IsDirExist时引发的Java。消息:从10 55/10.0.0.59到10.：8020在套接字超时异常上失败: o
浏览 0提问于2017-03-24得票数 1
2回答
如果我知道将数据加载到Azure SQL数据仓库中的各种方法，那就太好了。
Java与Azure对话。直接将数据从HDInsights加载到SQL</e
浏览 4提问于2016-03-15得票数 2
回答已采纳
从Hadoop访问文件需要WASBS:// file系统类型。
我希望将SQL2016Polybase配置为将HDI集群中存储在Azure blobs中的某些数据查询的下推计算。可以在Polybase的Hadoop之外使用Azure小泡。我完全理解查询提示“选项(强制EXTERNALPUSHDOWN)”不会在Blob系统上工作。如果我将上面的内容更改为使用HDFS，那么当然可以指
浏览 6提问于2017-02-24得票数 2
我知道您可以通过外部表使用polybase将大量数据从Blob Storage加载到Azure SQL DW。但是，我们有没有可能直接使用polybase将数据从SQL DW导入到另一个SQL DW？在这两个SQL DW中必须有某种方法来避免控制节点。
浏览 3提问于2017-03-08得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
