在PL/SQL中，UTL_FILE包提供了文本文件输入和输出互功能。也就是说我们可以通过该包实现从操作系统级别来实现文件读取输入或者是写入到操作系统文件。通过该包也可以将其他系统的数据加载到数据库中。如加载web服务器日志，用户登录数据库日志乃至Oracle日志文件等等。本文主要描述了UTL_FILE的功能以及通过实例演示并理解这个包下相关过程函数的用法。
技术 PL/SQL 提高文件操作功能 作者：Steven Feuerstein Oracle9i第2版中的UNT_FILE提高了文件输入/输出（I/O）功能。 有些人可能会说你可以在Oracle数据库中包含和表示整个世界，甚至是整个宇宙。这或许是真的，但我们中仍有一些人希望能够从我们的PL/SQL程序内部处理操作系统（OS）文件。有了这个愿望，开发人员在很长时间内就同UTL_FILE包之间有了一种爱憎交加的关系。 相关链接 Oracle技术网站（OTN）上关于UTL_FILE的示例 ot
作者介绍 崔华 网名 dbsnake Oracle ACE Director，ACOUG 核心专家 UTL_FILE包可以用来读写操作系统上的文本文件，UTL_FILE提供了在客户端（FORM等等
在平时的数据导出中使用exp/expdp能够满足绝大部分的数据导出任务。如果有一些表的数据不多，但是查询条件要复杂一些，使用exp/expdp就很吃力了。 或者在和外部系统的交互中，使用xml或者文本文件是一个很兼容的选择，这个时候使用exp/expdp也满足不了要求。 这个时候可以考虑使用utl_file的提供的一些功能来做选择性的数据导出。 先来使用utl_file做一个简单的例子，输出两行文本内容到output.txt文件中。一行Hello,一行hello word declare v_fileha
SQL*Loader 是用于将外部数据进行批量高速加载的数据库的最高效工具，可用于将多种平面格式文件加载到Oracle数据库。SQL*Loader支持传统路径模式以及直接路径这两种加载模式
Oracle字符集是AL32UTF8，查询表中的非英文字符显示正常，但是用utl_file写到CSV文件用Excel打开是乱码。
针对这个需求，有多种实现方式，例如spool、utl_file、PLSQL Developer导出、Java等语言直连数据库操作，没有最佳方案，只有最合适的。
可以利用UTL_FILE包，但是，在此之前，要注意设置好UTL_FILE_DIR初始化参数。
如果一个大表要抽取数据导出成csv文件，我们有什么策略，如何改进。 一、问题背景 今天开发的同学找到我，他们需要做一个数据统计分析，需要我提供一些支持，把一个统计库中的大表数据导出成文本提供给他们
采用命令“DBMS_OUTPUT.ENABLE(20000);”，另外，如果DBMS_OUTPUT的信息不能显示，那么需要设置SET SERVEROUTPUT ON。
select ‘bgdrac’ database,t11.username,t11.default_tablespace tablespace_name,segment_size_in_GB,datafile_size_in_gb,tablespace_free_size_in_gb from (select username,default_tablespace from dba_users) t11 left join ( select nvl(t1.tablespace_name,t2.tablespace_name) tablespace_name,t1.size_in_GB datafile_size_in_GB,t2.size_in_GB segment_size_in_GB,t1.size_in_GB-t2.size_in_GB tablespace_free_size_in_GB from (select tablespace_name,sum(bytes)/1024/1024/1024 size_in_GB from dba_data_files group by tablespace_name) t1 full join (select tablespace_name,sum(bytes)/1024/1024/1024 size_in_GB from dba_segments group by tablespace_name) t2 on t2.tablespace_name=t1.tablespace_name) t22 on t22.tablespace_name=t11.default_tablespace where t11.default_tablespace<>’zlbfxt’;
cx_Oracle 是一个用户访问 Oracle 数据库的 Python 扩展模块。它符合Python数据库API 2.0规范，并增加了相当多的内容和几个排除项。
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/53894921
预告: 下一次培训主要面向DBA, 讲一下ora工具的用法与用途,大概需要一天时间.
SQL> alter system set nls_date_format='yyyy-mm-dd hh24:mi:ss' scope=spfile;
首先为了快速创建表数据用了CONNECT BY方法，再次为了把表存储搞大，每个字段长度都是1000字节，一条记录平均4000字节左右，数据库的db_block_size=8192字节，由于block还包括其他信息，所以一个块只能存储一条记录，10万记录大概在800M左右，50万记录为4G
Lunatic 整理 1. 删除表的注意事项 在删除一个表中的全部数据时，须使用TRUNCATE TABLE 表名;因为用DROP TABLE，DELETE * FROM 表名时，TABLESPACE表空间该表的占用空间并未释放，反复几次DROP，DELETE操作后，该TABLESPACE上百兆的空间就被耗光了。 2.having 子句的用法 having 子句对 group by 子句所确定的行组进行控制,having 子句条件中只允许涉及常量,聚组函数或group by 子句
由于RDS(Oracle)不直接支持SSH，FTP(基于安全因素吧).所以原有系统expdp或exp出来的dmp文件，不能直接导入到RDS中。官方文档里建议通过networklink或者dblink的方式 从原有数据库迁移到RDS，考虑到网络和安全因素，此方法暂被忽略掉。
在10g开始的新特性中，外部表是一个不容忽视的好工具。对于大型项目中海量数据使用sqlloader是一种全新的方式，不过很明显,sqlloader的可扩展性更强，但是基于oracle平台的数据迁移来说，外部表的性能也不错。对于数据迁移来说也是一个很好的方案。 使用外部表来做数据迁移，可以“动态”加载数据，能够很方便的从数据库中加载数据，对于数据校验来说就显得很有优势了，而对于sqlloader来说，可能得等到数据加载的时候才知道是不是有问题，如果对于数据的准确性要求极高，可以使用外部表动态加载数据到备库，和
学习Android相关知识，数据存储是其中的重点之一，如果不了解数据，那么让你跟一款没有数据的应用玩，你能玩多久呢？答案是这和没有手机几乎是差不多的。我们聊QQ，聊微信，看新闻，刷朋友圈等都是看里面的数据，所以在Android中数据对我们是多么重要。
分析Oracle数据库日志文件(1) 一、如何分析即LogMiner解释 从目前来看，分析Oracle日志的唯一方法就是使用Oracle公司提供的LogMiner来进行， Oracle数据库的所有更改都记录在日志中，但是原始的日志信息我们根本无法看懂，而LogMiner就是让我们看懂日志信息的工具。从这一点上看，它和tkprof差不多，一个是用来分析日志信息，一个则是格式化跟踪文件。通过对日志的分析我们可以实现下面的目的： 1、查明数据库的逻辑更改； 2、侦察并更正用户的误操作； 3、执行事后审计；
外部表是一个数据存储在数据库外部的OushuDB数据库表，允许OushuDB对存储在数据库之外的数据源中的数据进行访问，就像数据存储在常规数据库表中一样。外部表分可读和可写，数据可以从外部表读取或写入。它和常规数据库表的用法一样， 可以执行INSERT、SELECT、JOIN等操作。外部表通常用于快速并行加载和卸载数据库数据。
起因是在某红队项目中，获取到Oracle数据库密码后，利用Github上的某数据库利用工具连接后，利用时执行如 tasklist /svc 、net user 等命令时出现 ORA-24345: 出现截断或空读取错误，且文件管理功能出现问题，无法上传webshell，因此萌生了重写利用工具的想法。
Oracle Database 10g 提供了一个新的工具：(AWR:Automatic Workload Repository) .
I/O（Input/Output）在计算机中指的是数据的输入和输出，涉及数据在内存和外部设备（如磁盘、网络）之间的流动。输入流（Input Stream）表示数据从外部流向内存，而输出流（Output Stream）表示数据从内存流向外部。在程序运行时，数据通常存储在内存中，由CPU执行操作。然而，涉及到与外部设备（通常是磁盘或网络）进行数据交换的地方，就需要使用 I/O 接口。
Oracle就是这么牛，从外部文件导入到Oracle中有N种方法，想把Oracle的数据导出成通用文件的方法却不多，梳理下来大致有三种办法：
若是少量数据；可选择的解决方案有很多。常用的用 Pl/SQL developer工具，或者手动转换为 INSERT 语句，或者通过API。但数据量大；用上面的方法效率太烂了。本文来说说 Oracle 数据的加载和卸载。
一、基本操作 1. INSERT 在常用的增删改查数据库操作中，HAWQ仅支持INSERT和SELECT两种，不支持UPDATE和DELETE，这主要是因为HDFS是一个只能追加数据而
Greenplum数据库于2015年由Pivotal公司开源，遵循Apache Licence 2.0协议，官方网站为：
为了更好的管理CDB及其PDB中的权限，12c推出一项新功能 – PDB锁定配置文件 ( PDB Lockdown Profile)，用于控制连接到PDB用户的可用操作。比如，禁止执行alter system。
作者介绍 ceciliasu（苏翠翠），腾讯云数据库工程师，加入腾讯以来持续从事分布式数据库内核研发工作，曾负责TDSQL PG版、CDW PG快速扩容能力设计和研发。目前主要参与CDW PG数据库内核研发相关工作，负责外部数据快速导入工具的设计和研发。 原生数据导入导出方式以及存在的问题 使用原生COPY导入数据相当耗时，这是因为在CN上执行COPY导入数据是一个串行执行的过程，所有数据都需要经过CN处理分发给不同DN入库，所以CN是瓶颈，它只适合小数据量的导入。 图表 1 COPY数据流向示意图 TD
在上一章介绍expdp/impdp时曾使用过DIRECTORY这个概念，下面再简单说明下DIRECTORY的点点滴滴。
exp/imp 对于数据结构的复制和同步，还是比较理想的工具。 在数据量比较小的情况下，这个工具的性能要远远好于datapump，而且重点推荐，他对于各种常用数据类型的支持还是很不错的。 有一些特性，在某种程度上要好于datapump，在做数据迁移的时候，commit特性还是很重要的。因为通过datapump碰到了很多undo空间不足带来的问题。 datapump 在10g版本开始，就开始推荐使用的datapump，算是对exp/imp的补充说明。在使用数据量中等的数据迁移中，是比较好的方案，它有几个亮
告警日志文件命名一般为alert_.log，其中SID为ORACLE数据库实例名称。
软件下载 Oracle Big Data Connectors：ODCH 下载地址： http://www.oracle.com/technetwork/bdc/big-data-connectors
本系列文章主要针对ETL大数据处理这一典型场景，基于python语言使用Oracle、aws、Elastic search 、Spark 相关组件进行一些基本的数据导入导出实战，如：
创建一个外部表，使用CREATE EXTERNAL TABLE命令。在这个命令里，需声明新表名称，各列名称及其数据类型，基于命令的EXECUTE子句或基于URL的LOCATION子句的外部数据来源，数据格式。
您可以创建ACID（原子性，一致性，隔离性和持久性）表用于不受限制的事务或仅插入的事务。这些表是Hive托管表。数据与Schema一起位于Hive metastore中。或者，您可以创建一个外部表用于非事务性使用。数据位于Hive Metastore外部。模式元数据位于Hive Metastore内部。因为外部表受Hive的控制很弱，所以该表不符合ACID。
PHP是一种服务器端脚本语言，用于构建动态Web应用程序。在PHP中，您可以使用各种函数来读取和写入文件。
在之前穿越边界的姿势文章中介绍了几种穿透内网的方式，今天的这种方式再之前的文章里没有提及，所以今天来重点介绍使用dns协议穿透内网。
read 函数不带参数使用时会一次读入文件的全部内容，因为会占用系统的内存，可以选择分块读入再进行拼接：
常规需求是文本文件交互，比如 文件打开、文件写入、文件内容刷新等等，如果默认的文件没有规则仅仅是里面有内容，就需要使用比较底层的函数：
--================================================
众所周知文本数据的分析,一直是EXCEL的天下, 通过多种EXCEL的方法来进行数据的处理. 但如果涉及到几个文本文件的数据的聚合分析,合并分析,函数分析等等这样的情况. 所以怎么能让文本文件进行数据分析成为一个数据分析领域的卖点.
HDFS（Hadoop Distributed File System）的读写流程如下：
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。
Node.js是一个能够在服务器端运行JavaScript的开放源代码、跨平台JavaScript运行环境。 Node采用Google开发的V8引擎运行js代码，使用事件驱动、非阻塞和异步I/O模型等技术来提高性能，可优化应用程序的传输量和规模。 Node大部分基本模块都用JavaScript编写。在Node出现之前，JS通常作为客户端程序设计语言使用，以JS写出的程序常在用 户的浏览器上运行。 目前，Node已被IBM、Microsoft、Yahoo!、Walmart、 Groupon、SAP、 LinkedIn、Rakuten、PayPal、Voxer和 GoDaddy等企业采用。 Node主要用于编写像Web服务器一样的网络应用，这和PHP 和Python是类似的。 Node.js允许通过JS和一系列模块来编写服务器端应用和网络相关的应用。 核心模块包括文件系统I/O、网络（HTTP、TCP、UDP、DNS、TLS/SSL等）、二进制数据流、加密算法、数据流等。Node 模块的API形式简单，降低了编程的复杂度。
PGTune可以根据给定硬件配置的最大性能计算PostgreSQL配置。对于初学者来说可以快速地来配置数据库参数。但它不是PostgreSQL优化设置的灵丹妙药。许多设置不仅取决于硬件配置，还取决于数据库的大小、客户端的数量和查询的复杂性。只有考虑到所有这些参数，才能对数据库进行最佳配置。
Facebook为了解决海量日志数据的分析而开发了Hive，后来开源给了Apache软件基金会。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
