首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Java调用SqlLoader将文本导入数据库

Java调用SqlLoader将文本导入数据库 业务场景:将一千万条数据,大约500M的文本文档的数据导入数据库   分析:通过Java的IO流解析txt文本文档,拼接动态sql实现insert入库...,可以实现,缺点如下 第一:IO流解析文本文件对机器性能要求较高,测试大约消耗2G左右的内存 第二:拼接sql语句insert一千万条数据大约需要2小时时间,长时间insert会锁表,如果是核心业务表...,例如订单表,会造成大量用户无法下单,影响数据库的性能 第三:这种操作可扩展性不强,每次只能针对指定的表,指定的列操作 针对以上缺点,现在通过接口调用数据库系统命令实现,通过可视化界面,选择要导入的表,...要导入那些字段,上传指定的txt文本,会自动生成对应的模板文件,实现大批量数据高效率的导入数据库,通过可配置化即可实现,相对前一种思路扩展性较强, 具体接口如下 1 package com.sun.sqlloader.api...31 bw.newLine(); 32 } 33 bw.close(); 34 } 35 } 前台展示效果 只需要输入:表名和字段名,上传文本文件提交即可

1.2K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    虚拟主机如何登陆数据库虚拟主机如何使用

    为了能够让企业的网站更加高效的进行运转,许多人都会选择云数据库。正确的使用它,能够方便日常的工作,但是云虚拟主机如何登陆数据库?相信绝大多数人都不知道要怎么做,以下就是关于这方面的相关内容。...云虚拟主机如何登陆数据库虚拟主机主要用于搭建网站。那么,云虚拟主机如何登陆数据库?其实并不难,大家首先需要登陆云虚拟主机,如果是第一次进行登陆,就需要设置密码。...在登录成功之后,大家就可以看见管理控制的选项,只需要点击进去,然后找到相应的选项,就可以登陆数据库了,登录数据库一般也是需要用到密码和用户名的。...云虚拟主机如何使用 如果大家想要使用云虚拟主机,是需要先购买的。...云虚拟主机的性能是非常好的,它有很多项功能,比如免备份、高在线率等等,这些功能在页面当中会有相应的选项,根据提示来设置就可以了。 云虚拟主机如何登陆数据库

    16.2K40

    mysql workbench如何导入数据库_sql数据库脚本导入

    首先,打开MySQL workbench,先新建数据库(我们会把.sql文件导入之这个数据库),新建数据库过程如下: 先点击1处,新建数据库,给数据库起个名字,点击appy,就创建成功了。...之后点击2处,就可以看到现有的数据库了。 这里圈出来的是我新建的数据库,双击选中这个数据库(双击选中很重要,因为选中之后才能将.sql文件导入这个数据库中)。...然后点击左上方的第二个图标(图中圈出来的那个),选择自己要导入的.sql文件,点击打开即可。...点击“闪电”形状的按钮,运行.sql文件,就开始导入了,导入完成之后刷新数据库,就可以看到已经导入啦。 刷新newsrec数据库,就可以看到导入的表格了。

    18K30

    数据库导入问题

    不知道为啥,后台好多人都问数据库导入不进去的问题,本来以为这个没什么问题,结果还有不少呀,今天专门解决一下数据库导入的问题,首先,分享的项目基本都是mysql数据库的,其他数据库很少,开发时使用的数据库版本为...mysql5.7,下面先来介绍一下mysql数据库导入的问题,mysql导入数据库这里介绍两种方式导入 打开Navicat for MySQL连接上mysql 找到要连接的数据库,以要连接的数据库为名新建一个数据库...(具体可查看程程序内连接的数据库名,不过分享的项目数据库名基本为程序内连接的数据库) 以上步骤一致,接下来有两种方式导入,方式一 选中新建好的数据库,点击查询 新建查询 找到数据库文件,右键编辑,...以上为数据库导入的两种方式,如果还是不能解决,核对一下数据库版本,还是出错的话,可以给我说哟!...发送项目名称就行了,说数据库不能导入即可

    2.2K40

    sql文件怎么导入sql server数据库_sql怎么导入数据库

    4、首先要在数据库中建立好数据库,然后导入脚本,所以先建立一个数据库哦,不要脚本是不知道要往哪个数据库导入脚本的。...5、然后就可以输入导入.sql文件命令: mysql> USE 数据库名; mysql> SOURCE d:/test.sql; 6、看到上面的画面,说明mysql数据库已经导入成功了。...方法二:使用Navicat for MySQL图形界面来导入数据库,使用图形界面导入数据库的步骤很简单 1、在图形界面中建立好数据库之后,使用导入脚本的功能来导入数据库 2、点击选择脚本,选择D盘的test.sql...脚本,然后设置数据库字符格式 3、接着点击开始运行脚本就行了,脚本开始导入了哦!...导入完成之后就会出现成功的提示 4、然后先关闭数据库,再打开数据库就可以看到建立好的数据库的表了。 版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。

    11.6K10

    DB2导入数据库

    cd db2move 连接数据库:db2 connect to CREDITDB CREDITDB是你的数据库名称,连接时需要修改成自己的 导出数据库数据:db2move CREDITDB...步执行失败,可以尝试这个命令,含@分隔符:db2look -d edstest -u db2inst2 -td @ -e -o db2look.ddl 3.导入数据库 你先将导出的数据库文件上传到你需要导入库的服务器上面...GBK TERRITORY CN COLLATE USING SYSTEM PAGESIZE 32 k -- QS_TEST 是你的数据库名称 -- GBK是数据库编码 连接到刚才创建的数据库...db2inst1和db2look.ddl文件中的SCHEMA是否一样(db2look.ddl文件开头中有CREATE SCHEMA "db2inst1";) 修改好db2look.ddl后我们现在开始导入表结构...,执行三遍是为了确保所有表都会被创建 导入数据库数据: 刚才我们已经导入好表结构了,现在需要导入表数据 我们需要进入到db2move目录下,cd .

    2.9K10

    关于mysql导入文本txt文件

    前几天在偶然的情况下,获得了一个18G的txt文件,现在需要导入数据库中,那么该怎么导入才能保证高效并且稳定呢?...mysql插入效率 首先应该知道的就是mysql的插入效率跟下面几个点有关 1:mysql数据库引擎,myisam,innodb,甚至是memory的插入效率都是不一样 2:索引,索引也会导致插入效率变慢...3:唯一索引冲突,在插入mysql数据库时,如果有相同数据,将会报错,降低插入效率 4:mysql硬盘,机械硬盘跟固态硬盘的插入效率也是不一样的 5:导入方法,单线程多线程等 6:mysql配置项,各种缓存区大小配置...数据库引擎 我们先测试下myisam 和innodb的插入效率对比,至于memory就不测试了.没有必要....bigint(20) DEFAULT NULL,   PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=utf8; 2者都通过 Navicat txt导入方式导入

    3.8K30

    将文件导入数据库中_将csv文件导入mysql数据库

    如何将 .sql 数据文件导入到SQL sever中? 我一开始是准备还原数据库的,结果出现了如下问题。因为它并不是备份文件,所以我们无法进行还原。...执行完成后我们可以在对象资源管理器中看到我们的数据库文件导入了!...3、与上述两种数据库DSN不同,文件DSN把具体的配置信息保存在硬盘上的某个具体文件中。文件DSN允许所有登录服务器的用户使用,而且即使在没有任何用户登录的情况下,也可以提供对数据库DSN的访问支持。...dsn和系统dsn中(万一嘛…),后果就是,Tomcat报”不能使用’未知的’数据库资源”。...如果Tomcat作为系统服务启动,则ODBC方式数据库应使用系统DSN方式;如果是用户方式启动(如启动项服务),则ODBC方式数据库也应使用用户DSN方式。

    14.3K10

    MySQL 数据库导入导出

    目录 ---- 目录 导出数据库 导出数据和表结构 只导出表结构 导入数据库 首先建空数据库 导入数据库 ---- 导出数据库: 导出数据和表结构: 格式: mysqldump -u用户名 -...p密码 数据库名 > 数据库名.sql 举例: /usr/local/mysql/bin/ mysqldump -uroot -p abc > abc.sql 敲回车后会提示输入密码 只导出表结构...注:/usr/local/mysql/bin/ —> mysql的data目录 导入数据库 首先建空数据库 mysql>create database abc; 导入数据库 方法一: 选择数据库...mysql>use abc; 设置数据库编码 mysql>set names utf8; 导入数据(注意sql文件的路径) mysql>source /home/abc/abc.sql;...方法二: mysql -u用户名 -p密码 数据库名 < 数据库名.sql mysql -uabc_f -p abc < abc.sql

    16.7K20
    领券