我正在接收一个管道分隔格式的消息传递文件。一条消息行非常长,几乎有6000条。总文件大小超过6gb。下面是文件的示例格式。需要解析文件并将所有内容都放在一行中。
我需要从数据中间删除新的行字符:
File: abc.txt
File_Name|abc.txt|date|04212019|this is one full line|Client_name|Whole
File_Name|abc.txt|date|04212019|half data is good
File_Name|abc.txt|date|04212019|Sample data
is split|Client_Name|M
我需要使用一个特定的anaconda环境运行python脚本,因为我需要每天多次执行这个脚本,我想使用linux文件(/etc/ crontab )来执行它。
当我从linux命令行启动脚本时,它工作得很好:
~/anaconda2/envs/py36/bin/python ~/production/web_scraping.py
我将进程添加到crontab文件中:
SHELL=/bin/sh
PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
# m h dom mon dow user command
57
我在/home/luis中有两个脚本,这是一个拥有管理员权限的用户。一个是.sh,另一个是我试图执行的ruby代码,以便在同一文件夹中生成一个txt文件。 linux_users.rb class User
attr_reader :username, :home_directory
def initialize(username, home)
@username = username
@home_directory = home
end
end
unix_users = []
File.open('/etc/passwd').readlines
我试图在Linux上使用oracle11g运行一个简单的外部表程序。问题是我不能从.txt文件中查询任何数据。
这是我的密码:
CONN / as sysdba;
CREATE OR REPLACE DIRECTORY DIR1 AS 'home/oracle/TEMP/X/';
GRANT READ, WRITE ON DIRECTORY DIR1 TO user;
CONN user/password;
CREATE TABLE gerada
(
field1 INT,
field2
我有两个长度相同的字符串列表,但是当我将它们写到文件中每一项出现在文件中的不同行时,它们的长度与文件不匹配:
print len(x)
print len(y)
317858
317858
但是,当我将列表中的每一项写入文本文件时:文本文件中的行数与列表的长度不匹配。
with open('a.txt', 'wb') as f:
for i in x[:222500]:
print >> f, i
在linux中,wc -l a.txt提供了222499,这是正确的。
with open('b.txt', &
有两个文件file.txt和file1.txt
$ cat file.txt
Linux
Administration
Scripting
Tips and Tricks
Windows
Administration
Database
Administration of Oracle
Administration of Mysql
Security
Network
Online\
Security
Productivity\
Google Search\
Tips
"Web Based Time Tracking,
Web Based Todo list and
Reduce Key
我正在尝试使用一个小脚本更新数据库中的多个行。我需要根据在Linux机器上的列表中的一些特定user_ids来更新行。
#! /bin/bash
mysql -u user-ppassword db -e "update device set in_use=0 where user_id in ()";
正如你在上面看到的,user_ids在一个文件中,我们称它为/opt/test/user_ids_txt。
如何将它们导入到此命令中?
当我使用grep查找我需要的文本时,它将显示包含与给定模式匹配的行。
例如,
# grep -r ".*Linux" *
path0/output.txt:I hope you enjoyed working on Linux.
path1/output1.txt:Welcome to Linux.
path2/output2.txt:I hope you will have fun with Linux.
然后,我想编辑文件path2/output2.txt,因此,我输入了vim path2/output2.txt。
但是,我不认为这是一个有效的方法。
如何在grep之后复制
我下载了Scons 2.5.1到Ubuntu Linux 14.04 (Python 2.7.6)。这些文件被解压缩到目录scons-2.5.1中。正在运行
sudo ./setup.py install
按照README.txt文件的指示,将显示错误:
: File name too long
./setup.py: 35: ./setup.py: __revision__: not found
setup.py中的第35行是:
__revision__ = "src/setup.py rel_2.5.1:3735:9dc6cee5c168 2016/11/03 14:02:02 b
假设给您一个名为newText.txt的文件,该文件包含以下行:第1行、第2行、第3行
编写一个python程序,从newText.txt读取数据并以以下格式写入一个名为newerText.txt的新文件:第3行Python插入了新的第2行第1行
我可以把它倒过来,但是第2行和第3行在同一条线上。我还需要帮助,在第2行和第3行之间追加新行。
lines = []
with open('text.txt') as f:
lines = f.readlines()
with open('newtext.txt', 'w') as f:
我希望将输出保存到文件中,同时,我也希望看到屏幕上的进度。
基本上,tee只为一行工作。有什么解决办法吗?
[user@linux ~]$ cat -n test.sh
1 echo line 1 | tee out.txt
2 echo line 2 | tee out.txt
3 echo line 3 | tee out.txt
4 ls -lh out*
[user@linux ~]$
[user@linux ~]$ ./test.sh
line 1
line 2
line 3
-rw-r--r-- 1 user user 7 M
我需要帮助,我想做的事,但找不到任何地方的帮助。
我试图通过ISPF上传一个文件到主机(ISPF ->命令->“发送文件到主机”)。我遇到的问题是,文件的长度是可变的(它是通过SH脚本从DB2数据库导出的),而且不能正常工作。
我的意思是:在windows中,文件看起来如下:
This is line one
This is the second line
And this is the third
但在主办国,结局总是这样:
This is line one This is
the second line and this
is the third
或者类似的,这取决于我在分配数
我有这个表格的输入文件:
Some text here
Another text here
Something else here
现在,我想编写一个linux脚本,每次从输入文件中选择一行,并创建一个单独的文件,该文件只存储接收到的行。在此之后,我想将这个文件传递给一个程序(我只有二进制文件)。是否有可能编写这样一个linux脚本。我已经习惯了用C++编程,我知道这是可能的。但我想知道,使用linux脚本是否可能出现类似的情况。基本上,我打算做以下工作:
read inputfile.txt line by line
store line read in inputFil