Mac 配置终端开发环境 ---- 概述 作为一个服务端开发人员基本上都是通过终端和服务器打交道，所以一个好个开发人员那么他的终端配置也是高效的。...我的个人终端开发环境有以下组成： iTerm2+Oh My Zsh tmux emacs 这些软件对于终端服务器开发足矣，废话少说我们来介绍一下它的配置和安装。....profile下面，如果想让在zsh生效的话，需要在.zshrc最后加入 source ~/.profile 配置完成之后，你需要手动在shell里面运行如下命令让其生效。...source .zshrc 当然你也可以自定制一些alias，这样你可以方面的调用shell命令，比如： # man page highlight export LESS_TERMCAP_mb=$'\...根据自己的爱好来配置emacs，你也可以下载一个preclude这样大师的配置。
scrapy shell（scrapy终端）是一个交互式的终端，在未启动spider的情况下尝试及调试爬取代码，主要测试Xpath和CSS表达式等，查看他们的工作方式以及从爬取的网页中提取数据，该终端在开发和调试...启动终端:scrapy shell 使用该终端时，可使用一些快捷命令，如下： shelp 打印可用对象及快捷命令的帮助列表 fetch(request_or_url) 根据给定的请求(request...)或URL获取一个新的response，并更新 相关对象 view(response) 在本机的浏览器打开给定的response 可用的scrapy对象,scrapy终端会根据下载的页面自动创建一些方便使用的对象...The Request and The Response（请求和响应） 在上面使用scrapy shell就会发现，只要我们输入一个URL，它就可以自动发送一个GET请求并返回结果。...从网页中提取信息常用到的方式有很多，比如正则表达式（re），BeautifulSoup,Xpath等，我常用到的就这几种。
命令行工具非常多，称得上神器的，提炼为以下四个： 终端程序 - Alacritty Shell - Fish 终端复用 — Tmux 编辑器 — Vim 我选择工具的标准是：美、快、爽。...比如说，我是没有用终端 Tab 页的习惯的， 这些事情 tmux 完全可以搞定。作为终端模拟器，简单快速就好！...jethrokuan/z 快速跳转目录的插件 图片图2.4 fish shell 中 jethrokuan/z 的自动跳转 除去工具本身外，unix 中 emacs 风格的 shell 快捷键 也值得推荐...Emacs 风格的 shell 快捷键 - 光标移动和编辑 Emacs 风格的 shell 快捷键 - 回翻历史命令 Emacs 风格的 shell 快捷键 - 进程挂起 其实，主流的 shell (fish...简单讲，终端复用就是在一个终端中，可以开多个 shell 会话。一些现代的终端应用，比如 iterm2， 也支持 Tab 页 和 切屏，不过它们在 tmux 的颜值和效率面前，都相形见绌。
在文件名的末尾有一个 @ 符号，如果你启用了终端的显色，文件名还会有不同的颜色： 现在，如果你删除源文件，链接就会断掉，如果你在终端里尝试访问它，Shell 会提示 “No such file or...如果在终止进程之前，先关闭了启动它的终端窗口，这一信号将被自动发送。 INT 代表 interrupt（干扰），这个信号和在终端中按下 ctrl-C 组合键的作用一样，常常用来终结进程。...按下后，命令会即刻停止，并将你带回到 Shell 终端。 你可以恢复命令在后台的执行，这样既可以使命令保持运行，同时又不会妨碍你在终端中做其他工作。...参数 -aH 将使 who 显示更多的信息，包括空载的时间与终端的进程 ID： 特殊的 who am i 命令会列出当前终端会话的详情： Linux 中的 su 命令 当你用一个用户登录到终端 Shell...su 会以另一个用户的身份，开启新的 Shell。 当你完成操作，执行 exit即可关闭新开的 Shell，并回到当前用户的 Shell。
（或者切入Anaconda图形界面下载） 然后在cmd里面输入Scrapy 有消息就成功啦！ 创建第一个项目： 终于安装完成了。...可以看到，通过该指令在不依靠Scrapy项目的情况下完成了爬虫文件的运行。 settings命令： 第三个全局命令了，settings命令可以查看Scrapy对应的配置信息。...比如我们可以通过下面指令来查看配置信息中BOT_NAME对应的值 scrapy settings --get BOT_NAME shell命令： shell命令主要是可以启动Scrapy的交互终端。...经常在开发以及调试的时候用到，使用Scrapy的交互终端可以在不启动Scrapy爬虫的情况下，对网站响应进行调试，同样，在该交互终端中，我们也可以写一些python代码进行响应测试 比如我们为爬取百度首页创建一个交互终端环境...自动生成为可执行文件： Check命令： 这个命令跟名字很像，在爬虫中测试是一个很麻烦的事情，所以在Scrapy中使用合同（contract）的方式对爬虫进行测试。
，如果不使用Nerd Font的话，后面设置了终端的主题后会乱码 这里我以Hasklig字体为例，下载链接。...会设置一个默认的主题（只要看到彩色的字体，应该就是设置成功啦）如果想要设置其它主题的话，可以在执行Get-PoshThemes复制代码查看所有可设置的主题在执行Get-PoshThemes完命令输出所有主题的样式后...code $PROFILE复制代码以我自己为例，我想设置主题为1_shell这个主题，那么就可以在刚刚打开的配置文件里加上这句话然后保存并重启Windows Terminal oh-my-posh...它提供： 语法着色简单语法错误通知良好的多线体验（编辑和历史）可定制的键绑定Cmd 和 emacs 模式（都没有完全实现，但都可以使用）许多配置选项Bash 样式完成（在 Cmd 模式下可选，在 Emacs...上面是github里的介绍，但其实我们主要用到PSReadLine的功能就是自动保存历史记录，敲过一个命令后，后面只需要敲前几个字母就能提示出命令，按【→】键就可以自动补全命令语法着色 PSReadLine
进入交互终端，用于爬虫的调试（如果你不调试，那么就不常用）：scrapy shell http://www.baidu.com --nolog（--nolog 不显示日志信息） startproject...进入交互终端，用于爬虫的调试（如果你不调试，那么就不常用） startproject 创建一个爬虫项目，如：scrapy startproject demo（demo 创建的爬虫项目的名字...xpath路径 runspider命令用于直接运行创建的爬虫, 并不会运行整个项目 scrapy runspider 爬虫名称 2 Scrapy框架的使用： 接下来通过一个简单的项目，完成一遍Scrapy...到过命令行将抓取的抓取内容导出 ① 创建项目 爬取我爱我家的楼盘信息： 网址：https://fang.5i5j.com/bj/loupan/ 在命令行编写下面命令，创建项目demo scrapy startproject...来完成POST提交，并可以携带参数。
2、在pycharm中的启动命令： scrapy shell 注：启动后关键字高亮显示 ?...二、Scrapyshell 使用细节 注：调用：scrapy shell https://www.xxx.com/ 1、Scrapyshell 终端是一个交互终端 我们可以在未启动spider的情况下尝试及调试代码...，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据； 2、Jupyter 如果安装了 Jupyter ，Scrapy终端将使用 Jupyter (替代标准Python...Jupyter 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。...可以看到response的响应头； 4、response.selector 输入 response.selector 时， 将获取到一个response 初始化的类 Selector 的对象，此时可以通过使用
我很同情这一点，因为我对 Emacs 的感觉就是这样。我以为真正的 Emacs 用户都只会在终端里面运行，从来不用方向键和菜单，更不会用鼠标。这是个阻止自己开始使用 Emacs 的好办法。...你应该在你需要的时候使用它们，而当你最终在 VT100 终端上通过 SSH 使用 Emacs，没有 Alt 或方向键的时候，你才应该使用这些晦涩的命令。...它可以作为 Emacs 进程的命令行，也可以作为 shell，或者只是一个文件的内容。 窗口(Window)：“窗口”是你进入一个缓冲区的视角。 迷你缓冲区(Mini-buffer)。...如果你想只用 Emacs 来完成那些“感觉”适合 Emacs 的任务，而用不同的编辑器（比如 Vim）来完成其他任务，你可以这样做。...有些软件包需要特殊的配置，有时会在它的描述中列出，但有时需要你访问软件包的主页来阅读更多的信息。例如，自动完成包 ac-emoji 很容易安装，但需要你定义一个符号字体。
有很多种基于文本的编辑器，常见编辑器中较受用户欢迎的是 nano、vi、emacs。nano是一种简单易用的编辑器。 （2）为什么?...扩展名 .bak、.sav、.old、.orig 是常用的标示备份文件的方法。（准） 备份完成，就可以启动文件编辑器。 （2）开始使用 nano .bashrc ?...Ⅲ.添加注释 可以看到，添加的这些代码，有好几条命令都是第一次见，而且这些新增加的代码并不易于理解，所以就需要在 .bashrc 文件中添加一些注释来帮助用户理解代码的含义。...4.激活我们的修改 有 2 种方法可以激活修改：关闭shell终端会话并重启、source命令强制激活。...（1）关闭shell终端会话并重启 因为只有启动 shell 会话时才会读取 .bashrc，所以对 .bashrc 做出的修改只有在关闭 shell 终端会话并重启的时候才会生效。
如果你更熟悉Linux/Unix，你可以用控制台自带的vim或emacs。这两个编辑器功能强大，但是有一定的学习曲线。如果你是初学者，可以选择适合初学者的nano编辑器。...这个留给以后再说，现在如果你想加载一个网页，你可以使用Scrapy终端，如下所示： scrapy shell -s USER_AGENT="Mozilla/5.0" <your url here e.g...不要被这么多行的命令吓到，后面我们再仔细说明。现在，我们可以看到使用这个简单的爬虫，所有的数据都用XPath得到了。 来看另一个命令，scrapy parse。...另外，许多时候你想用一个辅助的Requests执行一个请求，下一章有例子。你需要Requests越早完成越好，以便爬虫继续下面的工作。...Scrapy试图简化这些琐事，让编程更容易。完成之前结果的更好方法是使用CrawlSpider，一个简化抓取的类。
例如，输入流的源可以是文件、设备、终端，甚至是另一个进程的输出流。...当你有一个有大量输出需要筛选的命令，并且想要使用类似less的工具查看输出时，这非常有用。...，find命令也可以完成一些花哨的操作。...损坏并不是永久的；你可以重新启动一个新的shell。（要实现持久效果，你需要在编辑某个配置文件时错误地输入，即使如此，也很容易纠正。）返回正常状态的最简单方法之一是关闭当前的终端窗口并启动另一个窗口。...例如vi这样的编辑器在终端窗口内运行，使用标准终端I/O接口。图形界面编辑器则启动自己的窗口，并呈现独立于终端的界面。Emacs默认在图形界面中运行，但也可以在终端窗口中运行。
欢迎点赞，关注，收藏，分享四连击 Scrapy Shell Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式...如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。IPython 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。...（推荐安装IPython） 启动Scrapy Shell 进入项目的根目录，执行下列命令来启动shell: scrapy shell "http://www.itcast.cn/channel/teacher.shtml..." Scrapy Shell根据下载的页面会自动创建一些方便使用的对象，例如 Response 对象，以及 Selector 对象 (对HTML及XML内容)。...当shell载入后，将得到一个包含response数据的本地 response 变量，输入 response.body将输出response的包体，输出 response.headers 可以看到response
Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。...如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。...（推荐安装IPython） 启动Scrapy Shell 进入项目的根目录，执行下列命令来启动shell: scrapy shell "http://www.itcast.cn/channel/teacher.shtml..." Scrapy Shell根据下载的页面会自动创建一些方便使用的对象，例如 Response 对象，以及 Selector 对象 (对HTML及XML内容)。...当shell载入后，将得到一个包含response数据的本地 response 变量，输入 response.body将输出response的包体，输出 response.headers 可以看到response
从终端窗口运行程序 当您打开终端窗口（如 Windows 上的命令提示符或 MacOS 和 Linux 上的终端）时，您会看到一个几乎空白的窗口，您可以在其中输入文本命令。...就像交互 Shell 有>>>提示一样，终端会显示提示让你输入命令。...此外，虽然从对话框中运行 Python 脚本会打开一个新的终端窗口来显示其输出，但该窗口会在程序结束时自动关闭，您可能会错过一些输出。...您可以通过创建批处理脚本来解决这些问题，它是一个带有bat文件扩展名的小文本文件，可以运行多个终端命令，很像 MacOS 和 Linux 中的 Shell 脚本。...这是一个 Shell 脚本：运行一系列终端命令的脚本。这个 Shell 脚本将运行我们的 Python 脚本/home/al/example.py，然后运行 bash Shell 程序。
常用的内置命令忽略，来看看shell编程中其他一些重要的内置命令： 1、help：显示所有内置命令列表，或显示一个具体命令的用法。...或 source ：在现行shell中执行shell程序 例子： 编辑脚本文件a_var.sh： #!/bin/bash a=31 保存退出后回到终端，修改a_var.sh的权限并输入命令： ....$a 其输出结果为： 31 第一种方式执行a_var.sh，bash会创建一个shell去执行，当子shell执行完成后，它的变量a会被系统收回。...，可带返回值 exit 1 9、history：显示过去曾经执行过的shell指令，与history命令相关的有三个重要的变量： HISTFILE ：记录存放历史命令文件的路径，如： echo $HISTFILE...同样，可以用set +u取消作用 set -v：显示当前shell的每一个执行命令，换句话说，就是把执行的命令打印出来 例如： kelvin@kelvin-Founder:~$ set -v kelvin
2 Mac自带的终端不是很强，程序员们需要一个强劲的终端来工作，于是有了 iTerm2，这个终端可以很方便的用快捷键来达到分屏（CMD+D）、开多个Tab(CMD+T)、在多个Tab之间进行切换(CMD...终端中输入命令时，移动光标有两种方式，一个是 emacs，一个 vi，可以通过 set 命令来设置，默认的是 emacs 模式，也可以通过set -o emacs来显式设置，有如下快捷键： ctrl +...其实这是个比较基础的问题，shell有两种：登录式shell与非登录式shell，直观理解，登录(login)式shell就是在你打开shell要求你输入用户名与密码的shell，我们在使用桌面Linux.../usr/bin/login这个命令打开终端的，所以不会去source ~/.bashrc了。...常见的网线没办法直接连接 Mac 电脑，需要单独购买一个以太网转接器，所以大部分同学都是使用无线连接，但 Mac 这里应该是有个 bug，而且是很久的 bug，我用 Mac 两年了，偶尔会遇到几次，网上解决的方法有如下几种
作为一名在 Windows 下使用了多年 gVim 的少年，已然把它在我需要的地方都收拾得服服贴贴，可以说 Vim 经过配置配置，上得厅堂下得厨房，基本能满足我的所有幻想。...历数现代 Lisp 方言的先进性，再者我也一直有学习一门函数式编程语言的想法，看起来，Lisp 是不二之选。...本来什么也不用配置的情况下 M-x ielm 就能进入一个 Emacs Lisp 的 REPL，但是它与 Common Lisp 毕竟还是有区别，所以还是另配置一个。...C/S 模式快速启动 Emacs Emacs 的启动速度是相比 Vim 来说被诟病吐槽得很多的一个点，我们在 Windows 下可以利用 C/S 模式来实现 Emacs 快速打开文件。...For use with Internet Explorer 平滑滚动 Emacs 默认的滚动方式和 Vim 不一样，是光标移到屏幕上或者下边缘时突然跳动半屏，比较不符合我目光跟着光标走的习惯，这个可以使用一个插件来解决
在使用 scrapy 来爬取网页的时候，我们难免会使用到调试功能，下面介绍两种调试方法： 1.终端使用 scrapy shell exampleurl exampleurl 为你要爬取网站的 url...开启调试界面后终端显示如下（类似 IPython）： ? 接下来就可以在命令行中输入各种方法来获取网页内容查看实时效果了。...介绍一下在 pycharm 调试 scrapy 框架下的代码。 在 scrapy 生成的爬虫项目下新建一个 main.py 文件，写入下列内容： #!...使用 crawl 爬取并调试，最后一个参数jobbole 是我的爬虫文件名 execute(['scrapy', 'crawl', 'jobbole']) 接下来在爬虫文件中设置断点，回到 main.py...比如我自己的 jobbole.py 设置断点后回到 main.py 进行 debug，会自动跳到设置断点处： ? 按 F6会继续执行断点后的下一行代码，按 F8会自动跳到该文件设置的下一个断点处。
我最喜欢的主题是“命令行”或者说 shell，因为了解人们如何熟练使用 shell 可以让你深入地了解他们的想法，他们喜欢什么样的工作流程，以及某种程度上是什么激发了他们的灵感。...许多开发和运维人员在互联网上公开分享他们的“ dot 文件”（他们的 shell 配置文件的常见俚语），这将是一个有趣的协作机会，让每个人都能从对命令行有丰富经验的人中学习提示和技巧并分享快捷方式以及有效率的技巧...没接触过的人和新手可能没有意识到 bash shell 的默认输入模式是 Emacs 模式，也就是说命令行中所用的行编辑功能都将使用 Emacs 风格的“键盘快捷键”。...这只是使用提供给 shell 用户的诸多 Emacs 快捷键组合之一完成的。还有其他更多东西，如复制文本、粘贴文本、删除文本以及使用快捷方式来编辑文本。...他的工作包括下一代构建系统、自动化、RPM 包维护和基础架构部署。Adam 在山姆休斯顿州立大学完成了计算机科学学士学位与信息保障与安全科学硕士学位。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
