linux命令

# curl http://www.linux.com >> linux.html

3、测试网页返回值

Ps:在脚本中,这是很常见的测试网站是否正常的用法

4、指定proxy服务器以及其端口
很多时候,您需要使用代理服务器来上网(例如,当您使用代理服务器上网时,或者当您的IP地址因您使用cURL他人的网站而被其他人屏蔽时)。幸运的是,cURL支持使用内置选项设置代理:-x。

[En]

Many times you need to use a proxy server to surf the Internet (for example, when you use a proxy server to surf the Internet or when your IP address is blocked by others because you use curl other people’s websites). Fortunately, curl supports setting proxies by using built-in option:-x.

5、cookie
一些网站使用Cookie来记录会话信息。对于Chrome这样的浏览器,处理Cookie信息很容易,但通过在cURL中添加相关参数也很容易处理Cookie。

[En]

Some websites use cookie to record session information. For browsers like chrome, it is easy to deal with cookie information, but it is also easy to deal with cookie by adding relevant parameters in curl.

5.1:保存http的response里面的cookie信息。内置option:-c(小写)

执行后,cookie信息存储在cookiec.txt中。

[En]

After execution, the cookie information is stored in the cookiec.txt.

5.2:保存http的response里面的header信息。内置option: -D

执行后,cookie信息存储在cookied.txt中。

[En]

After execution, the cookie information is stored in the cookied.txt.

注:-c(小写)生成的cookie与-d中的cookie不同。

[En]

Note: the cookie generated by-c (lowercase) is different from the cookie in-D.

5.3:使用cookie
许多网站监控您的Cookie信息,以确定您是否按照规则访问他们的网站,因此我们需要使用保存的Cookie信息。内置选项:-b

[En]

Many websites monitor your cookie information to determine whether you visit their site according to the rules, so we need to use the saved cookie information. Built-in option:-b

6、模仿浏览器
一些网站需要使用特定的浏览器来访问它们,而其他网站则需要使用特定的版本。Curl的内置选项:-an允许我们指定一个浏览器来访问网站。

[En]

Some sites need to use specific browsers to access them, while others need to use specific versions. Curl’s built-in option:-An allows us to specify a browser to visit the website.

这样,服务器端就会认为它是使用IE8.0访问的。

[En]

In this way, the server side will think that it is accessed using IE8.0.

7、伪造referer(盗链)
很多服务器会检查http访问的referer从而来控制访问。比如:你是先访问首页,然后再访问首页中的邮箱页面,这里访问邮箱的referer地址就是访问首页成功后的页面地址,如果服务器发现对邮箱页面访问的referer地址不是首页的地址,就断定那是个盗连了
curl中内置option:-e可以让我们设定referer

这将使服务器认为您点击了来自www.linux.com的链接。

[En]

This will make the server think that you clicked a link from www.linux.com.

8、下载文件
8.1:利用curl下载文件。

使用内置option:-o(小写)

使用内置option:-O(大写)

这会将文件保存在本地,并在服务器上使用该名称

[En]

This saves the file locally with the name on the server

8.2:循环下载
有时下载的图片的前半部分可以是相同的名称,但最后尾椎的名称是不一样的

[En]

Sometimes the download picture can be the first part of the name is the same, but the last caudal vertebra name is not the same

这样,所有的dodo1、dodo2、dodo3、dodo4、dodo5都将被保存。

[En]

In this way, all dodo1,dodo2,dodo3,dodo4,dodo5 will be saved.

8.3:下载重命名

因为下载的Hello和bb中的文件名都是dodo1、dodo2、dodo3、dodo4、dodo5。因此,第二次下载将覆盖第一次下载,因此需要重命名该文件。

[En]

Because the file name in both the downloaded hello and bb is dodo1,dodo2,dodo3,dodo4,dodo5. So the second download will overwrite the first download, so the file needs to be renamed.

这样在hello/dodo1.JPG的文件下载下来就会变成hello_dodo1.JPG,其他文件依此类推,从而有效的避免了文件被覆盖

8.4:分块下载
有时候下载量会比较大,这个时候我们可以分段下载。使用内置选项:-r

[En]

Sometimes the download will be relatively large, at this time we can download it in segments. Use built-in option:-r

因此,您可以查看do1.JPG的内容。

[En]

So you can view the contents of dodo1.JPG.

8.5:通过ftp下载文件
curl可以通过ftp下载文件,curl提供两种从ftp中下载的语法

8.6:显示下载进度条

8.7:不会显示下载进度信息

9、断点续传
在windows中,我们可以使用迅雷这样的软件进行断点续传。curl可以通过内置option:-C同样可以达到相同的效果
如果您在下载dodo1.JPG时突然掉线,您可以使用以下方法恢复下载

[En]

If you suddenly drop the line while downloading dodo1.JPG, you can use the following ways to resume the download

10、上传文件
curl不仅仅可以下载文件,还可以上传文件。通过内置option:-T来实现

这会将文件dodo1.JPG上载到ftp服务器

[En]

This uploads the file dodo1.JPG to the ftp server

11、显示抓取错误

其他参数(此处翻译为转载):

[En]

Other parameters (translated here as reproduced):

转自:http://www.linuxdiyf.com/linux/2800.html

Original: https://www.cnblogs.com/panxuejun/p/10512432.html
Author: THISISPAN
Title: linux命令

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/7079/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

最近整理资源【免费获取】:   👉 程序员最新必读书单  | 👏 互联网各方向面试题下载 | ✌️计算机核心资源汇总