博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
wget简单使用
阅读量:5745 次
发布时间:2019-06-18

本文共 991 字,大约阅读时间需要 3 分钟。

wget是linux上的命令行的下载工具。支持HTTPFTP协议,支持代理服务器和断点续传功能,能够自动递归远程主机的目录,找到合乎条件的文件并将其下载到本地硬盘上;如果必要,Linux wget将恰当地转换页面中的超级连接以在本地生成可浏览的镜像。

基本用法:

wget -i $file -a out.log -O /dev/null -T 0.001-t 1

有些网站或者页面,需要额外的认证,所以需要添加额外的HTTP Header,使用方法:

wget --header="Host: www.google.com" url

通过--user-agent=来伪装成浏览器

实现上传数据:

wget --post-data="user=user1&pass=pass1&submit=Login" http://domain.com/login.php

有些页面的访问需要登录,访问的时候需要传递cookie,这时候就需要和上面提到的post方式结合。一般过程是:post用户名和密码登录、保存cookie,然后访问页面时附带上cookie

wget --post-data="user=user1&pass=pass1&submit=Login" --save-cookies=cookie.txt --keep-session-cookies http://domain.com/login.php

wget --load-cookies=cookie.txt http://domain.com/path/page_need_login.php

Wget 与CURL的最大区别也是Wget的最大的优势是可以进行递归的下载,可以一次下载一个HTML页面 或者ftp列表中的所有内容。

原文:

[1]http://os.51cto.com/art/201002/183100.htm

[2]http://hi.baidu.com/hhflying/item/7ae51f3d30ce64fdde2221d9

wget和curl的区别

http://www.cnblogs.com/xuxm2007/archive/2010/09/07/1820963.html

[3]wget命令解释

http://os.51cto.com/art/201002/183100.htm

你可能感兴趣的文章
刨根问底--技术--jsoup登陆网站
查看>>
OSChina 五一劳动节乱弹 ——女孩子晚上不要出门,发生了这样的事情
查看>>
Spring--通过注解来配置bean
查看>>
pandas 十分钟入门
查看>>
nginx rewrite
查看>>
前端安全系列(一):如何防止XSS攻击?
查看>>
查看Linux并发连接数
查看>>
你是谁不重要,关键是你跟谁!
查看>>
CSS中规则@media的用法
查看>>
pychecker:分析你的python代码
查看>>
我的友情链接
查看>>
DNS显性+隐性URL转发原理
查看>>
我的友情链接
查看>>
网易有道 IP地址、手机号码归属地和身份证 查询接口API
查看>>
鼠标停留在GridView某一行时行的颜色改变
查看>>
系列3:WAS Liberty Profile hello mysql jdbc
查看>>
基础知识:python模块的导入
查看>>
Android MVC之我的实现
查看>>
我的友情链接
查看>>
我的友情链接
查看>>