当前位置：首页 » 文件传输 » shell脚本访问url下载
扩展阅读
提分平台的账号密码是什么 2023-08-31 22:07:10
webinf下怎么引入js 2023-08-31 21:54:13
堡垒机怎么打开web 2023-08-31 21:54:11

shell脚本访问url下载

发布时间: 2022-08-29 08:28:29

‘壹’ 用shell写一个脚本一个文档里面的100万条URL下载.

#!/bin/bash
whilereadline
do
wget$line&>/dev/null
done<urlfile.txt

‘贰’ 如何直接用linux shell命令从windows下载文件

1、首先在Linux系统的terminal终端中输入ifconfig命令查看主机IP，然后使用Xshell在文件目录下点击新建，在弹出的新建会话属性中输入主机IP，用户名和密码后，便可以连接到Linux系统，并对其进行操作。如下图：

2.进行文件互传时还需要设置如下图左下方的ZMODEM，填写下载的路径和加载的路径；两个路径可以一样也可以不一样

Xshell实现Windows上传文件到Linux主机

3、在Linux主机上，安装上传下载工具包rz及sz，使用yum install -y 包名 进行安装。

lrzsz包安装完成后包括上传rz、下载sz命令；只需在root下（使用su命令，输入密码即可进入）使用如下命令进行安装该包即可。

[root@localhost src]# yum install -y lrzsz

4、从Windows上传文件，上传命令为rz；从Linux上传文件指令为rz，上传的文件在当前命令行的目录下；

[root@localhost src]# rz

在Xshell命令行中输入rz命令后，会弹出对话框，选择你要上传的文件，选择打开要上传的文件就上传到Linux主机下。

5、从Linux主机下载文件，下载命令为sz ，后面也可跟要下载的文件名，也可以选择下载的保存文件夹；只输入sz命令时，文件一般保存在当前路径下，上传完可以使用ls 查看。

[root@localhost src]# sz

此方法相对来说比较简单快捷，可以满足日常需要。

‘叁’ 使用SHELL脚本下载文件

wget 后面跟下载地址

‘肆’ shell脚本里怎么实现从网上下载文件(链接已给定)，冰保存到指定路径下，求高手指导

wget [参数] #输入你的下载地址#
下载的目录默认是你当前所在的目录，比如你当前在/home/root，那文件就默认下载到/home/root下。
参考资料：http://www.cnblogs.com/peida/archive/2013/03/18/2965369.html

‘伍’ shell脚本实现自动sftp 下载 指定文件

1、设置linux无密码访问
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub |ssh -p22 [email protected] `cat - >> ~/.ssh/authorized_keys`
2、scp -P22 /opt/a.txt [email protected]:/opt

‘陆’ shell脚本：从远程服务器下载文件到本地

curl --connect-timeout 1 url
echo $？ 检查返回值非0就是说明有各种错误，可以curl --manual 看帮助。

‘柒’ 用shell的linux服务器 .sh插件怎么从远程ftp服务器下载文件

//ftpput.sh
[cpp] view plain
#!/bin/sh
#FileName:ftpput.sh
#Function:从本地客户端向ftp服务器上传一个文件
#Version:V0.1
#Author:Sunrier
#Date:2012-07-20

#$#表示传递给此Shell脚本的参数个数
#-ne表示不等于
if [ $# -ne 2 ]
then
echo "Usage $0 <local_dir/filename> <remote_dir>"
exit 1
fi

#IP表示ftp的服务器ip地址
IP=127.0.0.1
#IP=192.168.6.1

#FULLNAME获取本地文件全路径名
FULLNAME=$1

#DESTDIR获取需要上传的ftp远程目录路径
DESTDIR=$2

#basename返回一个路径中的文件名部分
#如FULLNAME="/home/Sunrier/Proj/log/test.log";
#当local_filename=`basename $FULLNAME`
#最终local_filename="test.log"
local_filename=`basename $FULLNAME`

#DESTFILE表示ftp服务器的路径,以及保存后的文件名
DESTFILE=$DESTDIR/$local_filename

#ftp -i -n $IP <<FTPIT
ftp -i -n <<FTPIT
open $IP
user Sunrier redhat
bin
passive
cd /home/remote/log/ftpfile
put $FULLNAME $DESTFILE
quit
FTPIT

exit 0

//注释:
[cpp] view plain
#!/bin/sh
#FileName:ftpput.sh
#Function:从本地客户端向ftp服务器上传一个文件
#Version:V0.1
#Author:Sunrier
#Date:2012-07-20

#$#表示传递给此Shell脚本的参数个数
#-lt表示小于
#-eq表示等于
#-ne表示不等于
if [ $# -ne 2 ]
then
echo "Usage $0 <local_dir/filename> <remote_dir>"
exit 1
fi

#IP表示ftp的服务器ip地址
#IP=127.0.0.1
IP=192.168.6.1

#FULLNAME获取本地文件全路径名
FULLNAME=$1

#DESTDIR获取需要上传的ftp远程目录路径
DESTDIR=$2

#basename返回一个路径中的文件名部分
#如FULLNAME="/home/Sunrier/Proj/log/test.log";
#当local_filename=`basename $FULLNAME`
#最终local_filename="test.log"
local_filename=`basename $FULLNAME`

#DESTFILE表示ftp服务器的路径,以及保存后的文件名
DESTFILE=$DESTDIR/$local_filename

#-i表示在多个文件传输期间关闭交互提示
#-n表示禁止自动登录到初始连接
#<<FTPIT 和最后的 FTPIT：术语叫：当前文档here documents. here document 就是一段特殊目的的代码块,
#它使用I/O重定向的形式来将一个命令序列传递到一个交互程序或者命令中,比如ftp、cat,或者ex文本编辑器.
#本句可以理解从<<FTPIT开始以非对话模式的ftp连接,直到输入FTPIT为止的所有命令.
#当然FTPIT这个名字是可以随便取的,不一定必须是FTPIT,可以取其它的名字。
#ftp -i -n $IP <<FTPIT
ftp -i -n <<FTPIT

#连接到指定ftp服务器上
open $IP
#连接到指定ftp服务器上,并指定端口
#open $IP $PORT

#登陆ftp服务器上的用户名和密码
#user username password
user Sunrier redhat

#bin表示以二进制方式传输
#bin等价于bi,binary等
#另一种方式传输是ascii,默认情况下,将文件传输类型设置为ASCII
bin

#主动模式的FTP是指服务器主动连接客户端的数据端口,被动模式的FTP是指服务器被动地等待客户端连接自己的数据端口
#被动模式的FTP通常用在处于防火墙之后的FTP客户访问外界FTP服务器的情况.
#因为在这种情况下,防火墙通常配置为不允许外界访问防火墙之后主机,而只允许由防火墙之后的主机发起的连接请求通过.
#因此在这种情况下不能使用主动模式的FTP传输,而被动模式的FTP可以良好的工作.
#passive表示设置为被动模式的FTP
passive

#cd表示更改ftp服务器上(即远程计算机)的工作目录
cd /home/remote/log/ftpfile

#lcd表示更改本地计算机的工作目录
#lcd /home/Sunrier/Proj/log/

#put local_file [ remote_file ]
#其中local_file是指定要复制的本地文件,remote_file是指定要复制的远程计算机上的文件名,
#remote_file为可选项,如果不指定的话是和本地计算机上的文件名同名.
#put表示把本地路径下的文件复制到FTP服务器(远程计算机)上设置的路径下的文件
put $FULLNAME $DESTFILE

#quit表示结束与远程计算机的FTP会话,并退出FTP.
#还有个等价的命令为bye(或by)结束与远程计算机的FTP会话并退出FTP
quit

#here document块结束
FTPIT

#正式写这个Shell脚本时,here document中的#和空行都会执行,
#所以为了消除警告最好去掉here document块中#开头的语句以及空行,
#暂时我还没有找到here document中有效的注释语句的方法.

exit 0

//ftpget.sh
[cpp] view plain
#!/bin/sh
#FileName:ftpget.sh
#Function:从ftp服务器上下载一个文件到本地计算机上
#Version:V0.1
#Author:Sunrier
#Date:2012-07-20

#$#表示传递给此Shell脚本的参数个数
#-ne表示不等于
if [ $# -ne 2 ]
then
echo "Usage $0 <remote_dir/filename> <local_dir>"
exit 1
fi

#IP表示ftp的服务器ip地址
IP=127.0.0.1
#IP=192.168.6.1

#FULLNAME获取从ftp服务器上下载的文件全路径名
FULLNAME=$1

#DESTDIR获取从ftp服务器上下载的文件所存放的本地计算机的目录路径
DESTDIR=$2

#remote_filename获取从ftp服务器上下载的文件名
remote_filename=`basename $FULLNAME`

#DESTFILE表示下载文件所存放的本地路径,以及本地保存后的文件名
DESTFILE=$DESTDIR/$remote_filename

#ftp -i -n $IP <<FTPIT
ftp -i -n <<FTPIT
open $IP
user Sunrier redhat
bin
cd /home/remote/log/ftpfile
get $FULLNAME $DESTFILE
quit
FTPIT

exit 0

#get remote_file [ local_file ]
#remote_file是指定要复制的文件,local_file是指定本地计算机上的文件名,
#local_file为可选项,没有指定的话则跟remote_file同名。

//20120726改进版本
[cpp] view plain
#!/bin/sh
#FileName:ftpput.sh
#Function:从本地客户端向ftp服务器上传一个文件(添加远程目录是否存在判断功能)
#Version:V0.2
#Author:Sunrier
#Date:2012-07-26

#$#表示传递给此Shell脚本的参数个数
#-ne表示不等于
if [ $# -ne 2 ]
then
echo "Usage $0 <local_dir/filename> <remote_dir>"
exit 1
fi

#IP表示ftp的服务器ip地址
IP=127.0.0.1
#IP=192.168.6.1

#FULLNAME获取本地文件全路径名
FULLNAME=$1

#DESTDIR获取需要上传的ftp远程目录路径
DESTDIR=$2

#dirname返回路径中的目录部分
#DESTDIR="/home/Sunrier/Proj/log/test.log";
#当PREDESTDIR=`dirname $DESTDIR`
#最终PREDESTDIR="/home/Sunrier/Proj/log"
PREDESTDIR=`dirname $DESTDIR`
SUFFIXDESTDIR=`basename $DESTDIR`

LOCALDIR=`dirname $FULLNAME`

#basename返回一个路径中的文件名部分
#如FULLNAME="/home/Sunrier/Proj/log/test.log";
#当local_filename=`basename $FULLNAME`
#最终local_filename="test.log"
local_filename=`basename $FULLNAME`

#DESTFILE表示ftp服务器的路径,以及保存后的文件名
DESTFILE=$DESTDIR/$local_filename

#ftp -i -n $IP <<FTPIT
ftp -i -n <<FTPIT
open $IP
user Sunrier redhat
dir $PREDESTDIR $LOCALDIR/tmp.txt
quit
FTPIT

#find $LOCALDIR -name "tmp.txt" -type f | xargs grep "^d.*$SUFFIXDESTDIR$"
#find . -name "tmp.txt" -type f | xargs grep "^d.*$SUFFIXDESTDIR$"
#find . ! -name "." -type d -prune -o -type f -iname "*tmp.txt" -print | xargs grep "^d.*$SUFFIXDESTDIR$"
#grep "^d.*$SUFFIXDESTDIR$" \$LOCALDIR/tmp.txt
#grep后面查找字符两边加不加引号效果相同

grep ^d.*$SUFFIXDESTDIR$ $LOCALDIR/tmp.txt >/dev/null 2>&1

#$?表示上一个命令的运行结果,0表示成功,其它值表示失败
#if [ $? != 0 ]
if [ $? -ne 0 ]
then
rm $LOCALDIR/tmp.txt
exit 1
fi

#mkdir创建远程目录
#mkdir $DESTDIR

#ftp -i -n $IP <<FTPIT
ftp -i -n <<FTPIT
open $IP
user Sunrier redhat
bin
passive
cd /home/remote/log/ftpfile
put $FULLNAME $DESTFILE
quit
FTPIT

rm $LOCALDIR/tmp.txt
exit 0

[cpp] view plain
注:

FTP服务器的启动:
[root@localhost ~]# service vsftpd start
为 vsftpd 启动 vsftpd： [确定]

FTP服务器的端口一般默认为21:
[root@localhost ~]# netstat -nat
Active Internet connections (servers and established)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 127.0.0.1:2208 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:523 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:50000 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:21 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN
tcp 0 0 0.0.0.0:601 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:2207 0.0.0.0:* LISTEN
tcp 0 0 :::22 :::* LISTEN
[root@localhost ~]#

在使用system执行Shell脚本时,如system("ftpput.sh"),system返回值低8位为system执行脚本所接收到的信号值,9~16位为Shell脚本所设置的exit退出值

‘捌’ 编写脚本,如何实现自动ftp到相应的环境,并下载相应的文件(shell)

可是试试用 wget 下载。这个可以登录下载一起完成。
组织一下写入shell脚本中（因为你的具体情况我不清楚，所以脚本代码不知道该怎么给你写，你自己写进去吧）：

wget -c -t 10 "ftp://user:passwd@IP/dir/file" & > /dev/null

===============
后台静默执行，如果出错会显示出错信息（没有将错误信息送到null中就是此意）。
如果要指定要下载到的目录，就这样
wget -c -t 10 "ftp://user:passwd@IP/dir/file" -P 目标目录
=========================

‘玖’ shell脚本编写ftp下载文件

类似下面的写法就可以了，自己再改改
ftp -i -n 10.10.10.2<<!
user test test
bin
cd lib
get $1
bye
!

‘拾’ shell脚本实现执行http的一个post或者get方法是怎么实现的吖

你好，可以通过curl和wget两个命令发送http请求：
一、get请求：
1、使用curl命令：
curl “http://www..com” 如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地
curl -i “http://www..com” 显示全部信息
curl -l “http://www..com” 只显示头部信息
curl -v “http://www..com” 显示get请求全过程解析
2、使用wget命令：
wget “http://www..com”也可以

二、post请求
1、使用curl命令（通过-d参数，把访问参数放在里面）：
curl -d “param1=value1¶m2=value2” “http://www..com”
2、使用wget命令：（--post-data参数来实现）
wget --post-data ‘user=foo&password=bar’ http://www..com
以上就是Linux模拟Http的get或post请求的方法了，这样一来Linux系统也能向远程服务器发送消息了。

示例：wget --post-data="" http://mcs-inner.99bill.com/mcs-gateway/mcs/task/clear

三、curl (可直接发送格式化请求例如json)
示例：目标url:http://fsc-inner.99bill.com/acs/deposit/{srcRef}
命令：curl -H "Content-type: application/json" -X POST -d '{"srcRef":"1002"}'http://fsc-inner.99bill.com/acs/deposit/1002

阅读全文

与shell脚本访问url下载相关的内容

本站内容整理源于互联网，如有问题请联系解决。
Copyright design: www.gotrillian.com since 2022