SFTP服务配置以及命令/代码操作

曾经终败给现在 2022-05-25 11:11 635阅读 0赞

**一、SFTP简述**

**二、SFTP服务配置（基于CentOS 7）**

**三、SFTP常用命令**

**四、Java代码实现SFTP操作（JSch实现上传、下载、监视器）**

**五、踩坑记录**

--------------------

## 一、SFTP简述 ##

sftp（Secure File Transfer Protocol）是一种安全的文件传送协议，是ssh内含协议，也就是说只要sshd服务器启动了，sftp就可使用，不需要额外安装，它的默认端口和SSH一样为22。  
sftp通过使用加密/解密技术来保障传输文件的安全性，因此sftp的传输效率比普通的FTP要低，但sftp的安全性要比ftp高，因此sftp通常用于报表、对账单等对安全性要求较高的场景。

## 二、SFTP服务配置（基于Centos 7） ##

在CentOS 7系统中按照如下步骤配置sftp服务  
1、使用root用户查看openssh的版本：版本需大于4.8p1

> ssh -V // 如果版本过低，可以使用 yun update 进行更新

2、使用root用户创建用户组，组名为sftpgroup；创建sftp用户，用户名为sftpuser，并设置密码

> groupadd sftpgroup // 创建sftp组
> 
> useradd -g sftpgroup -M -s /sbin/nologin sftpuser //-M 表示创建用户时不生成对应home目录，-s /sbin/nologin 表示sftp用户不能登录系统
> 
> passwd sftpuser // 修改sftp用户密码

3、修改配置文件sshd\_config

> vi /etc/ssh/sshd\_config
> 
> 修改如下：
> 
> 将下面这行注释掉  
> \#Subsystem sftp /usr/libexec/openssh/sftp-server  
> \#\# 在文件末尾添加如下几行  
> Subsystem sftp internal-sftp  
> Match Group sftpgroup  
> X11Forwarding no  
> AllowTcpForwarding no  
> ChrootDirectory %h  
> ForceCommand internal-sftp

4、使用root用户新建目录/home/sftpfile，将其设置为sftpuser的home目录，并指定目录权限

> mkdir -p /sftp/sftpuser //-p 表示parents，即递归创建目录  
> usermod -d /sftp/sftpuser sftpuser // -d 表示修改用户home目录
> 
> // 设置Chroot目录权限  
> chown root:sftpgroup /sftp/sftpuser  
> chmod 755 /sftp/sftpuser
> 
> // 设置sftp用户可以操作的目录  
> mkdir /sftp/sftpuser/upload  
> chown sftpuser:sftpgroup /sftp/sftpuser/upload  
> chmod 755 /sftp/sftpuser/upload

5、重启SSH

> systemctl restart sshd.service

6、验证：切换到sftpuser用户进行验证

> sftp [sftpuser@127.0.0.1][sftpuser_127.0.0.1]

![1240][]

## 三、SFTP常用命令 ##

sftp的常用命令和ftp基本相同，使用help命令即可查询

![1240 1][]

## 四、Java代码实现SFTP操作 ##

Java操作sftp需要使用一个开源包jsch，官网地址为 [http://www.jcraft.com/jsch/，Maven项目中通过在pom.xml中引入如下依赖，如果需要其他版本，可在Maven中央仓库http://mvnrepository.com/][http_www.jcraft.com_jsch_Maven_pom.xml_Maven_http_mvnrepository.com] 查询。

<dependency>
    	<groupId>com.jcraft</groupId>
    	<artifactId>jsch</artifactId>
    	<version>0.1.54</version>
    </dependency>

Jsch提供了sftp的各类操作的Java实现，ChannelSftp类是实现SFTP操作的核心类，sftp的命令即为该类中的方法，可以对比上图的sftp常用命令，如：sftp命令中ls为展示目录下的文件列表，则ChannelSftp类中有 ls() 方法与其对应。

\#\#\#\#1、sftp服务连接和关闭

private void connect(SFTPConfig sftpConfig) {
            try {
                // 通过JSch对象获取session对象
                session = new JSch().getSession(
                        sftpConfig.getSftpUserName(),           // sftp用户名
                        sftpConfig.getSftpHost(),               // sftp主机IP
                        sftpConfig.getSftpPort());              // sftp端口
                if (null != sftpConfig.getSftpPassword()) {
                    session.setPassword(sftpConfig.getSftpPassword());     // sftp用户密码
                }
                if (null != sftpConfig.getTimeout()) {
                    session.setTimeout(sftpConfig.getTimeout());           // 超时时间
                }
                session.setConfig("StrictHostKeyChecking", "no");          // 让ssh客户端自动接受新主机的hostkey
                session.connect();
    
                this.channelSftp = (ChannelSftp) session.openChannel("sftp");   // 打开sftp渠道，除sftp外还有shell、X11等类型
                this.channelSftp.connect();
    
            } catch (JSchException e) {
                this.close();
                e.printStackTrace();
            }
        }
    
    public void close() {
            channelSftp.quit();
            if (null != channelSftp) {
                channelSftp.disconnect();
            }
            if (null != session) {
                session.disconnect();
            }
        }

\#\#\#\#2、JSch的传输模式  
JSch有三种文件传输模式：  
（1）OVERWRITE：完全覆盖模式。JSch的默认文件传输模式，传输的文件将覆盖目标文件。  
（2）APPEND：追加模式。如果目标文件已存在，则在目标文件后追加。  
（3）RESUME：恢复模式。如果文件正在传输时，由于网络等原因导致传输中断，则下一次传输相同的文件  
时，会从上一次中断的地方续传。

\#\#\#\#3、sftp上传  
JSch为每种传输模式提供了3类不同的上传方法  
（1）最常用也是最简单的调用

/**
         * @param sftpParams
         * @param channelSftpModel 调用的模式： ChannelSftp.OVERWRITE，ChannelSftp.APPEND，ChannelSftp.RESUME
         * @throws SFTPException
         */
    public void upload(SFTPParams sftpParams, int channelSftpModel) throws SFTPException {
            try {
                channelSftp.put(sftpParams.getLocalFilepath(), sftpParams.getRemoteFilepath(), channelSftpModel);
            } catch (SftpException e) {
                throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
                        + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort()
                        + "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
            }
        }

（2）基于InputStream的调用  
这种方法适用于原始文件不存在，需要保存到远程目录的数据来源于网络或者代码生成，当然原始文件如果存在，也可以通过FileInputStream上传。

/**
         *
         * @param sftpParams
         * @param channelSftpModel 调用的模式： ChannelSftp.OVERWRITE，ChannelSftp.APPEND，ChannelSftp.RESUME
         * @param src 输入流
         * @throws SFTPException
         */
        public void upload(SFTPParams sftpParams, int channelSftpModel, InputStream src) throws SFTPException {
            try {
                channelSftp.put(src, sftpParams.getRemoteFilepath(), channelSftpModel);
            } catch (SftpException e) {
                throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
                        + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort()
                        + "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
            }
        }

（3）基于OutputStream的调用  
通过向put()方法返回的输出流中写入数据的方式来保存文件，这种方式可以自定义输出流的数据块大小（Jsch默认数据块大小为32KB）

/**
         * @param sftpParams
         * @param channelSftpModel 调用的模式： ChannelSftp.OVERWRITE，ChannelSftp.APPEND，ChannelSftp.RESUME
         * @param src 输入流
         * @param bufferSize 数据块大小
         * @throws SFTPException
         */
        public void upload(SFTPParams sftpParams, int channelSftpModel, InputStream src, int bufferSize) throws SFTPException {
            OutputStream out = null;
            try {
                out = channelSftp.put(sftpParams.getRemoteFilepath(), channelSftpModel);
                byte[] buff = new byte[bufferSize]; // 设定每次传输的数据块大小
                int read;
                if (out != null) {
                    do {
                        read = src.read(buff, 0, buff.length);
                        if (read > 0) {
                            out.write(buff, 0, read);
                        }
                        out.flush();
                    } while (read >= 0);
                }
            } catch (IOException e) {
                throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
                        + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort()
                        + "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
            } catch (SftpException e) {
                throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
                        + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort()
                        + "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
            } finally {
                if (null != out) {
                    try {
                        out.close();
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                }
            }
        }

\#\#\#\#4、sftp下载  
JSch提供了3类不同的下载方法，JSch提供的下载方法，如果没有显示指明传输模式，则默认为覆盖模式  
（1）最常用也是最简单的调用

public void download(SFTPParams sftpParams) throws SFTPException {
            try {
                channelSftp.get(sftpParams.getRemoteFilepath(), sftpParams.getLocalFilepath());
            } catch (SftpException e) {
                throw new SFTPException("Download [" + sftpParams.getRemoteFilepath() + "] from SFTP "
                        + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort() + " error.", e);
            }
        }

（2）基于OutputStream的调用  
打开一个输出流，将远程文件写入输出流中。如，通过FileOutPutStream得到一个本地文件输出流，调用该方法将远程文件数据写入该输出流，默认数据块大小为32KB。

public void download(SFTPParams sftpParams, OutputStream os) throws SFTPException {
            try {
                channelSftp.get(sftpParams.getRemoteFilepath(), os);
            } catch (SftpException e) {
                throw new SFTPException("Download [" + sftpParams.getRemoteFilepath() + "] from SFTP "
                        + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort() + " error.", e);
            }
        }

（3）基于InputStream调用  
将远程文件数据转换成一个输入流，之后可以通过代码从输入流中拿取数据

public InputStream download2InputStream(SFTPParams sftpParams) throws SFTPException {
            try {
                return channelSftp.get(sftpParams.getRemoteFilepath());
            } catch (SftpException e) {
                throw new SFTPException("Download [" + sftpParams.getRemoteFilepath() + "] from SFTP "
                        + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort() + " error.", e);
            }
        }

\#\#\#\#5、监听器  
JSch可以文件传输时，对传输进度进行监控，通过实现JSch提供的SftpProgressMonitor接口来实现监听器的功能。  
SftpProgressMonitor接口定义如下

package com.jcraft.jsch;
    
    public interface SftpProgressMonitor{
      public static final int PUT=0;
      public static final int GET=1;
      public static final long UNKNOWN_SIZE = -1L;
    
      // 传输开始时，调用init方法。其中op为操作类型，即为上面定义的PUT/GET，max为文件的大小
      void init(int op, String src, String dest, long max);   
      // 当每次传输一个数据块后，调用count方法，参数为这一次传输的数据块大小
      boolean count(long count);
      // 传输结束时，调用end方法
      void end();
    }

现在实现一个每隔1秒，获取上传的进度的功能

public class TimerSFTPProgressMonitor implements SftpProgressMonitor {
    
        private boolean isTransEnd = false; // 是否传输完成
        private long fileTotalSize;  // 需要传输文件的大小
        private long fileTransferedSize; // 已传输的大小
        private ScheduledExecutorService service = Executors.newScheduledThreadPool(1);
    
        public void init(int op, String src, String dest, long max) {
            System.out.println("Begin transferring.");
            fileTotalSize = max;
            if (fileTotalSize != 0) {
                final DecimalFormat df = new DecimalFormat("#.##");
                service.scheduleAtFixedRate(new Runnable() {
                    public void run() {
                        if (!isTransEnd) {
                            if (fileTransferedSize != fileTotalSize) {
                                double d = ((double) fileTransferedSize * 100) / (double) fileTotalSize;
                                System.out.println("Current progress: " + df.format(d) + "%");
                            } else {
                                isTransEnd = true; // 已传输大小等于文件总大小，则已完成
                            }
                        }
                    }
                }, 0, 1, TimeUnit.SECONDS);
            }
        }
    
        public boolean count(final long count) {
            fileTransferedSize = fileTransferedSize + count;
            return true;
        }
    
        public void end() {
            service.shutdown();
            System.out.println("End transferring, transferedSize : " + fileTransferedSize);
        }
    
    }

最后效果如下

![1240 2][]

\#\#五、踩坑记录  
1、JSch实现sftp上传时，2: No such file

![1240 3][]

原因：在SFTP服务配置一节中，我们将文件上传到/sftp/sftpuser/upload，但是在代码中不能直接写入这个路径，而需要写入 /upload 这个路径，因为对于sftpuser来说，它是没有/sftp/sftpuser/这个路径的。可以通过sftp的 ls / 命令来查看

![1240 4][]

[sftpuser_127.0.0.1]: mailto:sftpuser@127.0.0.1
[1240]: /images/20220525/3323a8f492a34b238c02a87e9d27e444.png
[1240 1]: /images/20220525/865fdc001fd84ed9a4a58ccbcf041a28.png
[http_www.jcraft.com_jsch_Maven_pom.xml_Maven_http_mvnrepository.com]: http://www.jcraft.com/jsch/%EF%BC%8CMaven%E9%A1%B9%E7%9B%AE%E4%B8%AD%E9%80%9A%E8%BF%87%E5%9C%A8pom.xml%E4%B8%AD%E5%BC%95%E5%85%A5%E5%A6%82%E4%B8%8B%E4%BE%9D%E8%B5%96%EF%BC%8C%E5%A6%82%E6%9E%9C%E9%9C%80%E8%A6%81%E5%85%B6%E4%BB%96%E7%89%88%E6%9C%AC%EF%BC%8C%E5%8F%AF%E5%9C%A8Maven%E4%B8%AD%E5%A4%AE%E4%BB%93%E5%BA%93http://mvnrepository.com/
[1240 2]: /images/20220525/b053702860184bccb6ba510611ad5edf.png
[1240 3]: /images/20220525/c6d88fd8321a44bd9cf1236269e0ec2c.png
[1240 4]: /images/20220525/15d692f472ee44c8ab96c2b5104f26f8.png