ftp&ftps使用问题总结

àì夳堔傛蜴生んèń 2023-10-07 10:13 51阅读 0赞

## 1. 前言 ##

在使用FTP/FTPS协议进行文件传输时，有一些特性可能会让人疑惑而导致问题，本文进行了总结。

## 2. FTP说明 ##

FTP协议的原始规范由Abhay Bhushan撰写，并于1971年4月16日发布为RFC 114。

### 2.1 FTP传输模式 ###

wiki“File Transfer Protocol”关于ftp的主动模式与被动模式说明如下：

<table style="margin-left:-5.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0cm;">FTP可以以主动或被动模式运行，从而确定数据连接的建立方式。在这两种情况下，客户端从一个随机的，通常是非特权的端口N创建一个TCP控制连接到FTP服务器命令端口21。</p> <p style="margin-left:0cm;">在主动模式下，客户端开始侦听来自端口M上的服务器的传入数据连接。它发送FTP命令PORTM，通知服务器它正在侦听哪个端口。然后，服务器从其端口20（FTP服务器数据端口）向客户端发起数据通道。</p> <p style="margin-left:0cm;">在客户端位于防火墙后并且无法接受传入TCP连接的情况下，可能会使用被动模式。在此模式下，客户端使用控制连接向服务器发送PASV命令，然后从服务器接收服务器IP地址和服务器端口号，客户端然后使用它来打开数据连接一个任意客户端口到服务器的IP地址和服务器端口号。</p> </td> 
  </tr> 
 </tbody> 
</table>

被动模式又称为防火墙友好FTP（Firewall-Friendly FTP）。

使用主动模式FTP时，客户端需要监听端口供服务端访问，不便于使用；使用被动模式FTP时，只需要客户端访问服务器的端口，服务器不用访问客户端的端口，更加适合实际使用场景。

以下仅讨论FTP被动模式。

### 2.2 FTP端口 ###

FTP使用的端口分为命令端口与数据端口，默认命令端口为21，默认数据端口为20。

通过FTP进行文件传输时，文件内容通过数据端口进行传输。

当FTP客户端与服务器之间存在防火墙时，命令端口与数据端口均需要允许访问，才能进行FTP文件传输。

命令端口由FTP服务器监听，可以telnet连接成功；数据端口无法通过telnet连接成功。

在某些型号的防火墙配置允许21端口通信后，会自动允许对应连接的20端口通信。

### 2.3 FTP数据表示方法 ###

wiki“File Transfer Protocol”关于FTP数据表示方法说明如下：

<table style="margin-left:-5.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0cm;">FTP存在四种数据表示方法：</p> <p style="margin-left:0cm;">ASCII模式：用于文本。 如果需要，将数据从发送主机的字符表示转换为传输前的“8位ASCII”，并且（如有必要）将数据转换为接收主机的字符表示。 因此，此模式不适用于包含纯文本以外的数据的文件。</p> <p style="margin-left:0cm;">图像模式（通常称为二进制模式）：发送机逐字节发送每个文件， 收件人收到字节流时收到它。（对于FTP的所有实现，建议使用图像模式支持）。</p> <p style="margin-left:0cm;">EBCDIC模式：用于使用EBCDIC字符集的主机之间的纯文本。</p> <p style="margin-left:0cm;">本地模式：允许具有相同设置的两台计算机以专有格式发送数据，而无需将其转换为ASCII。</p> </td> 
  </tr> 
 </tbody> 
</table>

通常使用二进制模式，不会对传输的文件内容进行修改。

ASCII模式会对传输文件内容中的回车换行符进行替换，导致文件内容被修改。

### 2.4 FTP被动模式 ###

#### 2.4.1 传输过程 ####

FTP被动模式文件传输过程如下：

l FTP客户端连接FTP服务器的命令端口，FTP服务器向FTP客户端返回数据端口及数据传输IP；

l FTP客户端连接上一步获取的数据传输IP的数据端口，进行数据传输。

FTP客户端可以通过向FTP服务器发送PASV命令进入被动模式；FTP服务器可以决定FTP客户端进行数据传输时连接的IP与端口。

#### 2.4.2 访问示例 ####

2.4.2.1 Linux ftp命令

使用Linux ftp命令连接ftp服务器时，访问示例如下：

<table style="margin-left:-5.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0cm;">ftp&gt; open xx.xx.xx.xx 9501</p> <p style="margin-left:0cm;">Connected to xx.xx.xx.xx (xx.xx.xx.xx).</p> <p style="margin-left:0cm;">220 Serv-U FTP Server v15.0 ready...</p> <p style="margin-left:0cm;">Name (xx.xx.xx.xx:app): user</p> <p style="margin-left:0cm;">---&gt; USER user</p> <p style="margin-left:0cm;">331 User name okay, need password.</p> <p style="margin-left:0cm;">Password:</p> <p style="margin-left:0cm;">---&gt; PASS XXXX</p> <p style="margin-left:0cm;">230 User logged in, proceed.</p> <p style="margin-left:0cm;">---&gt; SYST</p> <p style="margin-left:0cm;">215 UNIX Type: L8</p> <p style="margin-left:0cm;">Remote system type is UNIX.</p> <p style="margin-left:0cm;">Using binary mode to transfer files.</p> <p style="margin-left:0cm;">ftp&gt; ls</p> <p style="margin-left:0cm;">ftp: setsockopt (ignored): Permission denied</p> <p style="margin-left:0cm;">---&gt; PASV</p> <p style="margin-left:0cm;">227 Entering Passive Mode&nbsp;(yy,yy,yy,yy,50,202)</p> </td> 
  </tr> 
 </tbody> 
</table>

2.4.2.2 Filezilla Client

使用Filezilla Client连接ftp服务器时，访问示例如下：

<table style="margin-left:-5.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0cm;">状态:&nbsp;&nbsp;&nbsp;正在连接&nbsp;127.0.0.1:21...</p> <p style="margin-left:0cm;">状态:&nbsp;&nbsp;&nbsp;连接建立，等待欢迎消息...</p> <p style="margin-left:0cm;">响应:&nbsp;&nbsp;&nbsp;220-FileZilla Server 0.9.60 beta</p> <p style="margin-left:0cm;">响应:&nbsp;&nbsp;&nbsp;220-written by Tim Kosse (tim.kosse@filezilla-project.org)</p> <p style="margin-left:0cm;">响应:&nbsp;&nbsp;&nbsp;220 Please visit https://filezilla-project.org/</p> <p style="margin-left:0cm;">命令:&nbsp;&nbsp;&nbsp;USER test</p> <p style="margin-left:0cm;">响应:&nbsp;&nbsp;&nbsp;331 Password required for test</p> <p style="margin-left:0cm;">命令:&nbsp;&nbsp;&nbsp;PASS ****</p> <p style="margin-left:0cm;">响应:&nbsp;&nbsp;&nbsp;230 Logged on</p> <p style="margin-left:0cm;">状态:&nbsp;&nbsp;&nbsp;已登录</p> <p style="margin-left:0cm;">状态:&nbsp;&nbsp;&nbsp;读取目录列表...</p> <p style="margin-left:0cm;">命令:&nbsp;&nbsp;&nbsp;PWD</p> <p style="margin-left:0cm;">响应:&nbsp;&nbsp;&nbsp;257 "/" is current directory.</p> <p style="margin-left:0cm;">状态:&nbsp;&nbsp;&nbsp;列出“/”的目录成功</p> <p style="margin-left:0cm;">状态:&nbsp;&nbsp;&nbsp;读取“/”的目录列表...</p> <p style="margin-left:0cm;">命令:&nbsp;&nbsp;&nbsp;TYPE I</p> <p style="margin-left:0cm;">响应:&nbsp;&nbsp;&nbsp;200 Type set to I</p> <p style="margin-left:0cm;">命令:&nbsp;&nbsp;&nbsp;PASV</p> <p style="margin-left:0cm;">响应:&nbsp;&nbsp;&nbsp;227 Entering Passive Mode&nbsp;(127,0,0,1,48,57)</p> <p style="margin-left:0cm;">命令:&nbsp;&nbsp;&nbsp;MLSD</p> <p style="margin-left:0cm;">响应:&nbsp;&nbsp;&nbsp;150 Opening data channel for directory listing of "/"</p> <p style="margin-left:0cm;">响应:&nbsp;&nbsp;&nbsp;226 Successfully transferred "/"</p> <p style="margin-left:0cm;">状态:&nbsp;&nbsp;&nbsp;列出“/”的目录成功</p> <p style="margin-left:0cm;">响应:&nbsp;&nbsp;&nbsp;421 Connection timed out.</p> <p style="margin-left:0cm;">状态:&nbsp;&nbsp;&nbsp;连接被服务器关闭</p> </td> 
  </tr> 
 </tbody> 
</table>

#### 2.4.3 PASV命令回应 ####

FTP客户端通过被动模式连接FTP服务器后，会向服务器发送PASV命令。

FTP服务器对于PASV命令的回应为“A1,A2,A3,A4,a1,a2”格式，其中包含了服务器返回的数据传输IP及数据端口，如“访问示例”部分黄色背景的内容。

“A1,A2,A3,A4”为服务器向客户端返回的数据传输IP，对应IP为“A1.A2.A3.A4”。如返回“127,0,0,1”，则对应的数据传输IP为“127.0.0.1”。

“a1,a2”为服务器向客户端返回的数据端口，将a1的十六进制作为高位与a2的十六进制作为低位进行拼接，拼接结果的十进制数值，为数据端口。如返回“48,57”，48=0x30，57=0x39,0x3039=12345，则数据端口为12345。

#### 2.4.4 FTP跨局域网配置 ####

当FTP客户端与服务器不在同一个局域网时，使用被动模式传输时配置需要进行调整，否则无法传输。

2.4.4.1 客户端不配置NAT

当FTP客户端不配置NAT时，FTP客户端直接访问FTP服务器的外网IP。此时FTP服务器需要将数据传输IP设置为FTP服务器的外网IP，不能设置为FTP服务器的局域网IP。

网络环境如下所示：

![format_png][]

访问过程如下所示：

![format_png 1][]

2.4.4.2 客户端配置NAT

当FTP客户端配置NAT时，FTP客户端只能访问在客户端NAT后的IP，无法直接访问FTP服务器的外网IP。此时FTP服务器需要将数据传输IP设置为客户端NAT后的IP，不能设置为FTP服务器的外网IP，也不能设置为FTP服务器的局域网IP。

网络环境如下所示：

![format_png 2][]

访问过程如下所示：

![format_png 3][]

#### 2.4.5 FTP服务器被动模式配置 ####

以FileZilla Server为例，对FTP服务器被动模式配置进行说明。

FileZilla Server的“Passive mode settings”配置中，可设置被动模式数据端口范围，数据传输IP，如下图所示，设置数据端口为2121，数据传输IP为“192.168.201.25”。

![format_png 4][]

“Don't use external IP for local connections”选项是否钩选视情况而定。如果在通信时FTP服务器获取的FTP客户端IP为外网IP，则上述选项可以钩选；如果在通信时FTP服务器获取的FTP客户端IP为服务器局域网IP，则上述选项不能钩选。

## 3. FTPS说明 ##

### 3.1 FTPS与FTP对比 ###

FTPS协议为FTP协议的扩展，通信数据通过SSL/TLS协议进行加密，其他特性与FTP协议一致。

FTPS服务器需要配置SSL密钥与证书。

FTPS协议与SFTP协议为不同的协议。

### 3.2 隐式ftps与显式ftps ###

wiki“FTPS”关于隐式ftps与显式ftps说明如下：

<table style="margin-left:-5.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0cm;">隐式方法要求从连接开始建立传输层安全性，从而破坏与非FTPS感知客户端和服务器的兼容性，但显式方法使用标准FTP协议命令和回复来升级纯文本连接到加密的一个，允许单个控制端口用于为FTPS感知和非FTPS感知的客户端提供服务。</p> <p style="margin-left:0cm;">隐式FTPS配置不支持协商。客户端将立即使用TLSClientHello消息来挑战FTPS服务器。如果FTPS服务器未收到这样的消息，服务器应该删除连接。</p> <p style="margin-left:0cm;">在显式模式（也称为FTPES）中，FTPS客户端必须“明确地请求”FTPS服务器的安全性，然后加强为双方同意的加密方式。如果客户端不要求安全性，则FTPS服务器可以允许客户端以不安全的方式继续或拒绝连接。</p> </td> 
  </tr> 
 </tbody> 
</table>

如果FTPS服务器仅允许FTPS连接，则FTP客户端在连接时需要选择隐式FTPS；如果FTP服务器允许FTP与FTPS连接，则FTP客户端在连接时可选择显式FTPS。

## 4. FTP Java实现说明 ##

### 4.1 被动模式设置 ###

当使用org.apache.commons.net提供的FTP功能时，若需要使用被动模式，则需要在进行文件传输操作之前调用FTPClient类的enterLocalPassiveMode方法，使FTP客户端使用被动模式。

在以上方法中，会将\_\_dataConnectionMode变量设置为PASSIVE\_LOCAL\_DATA\_CONNECTION\_MODE。

以上方法的注释如下：

<table style="margin-left:-5.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0cm;">Use this method only for data transfers between the client and server. This method causes a PASV (or EPSV) command to be issued to the server before the opening of every data connection, telling the server to open a data port to which the client will connect to conduct data transfers.</p> </td> 
  </tr> 
 </tbody> 
</table>

## 5. 常见异常分析 ##

### 5.1 生产环境未添加数据端口策略 ###

假如需要以客户端身份访问合作方的FTP服务器，由于测试环境的DMZ服务器访问公网端口无限制，因此可能导致漏掉对生产环境ftp服务器数据端口增加防火墙策略，需要进行检查。

### 5.2 FTP服务返回局域网IP ###

FTP客户端与FTP服务器不在同一个局域网，使用Linux的ftp命令登录FTP服务器，登录成功，但执行ls命令显示“Connection refused”，如下所示：

<table style="margin-left:-5.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0cm;">ftp&gt; ls</p> <p style="margin-left:0cm;">227 Entering Passive Mode (192,168,0,16,193,82).</p> <p style="margin-left:0cm;">ftp: connect: Connection refused</p> <p style="margin-left:0cm;">ftp&gt; ls</p> <p style="margin-left:0cm;">227 Entering Passive Mode (192,168,0,16,193,83).</p> <p style="margin-left:0cm;">ftp: connect: Connection refused</p> <p style="margin-left:0cm;">ftp&gt; ls</p> <p style="margin-left:0cm;">227 Entering Passive Mode (192,168,0,16,193,84).</p> <p style="margin-left:0cm;">ftp: connect: Connection refused</p> <p style="margin-left:0cm;">ftp&gt; ls</p> <p style="margin-left:0cm;">227 Entering Passive Mode (192,168,0,16,193,85).</p> <p style="margin-left:0cm;">ftp: connect: Connection refused</p> </td> 
  </tr> 
 </tbody> 
</table>

可以看到服务器返回的数据传输IP为“192.168.0.16”，为FTP服务器的局域网IP，说明FTP服务器配置的数据传输IP错误，需要进行修改。

### 5.3 FTP服务器未限制数据端口范围 ###

使用Linux的ftp命令登录FTP服务器，登录成功，但服务器每次返回的数据端口不相同，如下所示：

可以看到服务器返回的数据端口分别为“50,201”“50,202”等。

50=0x32，201=0xC9，0x32C9=13001。

50=0x32，202=0xCA，0x32CA=13002。

即服务器返回的数据端口分别为13001、13002等。

对以上操作进行抓包，结果分别如下，可以看到FTP客户端分别访问了FTP服务器的13001、13002等端口。

<table style="margin-left:-5.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0cm;">14:31:41.056265 IP [client ip].36918 &gt; [server ip].9501: Flags [P.], seq 17:23, ack 50, win 115, length 6</p> <p style="margin-left:0cm;">14:31:41.090168 IP [server ip].9501 &gt; [client ip].36918: Flags [P.], seq 50:102, ack 23, win 64208, length 52</p> <p style="margin-left:0cm;">14:31:41.090260 IP [client ip].36918 &gt; [server ip].9501: Flags [.], ack 102, win 115, length 0</p> <p style="margin-left:0cm;">14:31:41.090315 IP [client ip].56974 &gt; [server ip].13001: Flags [S], seq 1440044607, win 14600, options [mss 1460,sackOK,TS val 136313463 ecr 0,nop,wscale 7], length 0</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0cm;">14:31:54.087262 IP [client ip].36918 &gt; [server ip].9501: Flags [P.], seq 29:35, ack 217, win 115, length 6</p> <p style="margin-left:0cm;">14:31:54.122054 IP [server ip].9501 &gt; [client ip].36918: Flags [P.], seq 217:269, ack 35, win 64196, length 52</p> <p style="margin-left:0cm;">14:31:54.122122 IP [client ip].36918 &gt; [server ip].9501: Flags [.], ack 269, win 115, length 0</p> <p style="margin-left:0cm;">14:31:54.122163 IP [client ip].44644 &gt; [server ip].13002: Flags [S], seq 1338001892, win 14600, options [mss 1460,sackOK,TS val 136326495 ecr 0,nop,wscale 7], length 0</p> </td> 
  </tr> 
 </tbody> 
</table>

以上现象说明FTP服务器未限制数据端口范围，需要进行修改。

### 5.4 FTPClient类未设置使用被动模式 ###

在Java代码中使用org.apache.commons.net的FTP功能进行文件上传，调用FTPClient类的storeFile方法进行文件上传后一直不返回。

调试发现依次进入storeFile、\_\_storeFile、\_storeFile、\_openDataConnection\_方法。

在\_openDataConnection\_方法中，执行了以下方法：

<table style="margin-left:-5.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:426.1pt;"> <p style="margin-left:0cm;">if (__dataConnectionMode == ACTIVE_LOCAL_DATA_CONNECTION_MODE)</p> <p style="margin-left:0cm;">...</p> <p style="margin-left:0cm;">ServerSocket server = _serverSocketFactory_.createServerSocket(getActivePort(), 1, getHostAddress());</p> <p style="margin-left:0cm;">...</p> <p style="margin-left:0cm;">socket = server.accept();</p> </td> 
  </tr> 
 </tbody> 
</table>

客户端启动了Socket监听，说明FTP客户端以主动模式运行。

ACTIVE\_LOCAL\_DATA\_CONNECTION\_MODE从变量名看是主动模式，根据该变量找到PASSIVE\_LOCAL\_DATA\_CONNECTION\_MODE变量，从变量名看是被动模式，根据“\_\_dataConnectionMode = PASSIVE\_LOCAL\_DATA\_CONNECTION\_MODE”找到enterLocalPassiveMode方法，该方法为进入被动模式。当\_\_dataConnectionMode变量为PASSIVE\_LOCAL\_DATA\_CONNECTION\_MODE时，在\_openDataConnection\_方法中，会进入被动模式的处理流程，代码略。

因此当需要使用被动模式时，在进行文件传输操作之前需要调用FTPClient类的enterLocalPassiveMode方法。

## 6. 参考资料 ##

<table style="margin-left:-5.8pt;"> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:213.05pt;"> <p style="margin-left:0cm;">File Transfer Protocol&nbsp;&nbsp;Wikipedia</p> </td> 
   <td style="vertical-align:top;width:213.05pt;"> <p style="margin-left:0cm;">https://en.wikipedia.org/wiki/File_Transfer_Protocol</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:213.05pt;"> <p style="margin-left:0cm;">Active FTP vs. Passive FTP, a Definitive Explanation</p> </td> 
   <td style="vertical-align:top;width:213.05pt;"> <p style="margin-left:0cm;">http://slacksite.com/other/ftp.html</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:213.05pt;"> <p style="margin-left:0cm;">FTPS&nbsp;&nbsp;Wikipedia</p> </td> 
   <td style="vertical-align:top;width:213.05pt;"> <p style="margin-left:0cm;">https://en.wikipedia.org/wiki/FTPS</p> </td> 
  </tr> 
 </tbody> 
</table>

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vYWRybmluaXN0cmF0b3IvdG1wX3VwbG9hZC9yYXcvbWFzdGVyL2Z0cCZmdHBzJUU0JUJEJUJGJUU3JTk0JUE4JUU5JTk3JUFFJUU5JUEyJTk4JUU2JTgwJUJCJUU3JUJCJTkzLmZpbGVzL2ltYWdlMDAyLnBuZw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vYWRybmluaXN0cmF0b3IvdG1wX3VwbG9hZC9yYXcvbWFzdGVyL2Z0cCZmdHBzJUU0JUJEJUJGJUU3JTk0JUE4JUU5JTk3JUFFJUU5JUEyJTk4JUU2JTgwJUJCJUU3JUJCJTkzLmZpbGVzL2ltYWdlMDA0LnBuZw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vYWRybmluaXN0cmF0b3IvdG1wX3VwbG9hZC9yYXcvbWFzdGVyL2Z0cCZmdHBzJUU0JUJEJUJGJUU3JTk0JUE4JUU5JTk3JUFFJUU5JUEyJTk4JUU2JTgwJUJCJUU3JUJCJTkzLmZpbGVzL2ltYWdlMDA2LnBuZw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vYWRybmluaXN0cmF0b3IvdG1wX3VwbG9hZC9yYXcvbWFzdGVyL2Z0cCZmdHBzJUU0JUJEJUJGJUU3JTk0JUE4JUU5JTk3JUFFJUU5JUEyJTk4JUU2JTgwJUJCJUU3JUJCJTkzLmZpbGVzL2ltYWdlMDA4LnBuZw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vYWRybmluaXN0cmF0b3IvdG1wX3VwbG9hZC9yYXcvbWFzdGVyL2Z0cCZmdHBzJUU0JUJEJUJGJUU3JTk0JUE4JUU5JTk3JUFFJUU5JUEyJTk4JUU2JTgwJUJCJUU3JUJCJTkzLmZpbGVzL2ltYWdlMDEwLmpwZw?x-oss-process=image/format,png