Golang ------ torrent文件下载 (1)

一时失言乱红尘 2022-10-16 08:49 157阅读 0赞

1.  [Golang ------ torrent文件解析][Golang ------ torrent]
2.  [Golang ------ torrent文件下载 (1)][Golang ------ torrent_ _1]
3.  [Golang ------ torrent文件下载 (2)][Golang ------ torrent_ _2]

以 `debian-10.9.0-amd64-netinst.iso` 为例

[debian操作系统下载页][debian]  
[种子下载页][Link 1]  
[种子链接][Link 2]

d
      8:announce
        41:http://bttracker.debian.org:6969/announce
      7:comment
        35:"Debian CD from cdimage.debian.org"
      13:creation date
        i1616846384e
      9:httpseeds
        l145:https://cdimage.debian.org/cdimage/release/10.9.0//srv/cdbuilder.debian.org/dst/deb-cd/weekly-builds/amd64/iso-cd/debian-10.9.0-amd64-netinst.iso145:https://cdimage.debian.org/cdimage/archive/10.9.0//srv/cdbuilder.debian.org/dst/deb-cd/weekly-builds/amd64/iso-cd/debian-10.9.0-amd64-netinst.isoe
      4:info
        d
          6:length
            i353370112e
          4:name
            31:debian-10.9.0-amd64-netinst.iso
          12:piece length
            i262144e
          6:pieces
            26960:�^K�#��$n*6���S#'��Lz* (binary blob of the hashes of each piece)
        e
    e

.torrent文件部分内容

经过解析，我们可以获取到一个Tracker的主服务器地址，以及可能存在的Tracker服务器备用节点列表（有些种子torrent文件里面是没有这个的）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyODA4MDQ1_size_16_color_FFFFFF_t_70_pic_center]  
就像这个debian-10.9.0-amd64-netinst.iso的torrent文件，解析出来就是没有备用节点列表的。

我们需要请求这个服务器地址获取可用的peer节点列表。

## peer-to-peer ##

在开始之前我们需要了解一下P2P(peer-to-peer，对等计算)

传统的客户端/服务器（C/S架构）关系中，下载器连接到中央服务器（例如：在Netflix上观看电影或加载您正在阅读的网页)。

BitTorrent网络中的参与者（称为peers)之间交换下载文件的分块-这就是p2p(peer-to-peer)。

网络的参与者共享他们所拥有的一部分硬件资源(处理能力、存储能力、网络连接能力等)，这些共享资源通过网络提供服务和内容，能被其他的对等节点(peer)直接访问而无需经过中间实体。此网络的参与者既是资源提供者(Server)，又是资源获取者(Client)。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyODA4MDQ1_size_16_color_FFFFFF_t_70]  
不难看出去中心化是P2P的一个很突出的特点。

## 获取peer节点列表 ##

所以我们需要从一个地方获取peer节点列表，这个“地方”就是Tracker服务器，.torrent文件解析出来的 `announce` 字段就是Tracker服务器的URL（目前遇到过http协议和udp协议，我们主要分析**http协议**的实际文件下载流程）

在我们发起请求之前，在发起请求之前，我们先稍微理一下几个概念。

### info hash 和 peerId ###

一起来猜想一下，我们对Tracker服务器发起的请求可能需要包含的内容，可能是下面这样的

> “我(是谁)想要知道文件 debian-10.9.0-amd64-netinst.iso(文件id) 的所有peers节点列表”

这应该是问一个服务器获取数据一个必要条件吧，我们必须得告诉服务器，我们需要获取 peer列表 的对应的文件id，没有这个id，服务器也不知道该该你谁的 peer列表。

有时候我们还需要告诉服务器来获取这个列表的“我”是谁。

所以这里就引出了两个概念 info hash 和 peerId。

*  info\_hash：标识我们要下载的文件。这是我们之前根据bencode的info字段内容，计算出的信息哈希。Tracker服务器将使用它来确定向我们显示哪些Peers。
 *  peer\_id：一个20字节的名称。用于向跟踪者和Peers标识自己。可以随机生成20个随机字节。真正的BitTorrent客户端具有ID. 例如ID -TR2940-k8hj0wgej6ch.用于标识客户端软件和版本-在这种情况下.TR2940代表传输客户端2.94.

import (
        "bytes"
        "crypto/sha1"
        "fmt"
        "github.com/jackpal/bencode-go"
    )
    type singleTorrent struct { 
        ...
        Info      singleInfo `bencode:"info"`
        ...
    }
    // 单文件
    type singleInfo struct { 
        Pieces      string `bencode:"pieces"`
        PieceLength int    `bencode:"piece length"`
        Length      int    `bencode:"length"`
        Name        string `bencode:"name"`
        // 文件发布者
        Publisher string `bencode:"publisher,omitempty"`
        // 文件发布者的网址
        PublisherUrl string `bencode:"publisher-url,omitempty"`
        NameUtf8         string `bencode:"name.utf-8,omitempty"`
        PublisherUtf8    string `bencode:"publisher.utf-8,omitempty"`
        PublisherUrlUtf8 string `bencode:"publisher-url.utf-8,omitempty"`
        MD5Sum           string `bencode:"md5sum,omitempty"`
        Private          bool   `bencode:"private,omitempty"`
    }
    // hash 生成info hash
    func hash(i interface{ }) ([20]byte, error) { 
        // name, size, and piece hashes
        var buf bytes.Buffer
        err := bencode.Marshal(&buf, i)
        if err != nil { 
            return [20]byte{ }, err
        }
        // info hash，在与跟踪器和对等设备对话时，它唯一地标识文件
        h := sha1.Sum(buf.Bytes())
        return h, nil
    }
    // splitPieceHashes 切割Pieces
    func splitPieceHashes(pieces string) ([][20]byte, error) { 
        // SHA-1 hash的长度
        hashLen := 20
        buf := []byte(pieces)
        if len(buf)%hashLen != 0 { 
            // 片段的长度不正确
            err := fmt.Errorf("Received malformed pieces of length %d", len(buf))
            return nil, err
        }
        // hash 的总数
        numHashes := len(buf) / hashLen
        hashes := make([][20]byte, numHashes)
        for i := 0; i < numHashes; i++ { 
            copy(hashes[i][:], buf[i*hashLen:(i+1)*hashLen])
        }
        return hashes, nil
    }

### 构建请求路径 ###

// buildTrackerURL 构建追踪器的url
    // peerID 下载者的标识符
    func (t *TorrentFile) buildTrackerURL(peerID [20]byte, port uint16) (*url.URL, error) { 
        base, err := url.Parse(t.Announce)
        if err != nil { 
            return &url.URL{ }, err
        }
        params := url.Values{ 
            "info_hash":  []string{ string(t.InfoHash[:])},
            "peer_id":    []string{ string(peerID[:])},
            // 客户端监听端口.典型的端口是6881-6889.
            "port":       []string{ strconv.Itoa(int(Port))},
            // 上传总量
            "uploaded":   []string{ "0"},
            // 下载总量
            "downloaded": []string{ "0"},
            // 此参数值为1,表示指望获得紧凑模式的节点列表.不然表示指望获得普通模式的节点列表.指出客户端是否支持压缩模式. 若是是,伙伴列表将被一个伙伴字符串所代替.每一个伙伴占6个字节.前4个字节是主机(网络字序) , 后2个字节是端口(网络字序).
            "compact":    []string{ "1"},
            // 剩余下载字节, 十进制ASCII码数字
            "left":       []string{ strconv.Itoa(t.Length)},
        }
        base.RawQuery = params.Encode()
        return base, nil
    }

最后生成的发送请求url如下  
`http://bttracker.debian.org:6969/announce?compact=1&downloaded=0&info_hash=%9F%29%2C%93%EB%0D%BD%D7%FFzJ%A5Q%AA%A1%EA%7C%AF%E0%04&left=353370112&peer_id=%E2%DA%C30%E9%B8%25%98%CDr%89%92b%BB%29%1B%2C%A3%A5%B1&port=6882&uploaded=0`

// requestPeers 获取 peers
    func (t *TorrentFile) requestPeers(peerID [20]byte, port uint16) error { 
    	// 构建URL
    	base, er := t.buildTrackerURL(peerID, port)
    	if er != nil { 
    		return er
    	}
    
    	fmt.Println(base)
    
    	switch base.Scheme { 
    	// 目前只适配了http协议
    	case "http", "https":
    		c := &http.Client{ Timeout: 30 * time.Second}
    		resp, err := c.Get(base.String())
    		if err != nil { 
    			return err
    		}
    		defer resp.Body.Close()
    
    		trackerResp := bencodeTrackerResp{ }
    		all, err := ioutil.ReadAll(resp.Body)
    		fmt.Println(string(all))
    		
    		err = bencode.Unmarshal(bytes.NewReader(all), &trackerResp)
    		if err != nil { 
    			return err
    		}
    		t.Peers, err = peers.Unmarshal([]byte(trackerResp.Peers))
    		return err
    	case "udp":
    		// host ip:port
    		_, err := net.Dial("udp", base.Host)
    		if err != nil { 
    			fmt.Println(err)
    			return err
    		}
    
    		return nil
    	default:
    		return errors.New("未适配的协议")
    	}
    }

Tracker响应给我们的数据为

d
      8:interval
        i900e
      5:peers
        252:(another long binary blob)
    e

*  Interval：告诉我们应该多久再次连接到Tracker服务器以刷新我们的Peers列表。值900表示我们应该每15分钟（900秒)重新连接一次.
 *  peers：是另一个长二进制Blob。其中包含每个Peers的IP地址。它由六个字节组成.每个组中的前四个字节代表Peers的IPv4地址-每个字节代表IP中的数字。最后两个字节将端口表示为big-endian uint16。

Big-endian（**大端模式**，与之对应的是小端模式(Little-endian)）  
是指数据的低位保存在内存的高地址中，而数据的高位，保存在内存的低地址中  
数字0x12345678在内存中的大端模式表示形式为：  
低地址 -----------------> 高地址  
0x12 | 0x34 | 0x56 | 0x78

我们就可以从**peers字段**中获取真实下载文件的地址了。

失败的响应

d14:failure reason45:info hash is not authorized with this trackere

--------------------

[全部代码的Gitee][Gitee]  
参考  
[全部代码的Gitee][Gitee]  
参考了下面的链接，不过这位大神只做了单文件下载，没有做多文件的，只支持TCP协议。  
[原项目地址][Link 3]  
[博客][Link 4]  
[中文][Link 5]

[Golang ------ torrent]: https://blog.csdn.net/qq_32808045/article/details/117323979
[Golang ------ torrent_ _1]: https://blog.csdn.net/qq_32808045/article/details/117369522
[Golang ------ torrent_ _2]: https://blog.csdn.net/qq_32808045/article/details/117410809
[debian]: https://www.debian.org/distrib/
[Link 1]: https://cdimage.debian.org/debian-cd/current/amd64/bt-cd/
[Link 2]: https://cdimage.debian.org/debian-cd/current/amd64/bt-cd/debian-10.9.0-amd64-netinst.iso.torrent
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyODA4MDQ1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221014/381ca7d783934760bfe3e2d1fd7aa988.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyODA4MDQ1_size_16_color_FFFFFF_t_70]: /images/20221014/1273ae9146034fa1983bf4d70c15f637.png
[Gitee]: https://gitee.com/Exler/btclient.git
[Link 3]: https://github.com/veggiedefender/torrent-client.git
[Link 4]: https://blog.jse.li/posts/torrent/
[Link 5]: https://mojotv.cn/go/golang-torrent