浅谈Thrift内部实现原理

心已赠人 2022-08-03 05:22 142阅读 0赞

# [浅谈Thrift内部实现原理][Thrift] #

Thrift由两部分组成：编译器（在compiler目录下，采用C++编写）和服务器（在lib目录下），其中编译器的作用是将用户定义的thrift文件编译生成对应语言的代码，而服务器是事先已经实现好的、可供用户直接使用的RPC Server（当然，用户也很容易编写自己的server）。同大部分编译器一样，Thrift编译器（采用C++语言编写）也分为词法分析、语法分析等步骤，Thrift使用了开源的flex和Bison进行词法语法分析（具体见thrift.ll和thrift.yy），经过语法分析后，Thrift根据对应语言的模板（在compiler\\cpp\\src\\generate目录下）生成相应的代码。对于服务器实现而言，Thrift仅包含比较经典的服务器模型，比如单线程模型（TSimpleServer），线程池模型（TThreadPoolServer）、一个请求一个线程（TThreadedServer）和非阻塞模型(TNonblockingServer)等。本文将以C++为例进行一个实例分析。

假设用户编写了以下Thrift文件：

> struct LogInfo \{ 
> 
> 1: required string name,
> 
> 2: optional string content,
> 
> \}
> 
> service LogSender \{ 
> 
> void SendLog(1:list<LogInfo> loglist);
> 
> \}

用户使用命令“thrift –gen cpp example.thrift”可生成C++代码，该代码包含以下文件：

> example\_constants.h
> 
> example\_constants.cpp
> 
> example\_types.h  //struct定义
> 
> example\_types.cpp  //struct实现
> 
> LogSender.h  //service定义
> 
> LogSender.cpp  //service实现和LogSenderClient实现
> 
> LogSender\_server.skeleton.cpp //一个实例RPC Server

用户可以这样编写Client：

> shared\_ptr socket(new TSocket(“8.8.8.8″, 9090));
> 
> shared\_ptr transport(new TBufferedTransport(socket));
> 
> shared\_ptr protocol(new TBinaryProtocol(transport));
> 
> LogSenderClient client(protocol);
> 
> try \{ 
> 
> transport->open();
> 
> vector<LogInfo> logInfos;
> 
> LogInfo logInfo(“image”, “10:9:0 visit:xxxxxx”);
> 
> logInfos.push\_back(logInfo);
> 
> …..
> 
> client.SendLog(logInfos);
> 
> transport->close();
> 
> \} catch (TException &tx) \{ 
> 
> printf(“ERROR: %s\\n”, tx.what());
> 
> \}

为了深入分析这段代码，我们看一下client.SendLog()函数的内部实现（在LogSender.cpp中）：

> void LogSenderClient::SendLog(const std::vector<LogInfo> & loglist)
> 
> \{ 
> 
> send\_SendLog(loglist);
> 
> recv\_SendLog();
> 
> \}
> 
> void LogSenderClient::send\_SendLog(const std::vector<LogInfo> & loglist)
> 
> \{ 
> 
> int32\_t cseqid = 0;
> 
> oprot\_->writeMessageBegin(“SendLog”, ::apache::thrift::protocol::T\_CALL, cseqid);
> 
> LogSender\_SendLog\_pargs args;
> 
> args.loglist = &loglist;
> 
> args.write(oprot\_);
> 
> oprot\_->writeMessageEnd();
> 
> oprot\_->getTransport()->flush();
> 
> oprot\_->getTransport()->writeEnd();
> 
> \}
> 
> void LogSenderClient::recv\_SendLog()
> 
> \{ 
> 
> int32\_t rseqid = 0;
> 
> std::string fname;
> 
> ::apache::thrift::protocol::TMessageType mtype;
> 
> iprot\_->readMessageBegin(fname, mtype, rseqid);
> 
> if (mtype == ::apache::thrift::protocol::T\_EXCEPTION) \{ 
> 
> …..
> 
> \}
> 
> if (mtype != ::apache::thrift::protocol::T\_REPLY) \{ 
> 
> ……
> 
> \}
> 
> if (fname.compare(“SendLog”) != 0) \{ 
> 
> ……
> 
> \}
> 
> LogSender\_SendLog\_presult result;
> 
> result.read(iprot\_);
> 
> iprot\_->readMessageEnd();
> 
> iprot\_->getTransport()->readEnd();
> 
> return;
> 
> \}

阅读上面的代码，可以看出，RPC函数SendLog()实际上被转化成了两个函数：send\_SendLog和recv\_SendLog，分别用于发送数据和接收结果。数据是以消息的形式表示的，消息头部是RPC函数名，消息内容是RPC函数的参数。

我们再进一步分析RPC Server端，一个server的编写方法（在LogSender.cpp中）如下：

> shared\_ptr protocolFactory(new TBinaryProtocolFactory());
> 
> shared\_ptr handler(new LogSenderHandler());
> 
> shared\_ptr processor(new LogSenderProcessor(handler));
> 
> shared\_ptr serverTransport(new TServerSocket(9090));
> 
> shared\_ptr transportFactory(new TBufferedTransportFactory());
> 
> TSimpleServer server(processor,
> 
> serverTransport,
> 
> transportFactory,
> 
> protocolFactory);
> 
> printf(“Starting the server…\\n”);
> 
> server.serve();

Server端最重要的类是LogSenderProcessor，它内部有一个映射关系processMap\_，保存了所有RPC函数名到函数实现句柄的映射，对于LogSender而言，它只保存了一个RPC映射关系：

> processMap\_\[" SendLog"\] = &LogSenderProcessor::process\_SendLog;

其中，process\_SendLog是一个函数指针，它的实现如下：

> void LogSenderProcessor::process\_SendLog(int32\_t seqid, ::apache::thrift::protocol::TProtocol\* iprot, ::apache::thrift::protocol::TProtocol\* oprot)
> 
> \{ 
> 
> LogSender\_SendLog\_args args;
> 
> args.read(iprot);
> 
> iprot->readMessageEnd();
> 
> iprot->getTransport()->readEnd();
> 
> LogSender\_SendLog\_result result;
> 
> try \{ 
> 
> iface\_->SendLog(args.loglist);//调用用户编写的函数
> 
> \} catch (const std::exception& e) \{ 
> 
> ……
> 
> \}
> 
> oprot->writeMessageBegin(“SendLog”, ::apache::thrift::protocol::T\_REPLY, seqid);
> 
> result.write(oprot);
> 
> oprot->writeMessageEnd();
> 
> oprot->getTransport()->flush();
> 
> oprot->getTransport()->writeEnd();
> 
> \}

LogSenderProcessor中一个最重要的函数是process()，它是服务器的主体函数，服务器端（socket server）监听到客户端有请求到达后，会检查消息类型，并检查processMap\_映射，找到对应的消息处理函数，并调用之（注意，这个地方可以采用各种并发模型，比如one-request-one-thread，thread pool等）。

通过上面的分析可以看出，Thrift最重要的组件是编译器（采用C++编写），它为用户生成了网络通信相关的代码，从而大大减少了用户的编码工作。

**转载于： http://dongxicheng.org/search-engine/thrift-internals/**

[Thrift]: http://dongxicheng.org/search-engine/thrift-internals/