android 显示系统详解

缺乏、安全感 2022-06-17 07:40 161阅读 0赞

## android 显示系统详解 ##

![此博文包含图片][sg_trans.gif]

![sg_trans.gif][]转载▼

通过上一篇博客我们了解了，window和Viewroot的创建过程和作用，此时我们是否考虑过我们的布局文件中的view类是如何显示的，我们现在可知的是布局文件中的view类已经存放在Viewroot里面了，随后的工作系统应该完成所有view类绘制，如何绘制和显示是我们本篇博客讨论的重点

了解显示系统需要从三方面入手：

（1）图像引擎skia

（2）OpenGL ES

（3）surface

Android使用图像引擎skia 作为其核心图形引擎。Skia 图形渲染引擎最初由 Skia 公司开

发，该公司于2005 年被 Google 收购。skia是作为一个第三方组件放在external目录下面

[![\[转载\]android 显示系统详解][android_wbr]][android_wbr_android_wbr]

其实主要涉及到的3个库：  
libcorecg.so  包含/skia/src/core的部分内容，比如其中的Region，Rect是在SurfaceFlinger里面计算可是区域的操作基本单位；  
libsgl.so包含/skia/src/core|effects|images|ports|utils的部分和全部内容，这个实现了skia大部分的图形效果，以及图形格式的编辑

libskiagl.so 包含/skia/src/gl里面的内容，主要用来调用opengl实现部分效果。

。skia结构如图:

[![\[转载\]android 显示系统详解][android_wbr 1]][android_wbr_android_wbr 1]

（图片来自于网络）

Skia作为android图像引擎在处理部分，只要是C++代码实现，作为第三方组件提供给android使用，作为组件提供的框架代码最好提供一个很好的设计方式给编程者调用，从编程角度来考虑Skia

（1）输入输出明确

（2）接口封装功能完善

Skia组件可以想象成图像加工工厂，把原料加入进去，出来的是想要的产品，想要什么样的产品可以通过接口调用来完成

如图：

[![\[转载\]android 显示系统详解][android_wbr 2]][android_wbr_android_wbr 2]

从图可知我们给Skia传递一个bitmap或者device，我们传递的是bitmap或者device的地址，就像我们C语言的指针传递一样，给定了bitmap或者device最后通过接口的加工完成图像的绘制工作

Skia的功能只是完成图像的绘制加工，至于完成后的bitmap如何放在LCD上显示，是surface的工作。

Android 3D 引擎采用的是**OpenGL ES**。**OpenGL ES**是一套为手持和嵌入式系统设计的3D引擎API，由Khronos公司维护，EGL 是 OpenGL ES 和底层 Native 平台视窗系统之间的接口**，**EGL 主要构成（ Display ， Context ， Configuration ）  
  
EGL 相当作用是将**OpenGL ES封装，外部使用OpenGL ES，只要初始化**EGL，通过EGL来使用**OpenGL ES**

**Android中初始化EGL代码：**

**ViewRoot.java (frameworksbasecorejavaandroidview)**

**private void initializeGLInner() \{**

final EGL10 egl = (EGL10) EGLContext.getEGL();

mEgl = egl;

// **获取Display，这里的Display对应的是显示的硬件**

final EGLDisplay eglDisplay = egl.eglGetDisplay(EGL10.EGL\_DEFAULT\_DISPLAY);

mEglDisplay = eglDisplay;

// **初始化egl，完成一些初始化工作**

int\[\] version = new int\[2\];

egl.eglInitialize(eglDisplay, version);

// **选择Config，其实就是设置一些FrameBuffer相关参数**

final int\[\] configSpec = \{

EGL10.EGL\_RED\_SIZE,5,

EGL10.EGL\_GREEN\_SIZE,6,

EGL10.EGL\_BLUE\_SIZE,5,

EGL10.EGL\_DEPTH\_SIZE,0,

EGL10.EGL\_NONE

\};

final EGLConfig\[\] configs = new EGLConfig\[1\];

final int\[\] num\_config = new int\[1\];

egl.eglChooseConfig(eglDisplay, configSpec, configs, 1, num\_config);

final EGLConfig config = configs\[0\];

// **Context就代表这个状态机，程序的主要工作就是向Context提供状态，也从Context里获取一些信息。一般状态机的操作是通过命令的方式，类似的例子如opencore**

final EGLContext context = egl.eglCreateContext(eglDisplay, config,

EGL10.EGL\_NO\_CONTEXT, null);

mEglContext = context;

// **获取EGLSurface，这里的EGLSurface显示的硬件对应的FrameBuffer**

final EGLSurface surface = egl.eglCreateWindowSurface(eglDisplay, config, mHolder, null);

mEglSurface = surface;

// **将状态机和EGLSurface绑定**

egl.eglMakeCurrent(eglDisplay, surface, surface, context);

// **获取GL11，也就是3D引擎接口，通过接口操作3D**

final GL11 gl = (GL11) context.getGL();

mGL = gl;

mGlCanvas = new Canvas(gl);

mUseGL = true;

在应用层由三种显示相关的view：

（1）普通的view类

（2）SurfaceVｉｅｗ

（3）GLSurfaceView

通过上一篇博客了解到，这三种ｖｉｅｗ类的都会通过ｓｅｔＣｏｎｔｅｎｔＶｉｅｗ加入到ＶｉｅｗＲｏｏｔ，由ＶｉｅｗＲｏｏｔ统一管理显示，ＶｉｅｗＲｏｏｔ如何区分显示的看如下代码：

ViewRoot.java (frameworksbasecorejavaandroidview)

private void draw(boolean fullRedrawNeeded) \{

。。。。。。

// **如果是****GLSurfaceView使用３Ｄ绘图接口绘制　**

if (mUseGL) \{

if (!dirty.isEmpty()) \{

Canvas canvas = mGlCanvas;

if (mGL != null && canvas != null) \{

mGL.glDisable(GL\_SCISSOR\_TEST);

mGL.glClearColor(0, 0, 0, 0);

mGL.glClear(GL\_COLOR\_BUFFER\_BIT);

mGL.glEnable(GL\_SCISSOR\_TEST);

mAttachInfo.mDrawingTime = SystemClock.uptimeMillis();

mAttachInfo.mIgnoreDirtyState = true;

mView.mPrivateFlags |= View.DRAWN;

int saveCount = canvas.save(Canvas.MATRIX\_SAVE\_FLAG);

try \{

canvas.translate(0, -yoff);

if (mTranslator != null) \{

mTranslator.translateCanvas(canvas);

canvas.setScreenDensity(scalingRequired

? DisplayMetrics.DENSITY\_DEVICE : 0);

mView.draw(canvas);

if (Config.DEBUG && ViewDebug.consistencyCheckEnabled) \{

mView.dispatchConsistencyCheck(ViewDebug.CONSISTENCY\_DRAWING);

\} finally \{

canvas.restoreToCount(saveCount);

mAttachInfo.mIgnoreDirtyState = false;

//　**eglSwapBuffers，将数据送给FrameBuffer显示**

mEgl.eglSwapBuffers(mEglDisplay, mEglSurface);

checkEglErrors();

。。。。。。

**//** **如果是  普通的view类或者SurfaceVｉｅｗ都是有２Ｄ接口显示**

Canvas canvas;

try \{

int left = dirty.left;

int top = dirty.top;

int right = dirty.right;

int bottom = dirty.bottom;

**　　　　**

**//　通过****surface获取canvas**

canvas = surface.lockCanvas(dirty);

。。。。。。

**　　　　//　从应用层传入的ｖｉｅｗ都放在****ViewGroup里面，mView为视图组，当调用mView是会调用dispatchDraw函数遍历的调用视图组中每个ｖｉｅｗ的ｄｒａｗ（）**

mView.draw(canvas);

\} finally \{

mAttachInfo.mIgnoreDirtyState = false;

canvas.restoreToCount(saveCount);

if (Config.DEBUG && ViewDebug.consistencyCheckEnabled) \{

mView.dispatchConsistencyCheck(ViewDebug.CONSISTENCY\_DRAWING);

if (Config.DEBUG && ViewDebug.showFps) \{

int now = (int)SystemClock.elapsedRealtime();

if (sDrawTime != 0) \{

nativeShowFPS(canvas, now - sDrawTime);

sDrawTime = now;

if (Config.DEBUG && ViewDebug.profileDrawing) \{

EventLog.writeEvent(60000, SystemClock.elapsedRealtime() - startTime);

**　　　　　// 用完以后释放****Canvas，Canvas供多个ｓｕｒｆａｃｅ使用**

\} finally \{

surface.unlockCanvasAndPost(canvas);

。。。。。。

２Ｄ引擎，３Ｄ引擎和ｓｕｒｆａｃｅ关系如图：

[![\[转载\]android 显示系统详解][android_wbr 3]][android_wbr_android_wbr 3]

**剩下的任务主要是分析ｓｕｒｆａｃｅ：**

原理 分析

让我们首先看一ａｎｄｒｏｉｄ屏幕示意图：

[![\[转载\]android 显示系统详解][android_wbr 4]][android_wbr_android_wbr 4]

每一个应用程序对应一个或者多个ａｃｔｉｖｉｔｙ，每个ａｃｔｉｖｉｔｙ对应一个或者多个图形界面，每个图形界面我们称为ｓｕｒｆａｃｅ

在上面的图中我们能看到３个surface ，一个是home 界面，还有就是红、蓝、，而两个控件实际是home surface 里面的内容，３个ｓｕｒｆａｃｅ相互重叠在一起，系统是如何解决图层的重合，是ｓｕｒｆａｃｅ系统的关键

（1）ｓｕｒｆａｃｅ在android中解释为一个显示模块的封装，一个显示模块在android中需要一个合理的类来描述其信息，这里面和显示相关的信息有如下内容：在屏幕上有它要显示的内容，大小，位置这些元素，surface类就是封装了一个显示模块的这些信息，其中需要一个结构来记录应用程序界面的位置，大小，以及一个buffer 来记录需要显示的内容，所以这就是我们surface 的概念，

（2）多个ｓｕｒｆａｃｅ显示会出现重叠的作用，这里需要一个管理者来管理这些ｓｕｒｆａｃｅ的重叠显示，通过上面的博客的阅读，我们大致可以想到android会使用一种服务的方式去管理这些surface的显示，并且各个surface和管理者通过binder通信的方式进行通信，在android中起到管理者作用的是SurfaceFlinger，它把各个surface 组合(compose/merge) 成一个main Surface ，最后将Main Surface 的内容发送给FB/V4l2 Output ，这样屏幕上就能看到我们想要的效果。

在实际中对这些Surface 进行merge 可以采用两种方式，一种就是采用软件的形式来merge ，还一种就是采用硬件的方式，软件的方式就是我们的SurfaceFlinger ，而硬件的方式就是Overlay 。（Overlay的具体实现的内容将在下一篇的博客中详细讲解）

Surface类创建过程分析：

Surface.java (frameworksbasecorejavaandroidview)

这个文件为Surface类的实现代码，也是我们在java层可以直接使用的代码

构造函数代码如下：

public Surface(SurfaceSession s,

int pid, int display, int w, int h, int format, int flags)

throws OutOfResourcesException \{

mCanvas = new CompatibleCanvas();

init(s,pid,display,w,h,format,flags);

init(s,pid,display,w,h,format,flags);//为JNI层代码在android\_view\_Surface.cpp中实现

android\_view\_Surface.cpp (frameworksbasecorejni)

Surface java层函数和JNI层函数调用的映射表如下：

static JNINativeMethod gSurfaceMethods\[\] = \{

\{"nativeClassInit","()V",  (void\*)nativeClassInit \},

\{"init","(Landroid/view/SurfaceSession;IIIIII)V", (void\*)Surface\_init \},

\{"init","(Landroid/os/Parcel;)V",  (void\*)Surface\_initParcel \},

。。。。。。

\};

static void Surface\_init(

JNIEnv\* env, jobject clazz,

jobject session, jint pid, jint dpy, jint w, jint h, jint format, jint flags)

if (session == NULL) \{

doThrow(env, "java/lang/NullPointerException");

return;

//获取java层SurfaceSession变量  mClient域

SurfaceComposerClient\* client =

(SurfaceComposerClient\*)env->GetIntField(session, sso.client);

//创建一个surface

sp<SurfaceControl> surface(client->createSurface(pid, dpy, w, h, format, flags));

if (surface == 0) \{

doThrow(env, OutOfResourcesException);

return;

setSurfaceControl(env, clazz, surface);

\}end

\*\*\*\*\*\*\*

SurfaceComposerClient\* client =

(SurfaceComposerClient\*)env->GetIntField(session, sso.client);

这段代码如何取得SurfaceComposerClient实例的引用，这里解释一下首先在java层当我们调用surface的构造函数时候

public Surface(SurfaceSession s,

int pid, int display, int w, int h, int format, int flags)

，需要传递一个SurfaceSession类的引用SurfaceSession类调用如下：

SurfaceSession.java (frameworksbasecorejavaandroidview)

public class SurfaceSession \{

public SurfaceSession() \{

init();

protected void finalize() throws Throwable \{

destroy();

private native void init();

private native void destroy()

private int mClient;

//函数映射表

static JNINativeMethod gSurfaceSessionMethods\[\] = \{

\{"init","()V",  (void\*)SurfaceSession\_init \},

\{"destroy",  "()V",  (void\*)SurfaceSession\_destroy \},

\{"kill","()V",  (void\*)SurfaceSession\_kill \},

\};

static void SurfaceSession\_init(JNIEnv\* env, jobject clazz)

sp<SurfaceComposerClient> client = new SurfaceComposerClient;

client->incStrong(clazz);

env->SetIntField(clazz, sso.client, (int)client.get());//将SurfaceComposerClient的C++层引用赋值给java层

[![\[转载\]android 显示系统详解][android_wbr 5]][android_wbr_android_wbr 5]

说明：当创建一个surface时，同时创建一个SurfaceComposerClient，SurfaceComposerClient可以看做封装surface类，对于一个surface来说需要和服务器SurfaceFlinger通信，通信在android中需要使用proxy/stub机制，SurfaceComposerClient类本身没有这种机制，但是在它的内部有封装了一些可以和服务器通信的类。

class SurfaceComposerClient : virtual public RefBase

。。。。。。

sp<SurfaceControl> createSurface(

int pid,// pid of the process the surface is for

DisplayID display,  // Display to create this surface on

uint32\_t w,// width in pixel

uint32\_t h,// height in pixel

PixelFormat format, // pixel-format desired

。。。。。

// after assignment

status\_tmStatus;

SharedClient\*mControl;

sp<IMemoryHeap>mControlMemory;

sp<ISurfaceFlingerClient> mClient; //客户端class BClient : public BnSurfaceFlingerClient的 proxy

sp<ISurfaceComposer>mSignalServer; //客户端class SurfaceFlinger : public BnSurfaceComposer 的proxy

\};

\}; // namespace android

[![\[转载\]android 显示系统详解][android_wbr 6]][android_wbr_android_wbr 6]

当上图关心建立完成后如下的函数会被调用：

sp<ISurface> SurfaceFlinger::createSurface(ClientID clientId, int pid,

ISurfaceFlingerClient::surface\_data\_t\* params,

DisplayID d, uint32\_t w, uint32\_t h, PixelFormat format,

uint32\_t flags)

。。。。。。

switch (flags & eFXSurfaceMask) \{

case eFXSurfaceNormal:

if (UNLIKELY(flags & ePushBuffers)) \{

layer = createPushBuffersSurfaceLocked(client, d, id,

w, h, flags);

\} else \{

layer = createNormalSurfaceLocked(client, d, id,

w, h, flags, format);

break;

case eFXSurfaceBlur:

layer = createBlurSurfaceLocked(client, d, id, w, h, flags);

break;

case eFXSurfaceDim:

layer = createDimSurfaceLocked(client, d, id, w, h, flags);

break;

。。。。。。

return surfaceHandle;

Android 提供了 4 种类型的 layer 供选择，每个 layer 对应一种类型的窗口，并对应这种窗口相应的操作： Layer ， LayerBlur ， LayerBuffer ， LayerDim 。

Norm Layer 是 Android 种使用最多的一种 Layer ，一般的应用程序在创建 surface 的时候都是采用的这样的 layer ，

Normal Layer 为每个 Surface 分配两个 buffer ： front buffer 和 back buffer ，这个前后是相对的概念，他们是可以进行替换的。 Front buffer 用于 SurfaceFlinger 进行显示，而 Back buffer 用于应用程序进行画图，当 Back buffer 填满数据 (dirty) 以后，就会 替换， back buffer 就变成了 front buffer 用于显示，而 front buffer 就变成了 back buffer 用来画图，（**这段话引用其他博客文章**）

sp<LayerBaseClient> SurfaceFlinger::createNormalSurfaceLocked(

const sp<Client>& client, DisplayID display,

int32\_t id, uint32\_t w, uint32\_t h, uint32\_t flags,

PixelFormat& format)

// initialize the surfaces

switch (format) \{ // TODO: take h/w into account

case PIXEL\_FORMAT\_TRANSPARENT:

case PIXEL\_FORMAT\_TRANSLUCENT:

format = PIXEL\_FORMAT\_RGBA\_8888;

break;

case PIXEL\_FORMAT\_OPAQUE:

format = PIXEL\_FORMAT\_RGB\_565;

break;

sp<Layer> layer = new Layer(this, display, client, id); //创建Layer

status\_t err = layer->setBuffers(w, h, format, flags);

if (LIKELY(err == NO\_ERROR)) \{

layer->initStates(w, h, flags);

addLayer\_l(layer);

\} else \{

LOGE("createNormalSurfaceLocked() failed (%s)", strerror(-err));

layer.clear();

return layer;

Layer类描述如下：

[![\[转载\]android 显示系统详解][android_wbr 7]][android_wbr_android_wbr 7]

待续。。。。。。

[sg_trans.gif]: /images/20220617/ef91bec107c745ba91d71ad69f643f06.png
[android_wbr]: http://s11.sinaimg.cn/middle/6b653d11gab3b9284b21a&690
[android_wbr_android_wbr]: /images/20220617/585f6f748b524bb29647bb35eebf6cea.png
[android_wbr 1]: http://s1.sinaimg.cn/middle/6b653d11gab3b8f860370&690
[android_wbr_android_wbr 1]: /images/20220617/a3aa906352c64bd5b83ea6e68e6d77e4.png
[android_wbr 2]: http://s4.sinaimg.cn/middle/6b653d11gab3b95955233&690
[android_wbr_android_wbr 2]: /images/20220617/75cfdf68ace440bca67cfd9435d52ee1.png
[android_wbr 3]: http://s2.sinaimg.cn/middle/6b653d11gab3b99107ae1&690
[android_wbr_android_wbr 3]: /images/20220617/073b79156f27434981314a90787c9190.png
[android_wbr 4]: http://s16.sinaimg.cn/middle/6b653d11g7785f88bceff&690
[android_wbr_android_wbr 4]: /images/20220617/9772e08aacb94cb9ab5b87b53b580d57.png
[android_wbr 5]: http://s4.sinaimg.cn/middle/6b653d11tad8423471ed3&690
[android_wbr_android_wbr 5]: /images/20220617/3c3f12762be641908134326e2ce108dc.png
[android_wbr 6]: http://s10.sinaimg.cn/middle/6b653d11tad8423f46409&690
[android_wbr_android_wbr 6]: /images/20220617/3ff9d239fda34358b4055f65d157f1a3.png
[android_wbr 7]: http://s11.sinaimg.cn/middle/6b653d11tad84244fd3ea&690
[android_wbr_android_wbr 7]: /images/20220617/2517ea952d984775a388782e9b3fd163.png