元数据与数据治理|Apache Atlas API使用入门(第十一篇)

「爱情、让人受尽委屈。」 2022-03-28 12:26 2322阅读 0赞

## 一 概念讲解 ##

Apache atlas Api主要是对Type，Entity，Attribute这3个构件的增删改查操作（Api和Admin UI供外部调用，其它的被封装或在 配置文件中）

**Atlas Type System**  
     Atlas 类型系统，Atlas 允许用户为他们想要管理的元数据对象定义一个**模型**。该模型由称为 “**类型**” 的定义组成。被称为 “实体” 的 “类型” 实例表示被管理的实际元数据对象。类型系统是一个组件，允许用户定义和管理类型和实体。由 Atlas 管理的所有元数据对象（例如Hive表）都使用**类型**进行建模，并表示为实体。如果要在Atlas中存储新类型的元数据，需要了解类型系统组件的概念。

参考链接：[https://blog.csdn.net/qq\_36096641/article/details/83502079][https_blog.csdn.net_qq_36096641_article_details_83502079]

**Type：（类：Persion）**

Atlas中的 “类型” 定义了如何存储和访问特定类型的元数据对象。类型表示了所定义元数据对象的一个或多个属性集合。具有开发背景的用户可以将 “类型” 理解成面向对象的编程语言的 **“类” （**Class**）**定义的或关系数据库的 **“表模式”（**table schema**）**。

可以通过该API获取Atlas的所有类型：http://127.0.0.1:21000/api/atlas/v2/types/typedefs

下面通过该API获取hive\_table类型的定义：http://atlas:21000/api/atlas/v2/types/typedef/name/hive\_table

**Entity：（实体：new Persion()  张三）**

Atlas 中的一个 “实体” 是类 “type” 的特定值或实例, 因此表示特定的

现实世界中的元数据对象。回指我们的面向对象的类比

编程语言, “instance” 是某个 “Class” 的 “Object”。

**Attribute：(ExtMap额外更多的属性？暂且这么理解 ？)**

属性定义在复合 metatypes 中, 如Class和Struct。

可以简单将属性称为具有名称和 metatype 值。然而

Atlas 中的属性有更多的属性来定义与type system相关的更多概念。

## 二  Demo应用 ##

Type

**1.  使用Type定义一个Hive table，而且有一些Attribute**：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70][]

这跟java类的定义很相似，也跟json数据定义类似。需要注意的几点：

Atlas 中的类型由 “name” 唯一标识  
每个type 具有 一个metatype。metatype 表示该模型在 Atlas 中的类型。  
Atlas 有以下 metatypes:

1.  基本 metatypes: 如 Int、字符串、布尔值等。
2.  枚举 metatypes: TODO
3.  集合 metatypes: 例如阵列、地图
4.  复合 metatypes: 如类、结构、特性

4.类型可以从名为 “supertype” 的父类型 “extend” 。凭借这一点, 它将得到还包括在超类型中定义的属性。这使模型设计家以在一组相关类型中定义公共属性等。这再次类似于面向对象语言如何定类的超级类的概念。在本示例中, 每个配置单元表都从预定义的超类型称为”DataSet”。有关此预定义的更多详细信息类型将在以后提供。在 Atlas 中的类型也可以从多个超级类型扩展。   
5.具有 “Class”、”Struct” 或 “Trait” metatype 的类型可以有一个集合   
属性。每个属性都有一个名称 (例如 “name”) 和其他一些关联的   
性能。属性可以引用为使用表达式。

从上面的说明看，atlas type似乎具有和java中class类似的性质，比如继承。如果我们按照java中对象关系的角度理解，会更容易理解一些。

**Entity**

**2 .一个Entity的定义**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 1][]

上面的id就是Entity的id。顺着java 对象的思路，Entity结构也是比较容易理解的。

## 三、常用Rest API ##

Atlas REST API 参考地址:[http://atlas.apache.org/api/v2/][http_atlas.apache.org_api_v2]

1.**获取所有的types**

GET [http://ip:port/api/atlas/types][http_ip_port_api_atlas_types]

GET [http://ip:port/api/atlas/types?type=STRUCT|CLASS|TRAIT][http_ip_port_api_atlas_types_type_STRUCT_CLASS_TRAIT]

如下图

![20190110165022757.png][]

{
    	"requestId": "pool-1-thread-4 - 088d30a2-870a-4257-9c22-98885de21224",
    	"count": 109,
    	"results": ["hive_principal_type", "AtlasGlossaryTermRelationshipStatus", "file_action", "AtlasGlossaryTermAssignmentStatus", "aws_tag", "aws_cloud_watch_metric", "aws_s3_access_policy", "hive_order", "hive_serde", "aws_s3_bucket_lifeCycleRule", "fs_permissions", "DataSet", "Process", "hive_table", "avro_primitive", "storm_node", "Referenceable", "jms_topic", "falcon_feed", "rdbms_column", "Asset", "hbase_column_family", "avro_collection", "hive_column", "avro_schema", "__AtlasUserSavedSearch", "avro_record", "__internal", "storm_bolt", "avro_type", "falcon_cluster", "aws_s3_object", "aws_s3_bucket", "fs_path", "falcon_feed_replication", "falcon_process", "rdbms_foreign_key", "avro_fixed", "falcon_feed_creation", "AtlasGlossaryCategory", "__AtlasUserProfile", "aws_s3_pseudo_dir", "hive_db", "sqoop_dbdatastore", "hbase_namespace", "avro_field", "hive_process", "hbase_column", "rdbms_instance", "hbase_table", "rdbms_table", "storm_topology", "Infrastructure", "storm_spout", "rdbms_db", "kafka_topic", "AtlasGlossary", "hive_storagedesc", "hdfs_path", "AtlasGlossaryTerm", "sqoop_process", "hive_column_lineage", "rdbms_index", "avro_enum", "storm_topology_nodes", "AtlasGlossaryTranslation", "avro_schema_associatedEntities", "AtlasGlossaryCategoryHierarchyLink", "aws_s3_bucket_aws_s3_pseudo_dirs", "AtlasGlossaryTermAnchor", "AtlasGlossaryCategoryAnchor", "hbase_table_column_families", "AtlasGlossaryValidValue", "falcon_feed_cluster", "hive_process_column_lineage", "AtlasGlossaryAntonym", "AtlasGlossaryPreferredTerm", "AtlasGlossarySynonym", "avro_record_fields", "rdbms_table_foreign_key", "aws_s3_object_avro_schema", "hbase_column_family_columns", "kafka_topic_avroSchema", "rdbms_table_indexes", "AtlasGlossarySemanticAssignment", "AtlasGlossaryReplacementTerm", "rdbms_foreign_key_key_columns", "aws_s3_pseudo_dir_avro_schema", "AtlasGlossaryRelatedTerm", "process_dataset_outputs", "__AtlasUserProfile_savedsearches", "falcon_cluster_feed_creation", "dataset_process_inputs", "rdbms_foreign_key_table_references", "aws_s3_pseudo_dir_aws_objects", "rdbms_instance_databases", "rdbms_foreign_key_column_references", "hbase_table_namespace", "rdbms_db_tables", "avro_field_types", "falcon_cluster_process", "hive_table_storagedesc", "hive_table_columns", "AtlasGlossaryIsARelationship", "rdbms_index_columns", "hive_table_partitionkeys", "rdbms_table_columns", "AtlasGlossaryTermCategorization", "hive_table_db"]
    }

**(2)获取某一个type：**

GET http://ip:port/api/atlas/types / \{type\_name\}

**(3)创建新type：**

POST http://ip:port/api/atlas/type

**(4)创建新entity：**

http://ip:port/api/atlas/entities

entities：是一个数组

**(5)获取一个entity:**

GET http://ip:port/api/atlas/ entities / \{guid\}

guid：entity的id

**(6)获取一个包含某个attribute（属性）的entity：**

GET http://ip:port/api/atlas/ entities?type=\{type\_name\}&p roperty=\{unique\_attribute\_name\}&value=\{unique\_attribute\_value

**(7)更新entity的一个attribute属性：**

POST http://ip:port/api/atlas/ entities/\{GUID\}

response 都是一个json结构，跟solr api是类似的。

##  四、关注  Rest API 接口 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 2][]

参考链接：[https://blog.csdn.net/cafebar123/article/details/79944247][https_blog.csdn.net_cafebar123_article_details_79944247]

[https_blog.csdn.net_qq_36096641_article_details_83502079]: https://blog.csdn.net/qq_36096641/article/details/83502079
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70]: /images/20220328/276fb5af4b65463db6ce2d99f02033c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 1]: /images/20220328/8466227cd0cc45f6ae38eca3d39618ae.png
[http_atlas.apache.org_api_v2]: http://atlas.apache.org/api/v2/
[http_ip_port_api_atlas_types]: http://atlasserverhost/api/atlas/types
[http_ip_port_api_atlas_types_type_STRUCT_CLASS_TRAIT]: http://atlasserverhost/api/atlas/types?type=STRUCT%7C%20rel=
[20190110165022757.png]: /images/20220328/6eb1afb1565a4c69bbb140fe3b5cc385.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p6aHVhbl8x_size_16_color_FFFFFF_t_70 2]: /images/20220328/7e134e457d3e46488f55e19c7c5b98ce.png
[https_blog.csdn.net_cafebar123_article_details_79944247]: https://blog.csdn.net/cafebar123/article/details/79944247