admin 管理员组

文章数量: 1086019


2024年3月10日发(作者:accesstoken不存在是什么意思)

非结构化数据管理系统

1 范围

本标准规定了非结构化数据管理系统的功能性要求和质量要求。

本标准合用于非结构化数据管理系统产品的研制、开辟和测试。

2 符合性

对于非结构化数据管理系统是否符合本标准的规定如下:

a)

非结构化数据管理系统若满足本标准基本要求中的所有要求,则称其满足本标准的基本要求;

b)

非结构化数据管理系统在满足所有基本要求的前提下, 若满足某部份扩展要求, 则称其满足本

标准的基本要求和该部份扩展要求;

c)

非结构化数据管理系统若满足本标准基本要求和扩展要求中的所有要求,则称其满足本标准的

所有要求。

3 规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本合用于本文件。

凡是不注日期的引用文件,其最新版本(包括所有的修改单)合用于本文件。

GB 18030—2005 信息技术 中文编码字符集

GB/T AAAAA-AAAA 非结构化数据访问接口规范

4 术语和定义

下列术语和定义合用于本文件。

4.1

非结构化数据 unstructured data

没有明确结构约束的数据,如文本、图象、音频、视频等。

4.2

非结构化数据管理系统 unstructured data management system

对非结构化数据进行管理、操作的大型基础软件,提供非结构化数据存储、特征抽取、索引、查询

等管理功能。

5 缩略语

下列缩略语合用于本文件。

IDF:逆向文件频率 (Inverse Document Frequency)

MFCC:梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient)

PB:千万亿字节(Peta Byte)

SIFT:尺度不变特征转换(Scale-invariant Feature Transform)

TF:词频 (Term Frequency)

6 功能性要求

6.1 总体要求

非结构化数据管理系统的总体要求如下:

a)

应包括存储与计算设施、存储管理、特征抽取、索引管理、查询处理、访问接口、管理工具七

个基本组成部份;

b)

宜包括转换加载、分析挖掘、可视展现三个扩展组成部份。

6.2 存储与计算设施

6.2.1 基本要求

存储与计算设施基本要求如下:

a)

应支持磁盘、磁盘阵列、内存存储、键值存储、关系型存储、分布式文件系统等一种或者多种

存 储设施;

b)

应支持单机、并行计算集群、分布式计算集群等一种或者多种计算设施。

6.2.2 扩展要求

无。

6.3 存储管理

6.3.1 基本要求

存储管理基本要求如下:

a)

应提供涵盖原始数据、基本属性、底层特征、语义特征的概念层存储建模功能;

b)

应提供逻辑层的存储建模功能;

c)

支持整型、浮点型、布尔型、字符串、日期、日期时间、二进制块等基本数据类型;

d)

支持向量、矩阵、关联等数据类型;

e)

应支持根据建好的逻辑层存储模型创建存储实例;

f)

应支持在创建好的存储实例上插入、修改、删除非结构化数据;

g)

应支持删除存储实例;

h)

应支持非结构化数据操作的原子性。

6.3.2 扩展要求

存储管理扩展要求如下:

a)

应支持全局事务的定义并保证事务的原子性、一致性、隔离性和持久性;

b)

应支持数据类型的多值结构和层次结构;

c)

应支持在不同的存储设施上创建存储实例并实现自动映射;

d)

应支持 PB 级数据存储。

6.4 特征抽取


本文标签: 数据 结构化 要求 支持 文件