主要内容

数据存储

读取大量的数据集合

数据存储函数创建一个数据存储,它是一个存储过大而无法装入内存的数据集合的存储库。数据存储允许您将存储在磁盘、远程位置或数据库上的多个文件中的数据作为单个实体读取和处理。如果数据太大,无法装入内存,则可以管理增量导入数据,创建数组来处理数据,或使用数据存储作为输入mapreduce以便进一步处理。有关更多信息,请参见从数据存储开始

功能

全部展开

数据存储 为大型数据集合创建数据存储
tabularTextDatastore 表格文本文件的数据存储
spreadsheetDatastore 电子表格文件的数据存储
imageDatastore 图像数据的数据存储
parquetDatastore 用于收集Parquet文件的数据存储
fileDatastore 带有自定义文件阅读器的数据存储
arrayDatastore 内存中数据的数据存储
读取数据存储中的数据
readall 读取数据存储中的所有数据
预览 预览数据存储中的数据子集
hasdata 确定是否有数据可以读取
重置 将数据存储重置为初始状态
writeall 将数据存储写入文件
洗牌 打乱数据存储中的所有数据
isShuffleable 确定数据存储是否可洗牌
numpartitions 数据存储分区数
分区 对数据存储进行分区
isPartitionable 确定数据存储是否可分区

功能

结合 组合来自多个数据存储的数据
变换 变换数据存储

对象

CombinedDatastore 用于组合从多个底层数据存储读取的数据
TransformedDatastore 用于转换底层数据存储的数据存储
KeyValueDatastore 用于使用的键值对数据的数据存储mapreduce
TallDatastore 用于检查点的数据存储数组

全部展开

matlab.io.Datastore 基本数据存储类
matlab.io.datastore.Partitionable 为数据存储添加并行化支持金宝app
matlab.io.datastore.HadoopLocationBased 添加Hadoop金宝app对数据存储的支持
matlab.io.datastore.Shuffleable 为数据存储添加变换支持金宝app
matlab.io.datastore.DsFileSet 用于数据存储中文件收集的文件设置对象
matlab.io.datastore.DsFileReader 用于数据存储中文件的文件读取器对象
matlab.io.datastore.FileWritable 为数据存储添加文件写入支持金宝app
matlab.io.datastore.FoldersPropertyProvider 为数据存储添加文件夹属性支持金宝app
matlab.io.datastore.FileSet 用于收集数据存储中的文件的文件集
matlab.io.datastore.BlockedFileSet 文件中块的集合

主题

从数据存储开始

数据存储是用于读取单个文件或文件或数据集合的对象。

选择“文件格式”或“应用程序”的数据存储

根据数据或应用程序的文件格式选择正确的数据存储。

阅读和分析大型表格文本文件

此示例演示如何为包含表格数据的大型文本文件创建数据存储,然后每次读取一个块或每次读取一个文件并处理数据。

读取和分析图像文件

这个例子展示了如何为一组图像创建一个数据存储,读取图像文件,并找到具有最大平均色相、饱和度和亮度(HSV)的图像。

读取和分析具有键值数据的mat文件

的输出的mat文件中,此示例显示如何为键值对数据创建数据存储mapreduce

读取和分析Hadoop序列文件

此示例展示如何为包含键值数据的Sequence文件创建数据存储。

使用远程数据

使用Amazon S3™、Microsoft中的远程数据®Azure®存储Blob,或HDFS™。

为不同机器或集群上的处理设置数据存储

在您的机器上设置一个可以在另一台机器或集群上加载和处理的数据存储。

开发自定义数据存储

为您的自定义或专有数据创建一个完全自定义的数据存储。

为DICOM数据开发自定义数据存储

这个例子展示了如何开发支持写入操作的自定义数据存储。金宝app

自定义数据存储的测试指南

在实现自定义数据存储之后,按照这个测试过程来验证自定义数据存储。