彩票走势图

Sqoop 授权购买
下载：168 收藏：0
查看价格

Sqoop (产品编号：13750)

Apache Sqoop是用于Apache Hadoop与结构化数据存储之间的数据传输工具。

标签：

开发商： Apache

当前版本： v1.4.6

产品类型：控件

产品功能：数据库管理工具

平台语言：

开源水平：不提供源码

本产品的分类与介绍仅供参考，具体以商家网站介绍为准，如有疑问请来电 023-68661681 咨询。

Apache Sqoop是一个用于在Apache Hadoop 与结构化数据存储之间有效传输大量数据的工具。它可以将一个关系型数据库（例如 ： MySQL 、Oracle、Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

产品质量分析及预测

* 关于本产品的分类与介绍仅供参考，精准产品资料以官网介绍为准，如需购买请先行测试。

特点：

可以通过Hadoop的Mapreduce把数据从关系型数据库导入数据到HDFS。

原理（以import为例）：

Sqoop在import时，需要制定split-by参数。Sqoop根据不同的split-by参数值来进行切分，然后将切分出来的区域分配到不同map中。每个map中再处理数据库中获取的一行一行的值，写入到HDFS中。同时split-by根据不同的参数类型有不同的切分方法，如比较简单的int型，Sqoop会取最大和最小split-by字段值，然后根据传入的num-mappers来确定划分几个区域。 比如select max(split_by)，min(split-by) from得到的max(split-by)和min(split-by)分别为1000和1，而num-mappers为2的话，则会分成两个区域(1,500)和(501-100)，同时也会分成2个sql给2个map去进行导入操作，分别为select XXX from table where split-by>=1 and split-by<500和select XXX from table where split-by>=501 and split-by<=1000。最后每个map各自获取各自SQL中的数据进行导入工作。

Apache Sqoop
Sqoop Import图例
Apache Sqoop
Sqoop Export图例

更新时间:2016-01-25 16:58:48.000 | 录入时间:2016-01-25 16:56:43.000 | 责任编辑:陈俊吉

相关产品
dbForge Studio for SQL Server

dbForge Studio for SQL Server是用于SQL Server的终极管理工具。

Navicat Premium

Navicat Premium 是一套数据库管理工具，让你使用一个程序即可同時连接到 MySQL、MariaDB、SQL Server、SQLite、Oracle 和 PostgreSQL 数据库。

Navicat for MongoDB

一套专用于管理和开发MongoDB数据库的开发工具。

Navicat for Redis

一套专用于可视化和优化 Redis 数据的开发工具。

Redis Desktop Manager

跨平台开源 Redis ® 管理工具

扫码咨询


添加微信 立即咨询

电话咨询

客服热线
023-68661681

TOP