连接到数据库
Superset 不附带数据库连接功能。连接 Superset 到数据库的主要步骤是在您的环境中**安装正确的数据库驱动程序**。
您需要安装您要使用的元数据数据库所需的软件包,以及您要通过 Superset 访问的数据库所需的软件包。有关设置 Superset 元数据数据库的信息,请参阅安装文档(Docker Compose,Kubernetes)。
本文档尝试为常用的数据库引擎提供不同的驱动程序指针。
安装数据库驱动程序
Superset 要求为每个要连接的数据库引擎安装 Python DB-API 数据库驱动程序 和 SQLAlchemy 方言。
您可以阅读更多关于如何在 Superset 配置中安装新数据库驱动程序的信息此处。
支持的数据库和依赖项
下面列出了一些推荐的软件包。请参阅 pyproject.toml 以了解与 Superset 兼容的版本。
数据库 | PyPI 软件包 | 连接字符串 |
---|---|---|
AWS Athena | pip install pyathena[pandas] , pip install PyAthenaJDBC | awsathena+rest://{access_key_id}:{access_key}@athena.{region}.amazonaws.com/{schema}?s3_staging_dir={s3_staging_dir}&... |
AWS DynamoDB | pip install pydynamodb | dynamodb://{access_key_id}:{secret_access_key}@dynamodb.{region_name}.amazonaws.com?connector=superset |
AWS Redshift | pip install sqlalchemy-redshift | redshift+psycopg2://<userName>:<DBPassword>@<AWS End Point>:5439/<Database Name> |
Apache Doris | pip install pydoris | doris://<User>:<Password>@<Host>:<Port>/<Catalog>.<Database> |
Apache Drill | pip install sqlalchemy-drill | drill+sadrill:// 对于 JDBC drill+jdbc:// |
Apache Druid | pip install pydruid | druid://<User>:<password>@<Host>:<Port-default-9088>/druid/v2/sql |
Apache Hive | pip install pyhive | hive://hive@{hostname}:{port}/{database} |
Apache Impala | pip install impyla | impala://{hostname}:{port}/{database} |
Apache Kylin | pip install kylinpy | kylin://<username>:<password>@<hostname>:<port>/<project>?<param1>=<value1>&<param2>=<value2> |
Apache Pinot | pip install pinotdb | pinot://BROKER:5436/query?server=http://CONTROLLER:5983/ |
Apache Solr | pip install sqlalchemy-solr | solr://{username}:{password}@{hostname}:{port}/{server_path}/{collection} |
Apache Spark SQL | pip install pyhive | hive://hive@{hostname}:{port}/{database} |
Ascend.io | pip install impyla | ascend://{username}:{password}@{hostname}:{port}/{database}?auth_mechanism=PLAIN;use_ssl=true |
Azure MS SQL | pip install pymssql | mssql+pymssql://UserName@presetSQL:[email protected]:1433/TestSchema |
ClickHouse | pip install clickhouse-connect | clickhousedb://{username}:{password}@{hostname}:{port}/{database} |
CockroachDB | pip install cockroachdb | cockroachdb://root@{hostname}:{port}/{database}?sslmode=disable |
CouchbaseDB | pip install couchbase-sqlalchemy | couchbasedb://{username}:{password}@{hostname}:{port}?truststorepath={ssl certificate path} |
Dremio | pip install sqlalchemy_dremio | dremio://user:pwd@host:31010/ |
Elasticsearch | pip install elasticsearch-dbapi | elasticsearch+http://{user}:{password}@{host}:9200/ |
Exasol | pip install sqlalchemy-exasol | exa+pyodbc://{username}:{password}@{hostname}:{port}/my_schema?CONNECTIONLCALL=en_US.UTF-8&driver=EXAODBC |
Google BigQuery | pip install sqlalchemy-bigquery | bigquery://{project_id} |
Google Sheets | pip install shillelagh[gsheetsapi] | gsheets:// |
Firebolt | pip install firebolt-sqlalchemy | firebolt://{client_id}:{client_secret}@{database}/{engine_name}?account_name={name} |
Hologres | pip install psycopg2 | postgresql+psycopg2://<UserName>:<DBPassword>@<Database Host>/<Database Name> |
IBM Db2 | pip install ibm_db_sa | db2+ibm_db:// |
IBM Netezza Performance Server | pip install nzalchemy | netezza+nzpy://<UserName>:<DBPassword>@<Database Host>/<Database Name> |
MySQL | pip install mysqlclient | mysql://<UserName>:<DBPassword>@<Database Host>/<Database Name> |
OceanBase | pip install oceanbase_py | oceanbase://<UserName>:<DBPassword>@<Database Host>/<Database Name> |
Oracle | pip install cx_Oracle | oracle:// |
PostgreSQL | pip install psycopg2 | postgresql://<UserName>:<DBPassword>@<Database Host>/<Database Name> |
Presto | pip install pyhive | presto:// |
Rockset | pip install rockset-sqlalchemy | rockset://<api_key>:@<api_server> |
SAP Hana | pip install hdbcli sqlalchemy-hana 或 pip install apache-superset[hana] | hana://{username}:{password}@{host}:{port} |
StarRocks | pip install starrocks | starrocks://<User>:<Password>@<Host>:<Port>/<Catalog>.<Database> |
Snowflake | pip install snowflake-sqlalchemy | snowflake://{user}:{password}@{account}.{region}/{database}?role={role}&warehouse={warehouse} |
SQLite | 无需额外库 | sqlite://path/to/file.db?check_same_thread=false |
SQL Server | pip install pymssql | mssql+pymssql:// |
Teradata | pip install teradatasqlalchemy | teradatasql://{user}:{password}@{host} |
TimescaleDB | pip install psycopg2 | postgresql://<UserName>:<DBPassword>@<Database Host>:<Port>/<Database Name> |
Trino | pip install trino | trino://{username}:{password}@{hostname}:{port}/{catalog} |
Vertica | pip install sqlalchemy-vertica-python | vertica+vertica_python://<UserName>:<DBPassword>@<Database Host>/<Database Name> |
YugabyteDB | pip install psycopg2 | postgresql://<UserName>:<DBPassword>@<Database Host>/<Database Name> |
请注意,许多其他数据库都受支持,主要标准是存在功能性的 SQLAlchemy 方言和 Python 驱动程序。搜索关键字“sqlalchemy +(数据库名称)”应该可以帮助您找到正确的位置。
如果您的数据库或数据引擎不在列表中,但存在 SQL 接口,请在 Superset GitHub 仓库 上提交问题,以便我们能够对其进行记录和支持。
如果您想为 Superset 集成构建数据库连接器,请阅读以下教程。
在 Docker 镜像中安装驱动程序
Superset 要求为每个要连接的额外类型的数据库安装 Python 数据库驱动程序。
在本例中,我们将逐步介绍如何安装 MySQL 连接器库。连接器库安装过程对于所有其他库都是相同的。
1. 确定您需要的驱动程序
查阅 数据库驱动程序列表 并找到连接到您的数据库所需的 PyPI 软件包。在本例中,我们连接到 MySQL 数据库,因此我们需要 mysqlclient
连接器库。
2. 在容器中安装驱动程序
我们需要将 mysqlclient
库安装到 Superset docker 容器中(它是否安装在主机上并不重要)。我们可以使用 docker exec -it <container_name> bash
进入正在运行的容器并运行 pip install mysqlclient
,但这不会永久保存。
为了解决这个问题,Superset docker compose
部署使用 requirements-local.txt
文件的约定。此文件中列出的所有软件包将在运行时从 PyPI 安装到容器中。此文件将被 Git 忽略,用于本地开发目的。
在包含您的 docker-compose.yml
或 docker-compose-non-dev.yml
文件的目录中,创建一个名为 docker
的子目录,并在其中创建 requirements-local.txt
文件。
# Run from the repo root:
touch ./docker/requirements-local.txt
添加上面步骤中识别的驱动程序。您可以使用文本编辑器或从命令行执行,例如
echo "mysqlclient" >> ./docker/requirements-local.txt
如果您运行的是库存(未定制)Superset 镜像,则已完成。使用 docker compose -f docker-compose-non-dev.yml up
启动 Superset,驱动程序应该存在。
您可以使用 docker exec -it <container_name> bash
进入正在运行的容器并运行 pip freeze
来检查其是否存在。PyPI 软件包应该存在于打印的列表中。
如果您运行的是定制的 docker 镜像,请使用新的驱动程序重新构建您的本地镜像
docker compose build --force-rm
Docker 镜像重建完成后,运行 docker compose up
重新启动 Superset。
3. 连接到 MySQL
现在您已经在容器中安装了 MySQL 驱动程序,应该可以通过 Superset Web UI 连接到您的数据库。
以管理员用户身份,转到设置 -> 数据:数据库连接,然后点击 +DATABASE 按钮。从那里,按照 使用数据库连接 UI 页面 上的步骤操作。
查阅 Superset 文档中您特定数据库类型的页面,以确定连接字符串以及您需要输入的任何其他参数。例如,在 MySQL 页面 上,我们可以看到连接到本地 MySQL 数据库的连接字符串根据设置是在 Linux 还是 Mac 上运行而有所不同。
点击“测试连接”按钮,应该会弹出一个消息,说“连接看起来不错!”。
4. 故障排除
如果测试失败,请查看您的 docker 日志以查找错误消息。Superset 使用 SQLAlchemy 连接到数据库;要对数据库的连接字符串进行故障排除,您可以启动 Superset 应用程序容器或主机环境中的 Python,并尝试直接连接到所需数据库并获取数据。这消除了 Superset,以便隔离问题。
对您希望 Superset 连接到的每种类型的数据库重复此过程。
特定于数据库的说明
Ascend.io
推荐连接到 Ascend.io 的连接器库是 impyla。
预期的连接字符串格式如下
ascend://{username}:{password}@{hostname}:{port}/{database}?auth_mechanism=PLAIN;use_ssl=true
Apache Doris
sqlalchemy-doris 库是通过 SQLAlchemy 连接到 Apache Doris 的推荐方法。
您需要以下设置值来形成连接字符串
- 用户:用户名
- 密码:密码
- 主机:Doris FE 主机
- 端口:Doris FE 端口
- 目录:目录名称
- 数据库:数据库名称
连接字符串如下所示
doris://<User>:<Password>@<Host>:<Port>/<Catalog>.<Database>
AWS Athena
PyAthenaJDBC
PyAthenaJDBC 是 Amazon Athena JDBC 驱动程序 的 Python DB 2.0 兼容包装器。
Amazon Athena 的连接字符串如下所示
awsathena+jdbc://{aws_access_key_id}:{aws_secret_access_key}@athena.{region_name}.amazonaws.com/{schema_name}?s3_staging_dir={s3_staging_dir}&...
请注意,在形成连接字符串时,您需要转义和编码,如下所示
s3://... -> s3%3A//...
PyAthena
您也可以使用 PyAthena 库(不需要 Java),使用以下连接字符串
awsathena+rest://{aws_access_key_id}:{aws_secret_access_key}@athena.{region_name}.amazonaws.com/{schema_name}?s3_staging_dir={s3_staging_dir}&...
PyAthena 库还允许您假定特定的 IAM 角色,您可以在 Superset 的 Athena 数据库连接 UI 中的 ADVANCED -> Other -> ENGINE PARAMETERS 下添加以下参数来定义该角色。
{
"connect_args": {
"role_arn": "<role arn>"
}
}
AWS DynamoDB
PyDynamoDB
PyDynamoDB 是 Amazon DynamoDB 的 Python DB API 2.0(PEP 249)客户端。
Amazon DynamoDB 的连接字符串如下所示
dynamodb://{aws_access_key_id}:{aws_secret_access_key}@dynamodb.{region_name}.amazonaws.com:443?connector=superset
要获取更多文档,请访问:PyDynamoDB WIKI。
AWS Redshift
sqlalchemy-redshift 库是通过 SQLAlchemy 连接到 Redshift 的推荐方法。
此方言需要 redshift_connector 或 psycopg2 才能正常工作。
您需要设置以下值来形成连接字符串
- 用户名:userName
- 密码:DBPassword
- 数据库主机:AWS 端点
- 数据库名称:数据库名称
- 端口:默认 5439
psycopg2
SQLALCHEMY URI 如下所示
redshift+psycopg2://<userName>:<DBPassword>@<AWS End Point>:5439/<Database Name>
redshift_connector
SQLALCHEMY URI 如下所示
redshift+redshift_connector://<userName>:<DBPassword>@<AWS End Point>:5439/<Database Name>
使用基于 IAM 的凭据连接到 Redshift 集群:
Amazon Redshift 集群 还支持生成临时的基于 IAM 的数据库用户凭据。
您的 Superset 应用程序的 IAM 角色应该具有权限 来调用 redshift:GetClusterCredentials
操作。
您必须在 Superset 的 Redshift 数据库连接 UI 中的 ADVANCED -> Others -> ENGINE PARAMETERS 下定义以下参数。
{"connect_args":{"iam":true,"database":"<database>","cluster_identifier":"<cluster_identifier>","db_user":"<db_user>"}}
SQLALCHEMY URI 应设置为 redshift+redshift_connector://
使用基于 IAM 的凭据连接到 Redshift 无服务器:
Redshift 无服务器 支持使用 IAM 角色进行连接。
您的 Superset 应用程序的 IAM 角色应该在 Redshift 无服务器工作组上具有 redshift-serverless:GetCredentials
和 redshift-serverless:GetWorkgroup
权限。
您必须在 Superset 的 Redshift 数据库连接 UI 中的 ADVANCED -> Others -> ENGINE PARAMETERS 下定义以下参数。
{"connect_args":{"iam":true,"is_serverless":true,"serverless_acct_id":"<aws account number>","serverless_work_group":"<redshift work group>","database":"<database>","user":"IAMR:<superset iam role name>"}}
ClickHouse
要将 ClickHouse 与 Superset 一起使用,您需要安装 clickhouse-connect
Python 库
如果使用 Docker Compose 运行 Superset,请将以下内容添加到您的 ./docker/requirements-local.txt
文件中
clickhouse-connect>=0.6.8
ClickHouse 的推荐连接器库是 clickhouse-connect。
预期的连接字符串格式如下
clickhousedb://<user>:<password>@<host>:<port>/<database>[?options…]clickhouse://{username}:{password}@{hostname}:{port}/{database}
以下是一个真实连接字符串的具体示例
clickhousedb://demo:[email protected]/default?secure=true
如果您在计算机上本地使用 Clickhouse,您可以使用使用默认用户(没有密码)且不加密连接的 http 协议 URL。
clickhousedb://localhost/default
CockroachDB
CockroachDB 的推荐连接器库是 sqlalchemy-cockroachdb。
预期的连接字符串格式如下
cockroachdb://root@{hostname}:{port}/{database}?sslmode=disable
CouchbaseDB
CouchbaseDB 的推荐连接器库是 couchbase-sqlalchemy。
pip install couchbase-sqlalchemy
预期的连接字符串格式如下
couchbasedb://{username}:{password}@{hostname}:{port}?truststorepath={certificate path}?ssl={true/false}
CrateDB
CrateDB 的推荐连接器库是 crate。您还需要为该库安装额外的内容。我们建议在您的 requirements 文件中添加类似以下文本的内容
crate[sqlalchemy]==0.26.0
预期的连接字符串格式如下
crate://[email protected]:4200
Databend
Databend 的推荐连接器库是 databend-sqlalchemy。Superset 已在 databend-sqlalchemy>=0.2.3
上进行了测试。
推荐的连接字符串是
databend://{username}:{password}@{host}:{port}/{database_name}
以下是一个 Superset 连接到 Databend 数据库的连接字符串示例
databend://user:password@localhost:8000/default?secure=false
Databricks
Databricks 现在提供了一个本地的 DB API 2.0 驱动程序 databricks-sql-connector
,它可以与 sqlalchemy-databricks
方言一起使用。您可以使用以下命令安装这两个驱动程序
pip install "apache-superset[databricks]"
要使用 Hive 连接器,您需要从您的集群中获取以下信息
- 服务器主机名
- 端口
- HTTP 路径
这些可以在“配置” -> “高级选项” -> “JDBC/ODBC” 下找到。
您还需要从“设置” -> “用户设置” -> “访问令牌” 中获取访问令牌。
一旦您拥有所有这些信息,请添加一个类型为“Databricks Native Connector”的数据库,并使用以下 SQLAlchemy URI
databricks+connector://token:{access_token}@{server_hostname}:{port}/{database_name}
您还需要将以下配置添加到“Other” -> “Engine Parameters” 中,并使用您的 HTTP 路径
{
"connect_args": {"http_path": "sql/protocolv1/o/****"}
}
旧驱动程序
最初,Superset 使用 databricks-dbapi
连接到 Databricks。如果您在使用官方 Databricks 连接器时遇到问题,您可能想尝试一下。
pip install "databricks-dbapi[sqlalchemy]"
使用 databricks-dbapi
连接到 Databricks 有两种方法:使用 Hive 连接器或 ODBC 连接器。这两种方法的工作方式类似,但只有 ODBC 可以用于连接到 SQL 端点。
Hive
要连接到 Hive 集群,请在 Superset 中添加一个类型为“Databricks Interactive Cluster”的数据库,并使用以下 SQLAlchemy URI
databricks+pyhive://token:{access_token}@{server_hostname}:{port}/{database_name}
您还需要将以下配置添加到“Other” -> “Engine Parameters” 中,并使用您的 HTTP 路径
{"connect_args": {"http_path": "sql/protocolv1/o/****"}}
ODBC
对于 ODBC,您首先需要安装 适用于您平台的 ODBC 驱动程序。
对于常规连接,在为数据库选择“Databricks Interactive Cluster”或“Databricks SQL Endpoint”后,请使用此作为 SQLAlchemy URI,具体取决于您的用例
databricks+pyodbc://token:{access_token}@{server_hostname}:{port}/{database_name}
以及连接参数
{"connect_args": {"http_path": "sql/protocolv1/o/****", "driver_path": "/path/to/odbc/driver"}}
驱动程序路径应为
/Library/simba/spark/lib/libsparkodbc_sbu.dylib
(Mac OS)/opt/simba/spark/lib/64/libsparkodbc_sb64.so
(Linux)
对于连接到 SQL 端点,您需要使用端点的 HTTP 路径
{"connect_args": {"http_path": "/sql/1.0/endpoints/****", "driver_path": "/path/to/odbc/driver"}}
Dremio
Dremio 的推荐连接器库是 sqlalchemy_dremio。
ODBC 的预期连接字符串(默认端口为 31010)格式如下
dremio://{username}:{password}@{host}:{port}/{database_name}/dremio?SSL=1
Arrow Flight 的预期连接字符串(Dremio 4.9.1+。默认端口为 32010)格式如下
dremio+flight://{username}:{password}@{host}:{port}/dremio
这 Dremio 的博客文章 提供了一些有关将 Superset 连接到 Dremio 的其他有用说明。
Apache Drill
SQLAlchemy
通过 SQLAlchemy 连接到 Apache Drill 的推荐方法是。您可以使用 sqlalchemy-drill 包。
完成此操作后,您可以通过两种方式连接到 Drill,通过 REST 接口或通过 JDBC。如果您通过 JDBC 连接,则必须安装 Drill JDBC 驱动程序。
Drill 的基本连接字符串如下所示
drill+sadrill://<username>:<password>@<host>:<port>/<storage_plugin>?use_ssl=True
要连接到在本地机器上以嵌入模式运行的 Drill,您可以使用以下连接字符串
drill+sadrill://localhost:8047/dfs?use_ssl=False
JDBC
通过 JDBC 连接到 Drill 更复杂,我们建议您遵循 本教程。
连接字符串如下所示
drill+jdbc://<username>:<password>@<host>:<port>
ODBC
我们建议您阅读 Apache Drill 文档 并阅读 GitHub 自述文件 以了解如何通过 ODBC 使用 Drill。
Apache Druid
Superset 附带一个到 Druid 的本机连接器(在 DRUID_IS_ACTIVE
标志后面),但它正在逐渐被 pydruid 库 中提供的 SQLAlchemy/DBAPI 连接器取代。
连接字符串如下所示
druid://<User>:<password>@<Host>:<Port-default-9088>/druid/v2/sql
以下是此连接字符串的关键组件的细分
User
:连接到数据库所需的凭据的用户名部分Password
:连接到数据库所需的凭据的密码部分Host
:运行数据库的主机机器的 IP 地址(或 URL)Port
:主机机器上运行数据库的特定端口
自定义 Druid 连接
在添加对 Druid 的连接时,您可以在“添加数据库”表单中通过几种不同的方式自定义连接。
自定义证书
您可以在配置新的 Druid 数据库连接时,在“根证书”字段中添加证书
使用自定义证书时,pydruid 将自动使用 https 方案。
禁用 SSL 验证
要禁用 SSL 验证,请将以下内容添加到“其他”字段
engine_params:
{"connect_args":
{"scheme": "https", "ssl_verify_cert": false}}
聚合
可以在 Superset 中定义和使用常见的聚合或 Druid 指标。第一个也是更简单的用例是使用数据源编辑视图中显示的复选框矩阵(**数据源 -> Druid 数据源 -> [您的数据源] -> 编辑 -> [选项卡] 列出 Druid 列**)。
单击“分组”和“可过滤”复选框将使该列在“探索”视图中的相关下拉列表中显示。选中“计数 distinct”、“最小值”、“最大值”或“总和”将导致创建新的指标,这些指标将在保存数据源后显示在“列出 Druid 指标”选项卡中。
通过编辑这些指标,您会注意到它们的 JSON 元素对应于 Druid 聚合定义。您可以按照 Druid 文档从“列出 Druid 指标”选项卡手动创建自己的聚合。
后聚合
Druid 支持后聚合,这在 Superset 中有效。您只需创建一个指标,就像您手动创建聚合一样,但将 postagg
指定为 指标类型
。然后,您必须在 JSON 字段中提供有效的 json 后聚合定义(如 Druid 文档中所述)。
Elasticsearch
Elasticsearch 的推荐连接器库是 elasticsearch-dbapi。
Elasticsearch 的连接字符串如下所示
elasticsearch+http://{user}:{password}@{host}:9200/
使用 HTTPS
elasticsearch+https://{user}:{password}@{host}:9200/
Elasticsearch 具有默认的 10000 行限制,因此您可以在集群上增加此限制或在配置中设置 Superset 的行限制
ROW_LIMIT = 10000
例如,您可以在 SQL Lab 中查询多个索引
SELECT timestamp, agent FROM "logstash"
但是,要对多个索引使用可视化,您需要在集群上创建一个别名索引
POST /_aliases
{
"actions" : [
{ "add" : { "index" : "logstash-**", "alias" : "logstash_all" } }
]
}
然后使用别名 logstash_all 注册您的表
时区
默认情况下,Superset 对 elasticsearch 查询使用 UTC 时区。如果您需要指定时区,请编辑您的数据库并在“其他”>“引擎参数”中输入您指定时区的设置
{
"connect_args": {
"time_zone": "Asia/Shanghai"
}
}
关于时区问题的另一个需要注意的问题是,在 elasticsearch7.8 之前,如果您想将字符串转换为 DATETIME
对象,则需要使用 CAST
函数,但此函数不支持我们的 time_zone
设置。因此,建议您升级到 elasticsearch7.8 之后的版本。在 elasticsearch7.8 之后,您可以使用 DATETIME_PARSE
函数来解决此问题。DATETIME_PARSE 函数是为了支持我们的 time_zone
设置,您需要在“其他”>“版本”设置中填写您的 elasticsearch 版本号。superset 将使用 DATETIME_PARSE
函数进行转换。
禁用 SSL 验证
要禁用 SSL 验证,请将以下内容添加到“SQLALCHEMY URI”字段
elasticsearch+https://{user}:{password}@{host}:9200/?verify_certs=False
Exasol
Exasol 的推荐连接器库是 sqlalchemy-exasol。
Exasol 的连接字符串如下所示
exa+pyodbc://{username}:{password}@{hostname}:{port}/my_schema?CONNECTIONLCALL=en_US.UTF-8&driver=EXAODBC
Firebird
Firebird 的推荐连接器库是 sqlalchemy-firebird。Superset 已在 sqlalchemy-firebird>=0.7.0, <0.8
上进行了测试。
推荐的连接字符串是
firebird+fdb://{username}:{password}@{host}:{port}//{path_to_db_file}
以下是一个 Superset 连接到本地 Firebird 数据库的连接字符串示例
firebird+fdb://SYSDBA:[email protected]:3050//Library/Frameworks/Firebird.framework/Versions/A/Resources/examples/empbuild/employee.fdb
Firebolt
Firebolt 的推荐连接器库是 firebolt-sqlalchemy。
推荐的连接字符串是
firebolt://{username}:{password}@{database}?account_name={name}
or
firebolt://{username}:{password}@{database}/{engine_name}?account_name={name}
也可以使用服务帐户连接
firebolt://{client_id}:{client_secret}@{database}?account_name={name}
or
firebolt://{client_id}:{client_secret}@{database}/{engine_name}?account_name={name}
Google BigQuery
BigQuery 的推荐连接器库是 sqlalchemy-bigquery。
安装 BigQuery 驱动程序
按照 此处 的步骤了解如何在通过 docker compose 在本地设置 Superset 时安装新的数据库驱动程序。
echo "sqlalchemy-bigquery" >> ./docker/requirements-local.txt
连接到 BigQuery
在 Superset 中添加新的 BigQuery 连接时,您需要添加 GCP 服务帐户凭据文件(作为 JSON)。
- 通过 Google Cloud Platform 控制面板创建您的服务帐户,为其提供对适当 BigQuery 数据集的访问权限,并下载服务帐户的 JSON 配置文件。
- 在 Superset 中,您可以上传该 JSON 或以以下格式添加 JSON blob(这应该是您的凭据 JSON 文件的内容)
{
"type": "service_account",
"project_id": "...",
"private_key_id": "...",
"private_key": "...",
"client_email": "...",
"client_id": "...",
"auth_uri": "...",
"token_uri": "...",
"auth_provider_x509_cert_url": "...",
"client_x509_cert_url": "..."
}
-
此外,还可以通过 SQLAlchemy URI 连接
BigQuery 的连接字符串如下所示
bigquery://{project_id}
转到“高级”选项卡,在数据库配置表单的“安全其他”字段中添加一个 JSON blob,格式如下
{
"credentials_info": <contents of credentials JSON file>
}结果文件应具有以下结构
{
"credentials_info": {
"type": "service_account",
"project_id": "...",
"private_key_id": "...",
"private_key": "...",
"client_email": "...",
"client_id": "...",
"auth_uri": "...",
"token_uri": "...",
"auth_provider_x509_cert_url": "...",
"client_x509_cert_url": "..."
}
}
然后,您应该能够连接到您的 BigQuery 数据集。
要能够在 Superset 中将 CSV 或 Excel 文件上传到 BigQuery,您还需要添加 pandas_gbq 库。
目前,Google BigQuery Python SDK 与 gevent
不兼容,这是因为 gevent
对 python 核心库进行了一些动态猴子补丁。因此,当您使用 gunicorn
服务器部署 Superset 时,您必须使用除 gevent
之外的 worker 类型。
Google Sheets
Google Sheets 的 SQL API 非常有限。Google Sheets 的推荐连接器库是 shillelagh。
将 Superset 连接到 Google Sheets 包含几个步骤。这 教程 提供了有关设置此连接的最新说明。
Hana
推荐的连接器库是 sqlalchemy-hana。
连接字符串的格式如下
hana://{username}:{password}@{host}:{port}
Apache Hive
通过 SQLAlchemy 连接到 Hive 的推荐方法是使用 pyhive 库。
预期的连接字符串格式如下
hive://hive@{hostname}:{port}/{database}
Hologres
Hologres 是阿里云开发的实时交互式分析服务。它与 PostgreSQL 11 完全兼容,并与大数据生态系统无缝集成。
Hologres 示例连接参数
- 用户名:您的阿里云帐户的 AccessKey ID。
- 密码:您的阿里云帐户的 AccessKey 密钥。
- 数据库主机:Hologres 实例的公共端点。
- 数据库名称:Hologres 数据库的名称。
- 端口:Hologres 实例的端口号。
连接字符串如下所示
postgresql+psycopg2://{username}:{password}@{host}:{port}/{database}
IBM DB2
The IBM_DB_SA 库为 IBM 数据服务器提供 Python / SQLAlchemy 接口。
以下是推荐的连接字符串
db2+ibm_db://{username}:{passport}@{hostname}:{port}/{database}
SQLAlchemy 中实现了两个 DB2 方言版本。如果您连接到没有LIMIT [n]
语法的 DB2 版本,则推荐的连接字符串能够使用 SQL Lab 是
ibm_db_sa://{username}:{passport}@{hostname}:{port}/{database}
Apache Impala
推荐的 Apache Impala 连接器库是 impyla.
预期的连接字符串格式如下
impala://{hostname}:{port}/{database}
Kusto
推荐的 Kusto 连接器库是 sqlalchemy-kusto>=2.0.0。
Kusto 的连接字符串(sql 方言)如下所示
kustosql+https://{cluster_url}/{database}?azure_ad_client_id={azure_ad_client_id}&azure_ad_client_secret={azure_ad_client_secret}&azure_ad_tenant_id={azure_ad_tenant_id}&msi=False
Kusto 的连接字符串(kql 方言)如下所示
kustokql+https://{cluster_url}/{database}?azure_ad_client_id={azure_ad_client_id}&azure_ad_client_secret={azure_ad_client_secret}&azure_ad_tenant_id={azure_ad_tenant_id}&msi=False
确保用户具有访问和使用所有必需数据库/表/视图的权限。
Apache Kylin
推荐的 Apache Kylin 连接器库是 kylinpy.
预期的连接字符串格式如下
kylin://<username>:<password>@<hostname>:<port>/<project>?<param1>=<value1>&<param2>=<value2>
MySQL
推荐的 MySQL 连接器库是 mysqlclient.
以下是连接字符串
mysql://{username}:{password}@{host}/{database}
主机
- 对于本地主机:
localhost
或127.0.0.1
- 在 Linux 上运行的 Docker:
172.18.0.1
- 对于本地部署:IP 地址或主机名
- 对于在 OSX 上运行的 Docker:
docker.for.mac.host.internal
端口:默认情况下为3306
mysqlclient
的一个问题是,它将无法使用caching_sha2_password
进行身份验证连接到较新的 MySQL 数据库,因为该插件未包含在客户端中。在这种情况下,您应该使用 mysql-connector-python 代替
mysql+mysqlconnector://{username}:{password}@{host}/{database}
IBM Netezza Performance Server
The nzalchemy 库为 IBM Netezza Performance Server(也称为 Netezza)提供 Python / SQLAlchemy 接口。
以下是推荐的连接字符串
netezza+nzpy://{username}:{password}@{hostname}:{port}/{database}
OceanBase
The sqlalchemy-oceanbase 库是通过 SQLAlchemy 连接到 OceanBase 的推荐方法。
OceanBase 的连接字符串如下所示
oceanbase://<User>:<Password>@<Host>:<Port>/<Database>
Ocient DB
推荐的 Ocient 连接器库是 sqlalchemy-ocient.
安装 Ocient 驱动程序
pip install sqlalchemy-ocient
连接到 Ocient
Ocient DSN 的格式为
ocient://user:password@[host][:port][/database][?param1=value1&...]
Oracle
推荐的连接器库是 cx_Oracle.
连接字符串的格式如下
oracle://<username>:<password>@<hostname>:<port>
Apache Pinot
推荐的 Apache Pinot 连接器库是 pinotdb.
预期的连接字符串格式如下
pinot+http://<pinot-broker-host>:<pinot-broker-port>/query?controller=http://<pinot-controller-host>:<pinot-controller-port>/``
使用用户名和密码的预期连接字符串格式如下
pinot://<username>:<password>@<pinot-broker-host>:<pinot-broker-port>/query/sql?controller=http://<pinot-controller-host>:<pinot-controller-port>/verify_ssl=true``
如果您想使用探索视图或联接、窗口函数等,请启用 多阶段查询引擎。在高级 -> 其他 -> 引擎参数中创建数据库连接时添加以下参数
{"connect_args":{"use_multistage_engine":"true"}}
Postgres
请注意,如果您使用的是 docker compose,则 Postgres 连接器库 psycopg2 与 Superset 捆绑在一起。
Postgres 示例连接参数
- 用户名:用户名
- 密码:DBPassword
- 数据库主机:
- 对于本地主机:localhost 或 127.0.0.1
- 对于本地部署:IP 地址或主机名
- 对于 AWS 端点
- 数据库名称:数据库名称
- 端口:默认 5432
连接字符串如下所示
postgresql://{username}:{password}@{host}:{port}/{database}
您可以在末尾添加?sslmode=require
来要求 SSL
postgresql://{username}:{password}@{host}:{port}/{database}?sslmode=require
您可以在 此文档中的表 31-1 中了解 Postgres 支持的其他 SSL 模式。
有关 PostgreSQL 连接选项的更多信息,请参阅 SQLAlchemy 文档 和 PostgreSQL 文档。
Presto
The pyhive 库是通过 SQLAlchemy 连接到 Presto 的推荐方法。
预期的连接字符串格式如下
presto://{hostname}:{port}/{database}
您也可以传入用户名和密码
presto://{username}:{password}@{hostname}:{port}/{database}
以下是一个带有值的示例连接字符串
presto://datascientist:[email protected]:8080/hive
默认情况下,Superset 假设在查询数据源时使用的是最新版本的 Presto。如果您使用的是旧版本的 Presto,则可以在额外参数中配置它
{
"version": "0.123"
}
SSL 安全额外添加 json 配置到额外连接信息。
{
"connect_args":
{"protocol": "https",
"requests_kwargs":{"verify":false}
}
}
RisingWave
推荐的 RisingWave 连接器库是 sqlalchemy-risingwave.
预期的连接字符串格式如下
risingwave://root@{hostname}:{port}/{database}?sslmode=disable
Rockset
Rockset 的连接字符串为
rockset://{api key}:@{api server}
从 Rockset 控制台 获取您的 API 密钥。从 API 参考 中找到您的 API 服务器。省略 URL 的https://
部分。
要定位到特定虚拟实例,请使用此 URI 格式
rockset://{api key}:@{api server}/{VI ID}
有关更完整的说明,我们建议您参阅 Rockset 文档。
Snowflake
安装 Snowflake 驱动程序
按照 此处 的步骤了解如何在通过 docker compose 在本地设置 Superset 时安装新的数据库驱动程序。
echo "snowflake-sqlalchemy" >> ./docker/requirements-local.txt
推荐的 Snowflake 连接器库是 snowflake-sqlalchemy.
Snowflake 的连接字符串如下所示
snowflake://{user}:{password}@{account}.{region}/{database}?role={role}&warehouse={warehouse}
架构在连接字符串中不是必需的,因为它是在每个表/查询中定义的。如果为用户定义了默认值,则可以省略角色和仓库,即
snowflake://{user}:{password}@{account}.{region}/{database}
确保用户具有访问和使用所有必需数据库/架构/表/视图/仓库的权限,因为 Snowflake SQLAlchemy 引擎在默认情况下不会在引擎创建期间测试用户/角色权限。但是,当在“创建”或“编辑数据库”对话框中按下“测试连接”按钮时,用户/角色凭据将通过在引擎创建期间将“validate_default_parameters”: True 传递给 connect() 方法来进行验证。如果用户/角色无权访问数据库,则会在 Superset 日志中记录错误。
如果您想使用 密钥对身份验证 连接 Snowflake。请确保您拥有密钥对,并且公钥已在 Snowflake 中注册。要使用密钥对身份验证连接 Snowflake,您需要将以下参数添加到“安全额外”字段。
请注意,您需要将多行私钥内容合并为一行,并在每行之间插入\n
{
"auth_method": "keypair",
"auth_params": {
"privatekey_body": "-----BEGIN ENCRYPTED PRIVATE KEY-----\n...\n...\n-----END ENCRYPTED PRIVATE KEY-----",
"privatekey_pass":"Your Private Key Password"
}
}
如果您的私钥存储在服务器上,则可以在参数中将“privatekey_body”替换为“privatekey_path”。
{
"auth_method": "keypair",
"auth_params": {
"privatekey_path":"Your Private Key Path",
"privatekey_pass":"Your Private Key Password"
}
}
Apache Solr
The sqlalchemy-solr 库为 Apache Solr 提供 Python / SQLAlchemy 接口。
Solr 的连接字符串如下所示
solr://{username}:{password}@{host}:{port}/{server_path}/{collection}[/?use_ssl=true|false]
Apache Spark SQL
推荐的 Apache Spark SQL 连接器库 pyhive.
预期的连接字符串格式如下
hive://hive@{hostname}:{port}/{database}
SQL Server
推荐的 SQL Server 连接器库是 pymssql.
SQL Server 的连接字符串如下所示
mssql+pymssql://<Username>:<Password>@<Host>:<Port-default:1433>/<Database Name>/?Encrypt=yes
也可以使用 pyodbc 和参数 odbc_connect 连接
SQL Server 的连接字符串如下所示
mssql+pyodbc:///?odbc_connect=Driver%3D%7BODBC+Driver+17+for+SQL+Server%7D%3BServer%3Dtcp%3A%3Cmy_server%3E%2C1433%3BDatabase%3Dmy_database%3BUid%3Dmy_user_name%3BPwd%3Dmy_password%3BEncrypt%3Dyes%3BConnection+Timeout%3D30
StarRocks
The sqlalchemy-starrocks 库是通过 SQLAlchemy 连接到 StarRocks 的推荐方法。
您需要以下设置值来形成连接字符串
- 用户:用户名
- 密码:DBPassword
- 主机:StarRocks FE 主机
- 目录:目录名称
- 数据库:数据库名称
- 端口:StarRocks FE 端口
连接字符串如下所示
starrocks://<User>:<Password>@<Host>:<Port>/<Catalog>.<Database>
Teradata
推荐的连接器库是 teradatasqlalchemy.
Teradata 的连接字符串如下所示
teradatasql://{user}:{password}@{host}
ODBC 驱动程序
还有一个名为 sqlalchemy-teradata 的旧连接器,它需要安装 ODBC 驱动程序。Teradata ODBC 驱动程序可在此处获取:https://downloads.teradata.com/download/connectivity/odbc-driver/linux
以下是必需的环境变量
export ODBCINI=/.../teradata/client/ODBC_64/odbc.ini
export ODBCINST=/.../teradata/client/ODBC_64/odbcinst.ini
我们建议使用第一个库,因为它不需要 ODBC 驱动程序,并且更新频率更高。
TimescaleDB
TimescaleDB 是一个开源的关系型数据库,用于时间序列和分析,以构建强大的数据密集型应用程序。TimescaleDB 是 PostgreSQL 的扩展,您可以使用标准的 PostgreSQL 连接器库,psycopg2,连接到数据库。
如果您使用 docker compose,psycopg2 会与 Superset 一同提供。
TimescaleDB 示例连接参数
- 用户名:用户
- 密码:密码
- 数据库主机:
- 对于本地主机:localhost 或 127.0.0.1
- 对于本地部署:IP 地址或主机名
- 对于 Timescale Cloud 服务:主机名
- 对于 TimescaleDB 托管服务 服务:主机名
- 数据库名称:数据库名称
- 端口:默认 5432 或服务的端口号
连接字符串如下所示
postgresql://{username}:{password}@{host}:{port}/{database name}
您可以在末尾添加 ?sslmode=require
来要求 SSL(例如,如果您使用 Timescale Cloud)。
postgresql://{username}:{password}@{host}:{port}/{database name}?sslmode=require
Trino
支持的 trino 版本 352 及更高版本
连接字符串
连接字符串格式如下
trino://{username}:{password}@{hostname}:{port}/{catalog}
如果您在本地机器上使用 docker 运行 Trino,请使用以下连接 URL
trino://[email protected]:8080
身份验证
1. 基本身份验证
您可以在连接字符串中或在 高级 / 安全
中的 安全额外
字段中提供 用户名
/密码
。
-
在连接字符串中
trino://{username}:{password}@{hostname}:{port}/{catalog}
-
在
安全额外
字段中{
"auth_method": "basic",
"auth_params": {
"username": "<username>",
"password": "<password>"
}
}
注意:如果两者都提供,安全额外
始终优先。
2. Kerberos 身份验证
在 安全额外
字段中,配置如下示例
{
"auth_method": "kerberos",
"auth_params": {
"service_name": "superset",
"config": "/path/to/krb5.config",
...
}
}
auth_params
中的所有字段都直接传递给 KerberosAuthentication
类。
注意:Kerberos 身份验证需要在本地安装 trino-python-client
,并使用 all
或 kerberos
可选功能,即分别安装 trino[all]
或 trino[kerberos]
。
3. 证书身份验证
在 安全额外
字段中,配置如下示例
{
"auth_method": "certificate",
"auth_params": {
"cert": "/path/to/cert.pem",
"key": "/path/to/key.pem"
}
}
auth_params
中的所有字段都直接传递给 CertificateAuthentication
类。
4. JWT 身份验证
配置 auth_method
并提供 安全额外
字段中的令牌
{
"auth_method": "jwt",
"auth_params": {
"token": "<your-jwt-token>"
}
}
5. 自定义身份验证
要使用自定义身份验证,首先需要将其添加到 Superset 配置文件中的 ALLOWED_EXTRA_AUTHENTICATIONS
允许列表中
from your.module import AuthClass
from another.extra import auth_method
ALLOWED_EXTRA_AUTHENTICATIONS: Dict[str, Dict[str, Callable[..., Any]]] = {
"trino": {
"custom_auth": AuthClass,
"another_auth_method": auth_method,
},
}
然后在 安全额外
字段中
{
"auth_method": "custom_auth",
"auth_params": {
...
}
}
您也可以通过将对 trino.auth.Authentication
类的引用或工厂函数(返回 Authentication
实例)提供给 auth_method
来使用自定义身份验证。
auth_params
中的所有字段都直接传递给您的类/函数。
参考:
Vertica
推荐的连接器库是 sqlalchemy-vertica-python。 Vertica 连接参数是
- 用户名:用户名
- 密码:数据库密码
- 数据库主机
- 对于本地主机:localhost 或 127.0.0.1
- 对于本地部署:IP 地址或主机名
- 对于云:IP 地址或主机名
- 数据库名称:数据库名称
- 端口:默认 5433
连接字符串的格式如下
vertica+vertica_python://{username}:{password}@{host}/{database}
其他参数
- 负载均衡器 - 备份主机
YugabyteDB
YugabyteDB 是一个基于 PostgreSQL 之上的分布式 SQL 数据库。
请注意,如果您使用的是 docker compose,则 Postgres 连接器库 psycopg2 与 Superset 捆绑在一起。
连接字符串如下所示
postgresql://{username}:{password}@{host}:{port}/{database}
通过 UI 连接
以下是关于如何利用新的数据库连接 UI 的文档。这将为管理员提供增强用户体验的能力,这些用户希望连接到新的数据库。
在新的 UI 中连接到数据库时,现在有 3 个步骤
步骤 1:首先,管理员必须告知 superset 他们想要连接到的引擎。此页面由 /available
端点提供支持,该端点会提取当前环境中安装的引擎,因此只会显示支持的数据库。
步骤 2:接下来,系统会提示管理员输入特定于数据库的参数。根据该特定引擎是否有可用的动态表单,管理员将看到新的自定义表单或旧的 SQLAlchemy 表单。我们目前已为(Redshift、MySQL、Postgres 和 BigQuery)构建了动态表单。新表单会提示用户输入连接所需的参数(例如,用户名、密码、主机、端口等),并提供有关错误的即时反馈。
步骤 3:最后,管理员使用动态表单连接到他们的数据库后,他们有机会更新任何可选的高级设置。
我们希望此功能将有助于消除用户进入应用程序并开始创建数据集的巨大瓶颈。
如何设置首选数据库选项和图像
我们添加了一个新的配置选项,管理员可以在其中按顺序定义他们的首选数据库
# A list of preferred databases, in order. These databases will be
# displayed prominently in the "Add Database" dialog. You should
# use the "engine_name" attribute of the corresponding DB engine spec
# in `superset/db_engine_specs/`.
PREFERRED_DATABASES: list[str] = [
"PostgreSQL",
"Presto",
"MySQL",
"SQLite",
]
出于版权原因,每个数据库的徽标不会与 Superset 一起分发。
设置图像
- 要设置首选数据库的图像,管理员必须在
superset_text.yml
文件中创建引擎和图像位置的映射。图像可以托管在您的 static/file 目录中的本地主机上,也可以托管在线(例如 S3)。
DB_IMAGES:
postgresql: "path/to/image/postgres.jpg"
bigquery: "path/to/s3bucket/bigquery.jpg"
snowflake: "path/to/image/snowflake.jpg"
如何将新的数据库引擎添加到可用端点
目前,新的模态支持以下数据库
- Postgres
- Redshift
- MySQL
- BigQuery
当用户选择不在此列表中的数据库时,他们将看到旧的对话框,要求提供 SQLAlchemy URI。可以逐步将新的数据库添加到新的流程中。为了支持丰富的配置,数据库引擎规范需要具有以下属性
parameters_schema
:一个 Marshmallow 模式,定义配置数据库所需的参数。对于 Postgres,这包括用户名、密码、主机、端口等(参见)。default_driver
:数据库引擎规范推荐的驱动程序的名称。许多 SQLAlchemy 方言支持多个驱动程序,但通常只有一个是官方推荐的。对于 Postgres,我们使用“psycopg2”。sqlalchemy_uri_placeholder
:一个字符串,帮助用户在他们想要直接键入 URI 的情况下。encryption_parameters
:当用户选择加密连接时用于构建 URI 的参数。对于 Postgres,这是{"sslmode": "require"}
。
此外,数据库引擎规范必须实现这些类方法
build_sqlalchemy_uri(cls, parameters, encrypted_extra)
:此方法接收不同的参数,并根据它们构建 URI。get_parameters_from_uri(cls, uri, encrypted_extra)
:此方法执行相反的操作,从给定的 URI 中提取参数。validate_parameters(cls, parameters)
:此方法用于表单的onBlur
验证。它应该返回一个SupersetError
列表,指示哪些参数丢失,以及哪些参数肯定不正确(示例)。
对于像 MySQL 和 Postgres 这样的使用 engine+driver://user:password@host:port/dbname
标准格式的数据库,您只需要将 BasicParametersMixin
添加到数据库引擎规范中,然后定义参数 2-4(parameters_schema
已经在 mixin 中存在)。
对于其他数据库,您需要自己实现这些方法。BigQuery 数据库引擎规范是关于如何执行此操作的一个很好的示例。
额外数据库设置
更深入的 SQLAlchemy 集成
可以使用 SQLAlchemy 公开的参数来调整数据库连接信息。在数据库编辑视图中,您可以编辑额外字段作为 JSON blob。
此 JSON 字符串包含额外的配置元素。engine_params
对象将解包到 sqlalchemy.create_engine
调用中,而 metadata_params
将解包到 sqlalchemy.MetaData
调用中。有关更多信息,请参阅 SQLAlchemy 文档。
模式
像 Postgres 和 Redshift 这样的数据库使用模式作为数据库之上的逻辑实体。为了让 Superset 连接到特定模式,您可以在编辑表格表单中设置模式参数(来源 > 表格 > 编辑记录)。
用于 SQLAlchemy 连接的外部密码存储
Superset 可以配置为使用外部存储来存储数据库密码。如果您运行自定义秘密分发框架并且不希望将秘密存储在 Superset 的元数据库中,这将很有用。
示例:编写一个函数,该函数接受一个类型为 sqla.engine.url
的参数,并返回给定连接字符串的密码。然后在您的配置文件中设置 SQLALCHEMY_CUSTOM_PASSWORD_STORE
以指向该函数。
def example_lookup_password(url):
secret = <<get password from external framework>>
return 'secret'
SQLALCHEMY_CUSTOM_PASSWORD_STORE = example_lookup_password
一种常见的模式是使用环境变量来提供密钥。SQLALCHEMY_CUSTOM_PASSWORD_STORE
也可用于此目的。
def example_password_as_env_var(url):
# assuming the uri looks like
# mysql://localhost?superset_user:{SUPERSET_PASSWORD}
return url.password.format(**os.environ)
SQLALCHEMY_CUSTOM_PASSWORD_STORE = example_password_as_env_var
数据库的 SSL 访问
您可以在 **编辑数据库** 表单中的 Extra 字段中配置 SSL
{
"metadata_params": {},
"engine_params": {
"connect_args":{
"sslmode":"require",
"sslrootcert": "/path/to/my/pem"
}
}
}
其他
跨数据库查询
Superset 提供了一个实验性功能,用于跨不同数据库进行查询。这是通过一个名为“Superset 元数据库”的特殊数据库完成的,该数据库使用“superset://” SQLAlchemy URI。使用该数据库时,可以使用以下语法查询任何已配置数据库中的任何表
SELECT * FROM "database name.[[catalog.].schema].table name";
例如
SELECT * FROM "examples.birth_names";
允许使用空格,但名称中的句点必须替换为 %2E
。例如
SELECT * FROM "Superset meta database.examples%2Ebirth_names";
上面的查询返回与 SELECT * FROM "examples.birth_names"
相同的行,并且还表明元数据库可以查询任何表中的表 - 甚至它自己!
注意事项
在启用此功能之前,您应该考虑一些事项。首先,元数据库对查询的表实施权限,因此用户只能通过数据库访问他们最初有权访问的表。尽管如此,元数据库是潜在攻击的新表面,错误可能允许用户查看他们不应该看到的数据。
其次,存在性能方面的考虑。元数据库会将任何过滤、排序和限制推送到底层数据库,但任何聚合和联接将在运行查询的进程中的内存中发生。因此,建议在异步模式下运行数据库,以便查询在 Celery 工作进程中执行,而不是在 Web 工作进程中执行。此外,可以指定对从底层数据库返回的行数的硬性限制。
启用元数据库
要启用 Superset 元数据库,首先您需要将 ENABLE_SUPERSET_META_DB
功能标志设置为 true。然后,添加一个类型为“Superset 元数据库”的新数据库,其 SQLAlchemy URI 为“superset://”。
如果您在元数据库中启用 DML,用户将能够在底层数据库上运行 DML 查询,只要它们也在底层数据库中启用 DML。这允许用户运行跨数据库移动数据的查询。
其次,您可能希望更改 SUPERSET_META_DB_LIMIT
的值。默认值为 1000,它定义了在执行任何聚合和联接之前从每个数据库读取多少行。如果您只有小表,也可以将此值设置为 None
。
此外,您可能希望限制元数据库可以访问的数据库。这可以在数据库配置中完成,在“高级”->“其他”->“引擎参数”下,并添加
{"allowed_dbs":["Google Sheets","examples"]}