科研数据去哪找:生物学数据库全景指南
摘要:本文为生物学与生物信息学研究者系统梳理了从国家级数据中心、国际权威专库(如 GEO/SRA、TCGA、UK Biobank、GBIF)到机器学习平台(Hugging Face、Kaggle、Zenodo)的三类数据源,并重点说明了各类数据的访问门槛——直接开放、需申请审核或付费——以及申请流程与许可合规要点,帮助读者根据自身研究需求快速定位并合法合规地获取所需数据。
做生物学相关研究,或者想用 AI 处理生物数据,第一步往往不是缺方法,而是不知道数据在哪、能不能拿到。这个领域的数据源比想象中分散:国家级的科学数据中心、国际权威的基因和临床数据库、面向机器学习的开放数据集平台,彼此定位不同、访问方式也不同——有的注册即可下载,有的要走机构审核,有的需要付费。本文按来源类型逐一列出真实可查的入口,并说明哪些能直接下载、哪些有门槛,帮助你在动手采集或申请之前,先把路线看清楚。
需要说明的是,本文只收录经核实与生物学数据直接相关的来源。像 CnOpenData、国泰安 CSMAR 这类常被提及的数据库,实际定位是经济金融领域(上市公司财务、股票市场、行业研究),并不属于生物学数据库范畴,本文不会把它们混入生物学数据源列表,具体说明见第三部分。
关键术语与缩写速查表:本文涉及较多数据库缩写,下表汇总了频繁出现的核心术语及其全称与中文释义,方便查阅。
| 缩写 | 英文全称 | 中文释义 |
|---|---|---|
| CNCB | China National Center for Bioinformation | 国家生物信息中心,中国官方生物信息基础设施主入口 |
| NGDC | National Genomics Data Center | 国家基因组科学数据中心,CNCB 下属机构,运营 GSA 等组学数据库 |
| NCBI | National Center for Biotechnology Information | 美国国家生物技术信息中心,运营 GEO、SRA、dbGaP 等数据库 |
| GEO | Gene Expression Omnibus | 基因表达综合数据库,存储基因表达与转录组数据(NCBI 运营) |
| SRA | Sequence Read Archive | 序列读取存档,存储原始测序数据(NCBI 运营) |
| TCGA | The Cancer Genome Atlas | 癌症基因组图谱,涵盖多种癌症的多组学数据项目 |
| GBIF | Global Biodiversity Information Facility | 全球生物多样性信息网络,全球最大的物种分布数据平台 |
| dbGaP | Database of Genotypes and Phenotypes | 基因型-表型关联数据库,人类受控访问数据(NCBI 运营) |
| GDC | Genomic Data Commons | 基因组数据共享平台,TCGA 数据的主要门户 |
| DOI | Digital Object Identifier | 数字对象标识符,用于永久标识学术资源(如 Zenodo 上的数据集) |
| IRB | Institutional Review Board | 机构审查委员会,涉及人类受试者数据的伦理审批机构 |
一、国内权威来源:国家级科学数据中心与数据社区
这一类是中国官方或半官方运营的基础设施,权威性和长期稳定性相对更有保障,是国内科研人员的首选起点。
- 国家生物信息中心(CNCB)(cncb.ac.cn):中国官方生物信息基础设施的主入口,下设多个专业数据库和工具平台。
- 国家基因组科学数据中心(NGDC)(ngdc.cncb.ac.cn):CNCB 下属机构,其组学原始数据归档库 GSA(Genome Sequence Archive)是国内首个被国际期刊认可的组学数据发布平台,适合存放和检索基因组、转录组等原始测序数据,注册需邮箱验证。
- 国家人口与健康科学数据中心(ncmi.cn):覆盖基础医学、临床医学、公共卫生等领域的数据资源。
- 国家青藏高原科学数据中心(data.tpdc.ac.cn):覆盖生态、大气、水文等学科数据,适合做生态学、环境生物学相关研究。下载需先将数据加入"数据篮子"再提交申请,走审核流程,具体审核周期以官网当前说明为准。
- 和鲸社区(ModelWhale / Heywhale)(modelwhale.com / ai.heywhale.com):已与国家基础学科公共科学数据中心(NBSDC)共建数据社区,托管动物、植物等学科的元数据与样例数据,可在线用 Notebook 直接分析,适合快速上手和教学场景。
二、国际权威来源:基因组、临床与生物多样性专库
国际上最常被科研人员使用的生物学专业数据库,覆盖基因表达、测序、癌症基因组、生理信号、大规模队列和物种分布等方向。
- NCBI GEO(基因表达数据库)与 SRA(测序数据归档):NCBI 官方对公众免费开放,其官方政策声明不对数据的使用和复制设限,但需注意原始数据的提交者所在国家或个人仍可能主张相关知识产权,具体参见 NCBI 使用政策 与 GEO 常见问题。测序原始数据的下载可配合官方工具 SRA Tools。
- dbGaP(基因型-表型关联数据库):涉及人类基因型与表型关联的受控访问数据经由 dbGaP 申请,通常需要机构审批和数据访问申请(DAR)流程。
- TCGA 癌症基因组数据(通过 GDC Portal 获取)(portal.gdc.cancer.gov):处理后的 Level 3 数据大多数开放下载;原始测序层级的 Level 1/2 数据属于受控访问,需要 dbGaP 账号、机构审批及负责人(PI)签字的数据访问申请,具体流程和审核周期以 GDC 官网当前公示为准。
- PhysioNet(physionet.org):以心电、脑电等生理信号为主的数据库集合,收录五十余个数据库。其访问分为开放访问、受限访问(需签署数据使用协议)、认证访问(需完成培训认证并签署协议)三个层级,具体分级见数据库列表页。
- UK Biobank:约五十万人规模的英国大型生物样本队列数据。申请分两个阶段——先注册研究者账号,再提交具体的研究项目提案(Proposal),审核通过后需签署数据使用协议,并按数据层级(问卷及基础健康数据、基因数据、影像及全基因组数据)分档收费;对早期研究者及中低收入国家的申请者设有费用减免机制。具体审核周期与当前费用标准,请以 UK Biobank 官网 Access Management System 的公示为准,网络上流传的具体金额可能已过时。
- GBIF(全球生物多样性信息网络)(gbif.org):全球最大的物种分布数据网络,中国科学院于 2013 年代表中国加入并建有 GBIF 中国节点。数据总体开放,可在网页端按物种名或地区手动筛选下载,也可通过 R 语言的 rgbif 包调用 API 批量获取。
- World Bank Data(data.worldbank.org):提供环境与生物多样性相关的全球性汇总数据,例如 Data Catalog 中的全球生物多样性网格数据集(CC BY 4.0 许可),API 免注册即可调用。需要特别说明的是,这类数据是国家或区域层面的宏观统计聚合,并非物种级或分子级的原始生物学数据,只适合环境政策类研究做背景数据,不能替代 GEO、GBIF 这类专业库。
下表对四个核心数据库的关键特征做了横向对比,方便快速判断哪个更适合当前研究方向:
| 数据库 | 数据类型 | 访问方式 | 典型申请周期 | 主要用途 |
|---|---|---|---|---|
| GEO / SRA | 基因表达数据、转录组与基因组测序原始数据 | 开放,免费下载 | 即时(注册后) | 基因表达差异分析、转录组研究、测序数据复用与验证 |
| TCGA | 癌症基因组多组学数据(突变、表达、甲基化等) | Level 3 开放下载;Level 1/2 受控需申请 | Level 1/2 需 dbGaP 审批,以周至月计 | 癌症分子机制研究、预后标志物筛选、多组学整合分析 |
| UK Biobank | 大规模队列的多维度健康数据(问卷、基因、影像、全基因组) | 分档付费,需提交研究提案并签署协议 | 提案审核数周至数月 | 人群队列研究、基因-环境交互分析、慢性病风险建模 |
| GBIF | 全球物种分布记录(经纬度、时间、分类信息) | 开放,注册后网页下载或 API 批量获取 | 即时(注册后) | 生物多样性评估、物种分布建模、生态保护规划 |
三、面向机器学习的生物数据集平台:与传统数据库不同的一类资源
如果目标是训练或微调 AI 模型,而不是做传统意义上的"查基因、查通路、查物种分布",下面这类平台承载的是机器学习任务型数据集,性质和用途都与上述专业数据库不同,需要分开看待。
- Hugging Face:收录面向机器学习的基因组学数据集,例如 arcinstitute/opengenome2(约九万亿碱基对的 DNA 训练语料,用于训练 Evo 2 等基因组基础模型)、InstaDeepAI/multi_species_genomes(覆盖 850 个物种的基因组序列数据集)。这类数据集是预处理好的模型训练语料,不是可供人工查询的数据库。
- Kaggle:有蛋白质图谱分类(Human Protein Atlas)、白血病分类、单细胞 RNA 测序(scRNA-seq,相关数据集数量较多)等生物类竞赛数据集,参见 Bioassay 数据集示例 及 Biology 标签下的完整列表。这类数据集量大,但质量参差不齐,需要逐个查看数据说明和许可协议。
- Papers with Code:在基因组学方向的数据集收录相对有限,更多是论文代码复现的索引入口,可参考 Genome Understanding 任务页。遇到基因组序列分类相关任务,也可以参考由 ML-Bioinfo-CEITEC 团队维护、在 GitHub 开源的 Genomic Benchmarks 基准数据集合。
- Zenodo(欧洲核子研究中心运营):通用型开放科学仓库,任何学科的论文附带数据和代码都可以存放,并会分配 DOI,其中不乏生物、生态类数据集。因为它是通用容器而非生物学专库,检索时需要配合关键词搜索,不能只靠浏览分类页面找到目标数据。
国内的阿里云天池(tianchi.aliyun.com/dataset)和百度飞桨 AI Studio(aistudio.baidu.com/datasetoverview)也属于这一类。天池覆盖医疗健康等十余个行业,包含中文医学自然语言处理评测集 CBLUE、新冠相关基因测序等生物医学相关数据集;飞桨 AI Studio 有上千个开放数据集,但没有专门的生物或基因板块入口,需要在其数据集搜索页自行按关键词筛选。这两个平台上的数据集多为用户上传或竞赛配套,权威性和更新频率不一,使用前建议逐个核实来源和授权条款。
面对三类典型的生物学研究需求,下图把前三部分的数据源串联起来,提供一个简单的决策路线参考——先判断问题性质,再走向对应类型的数据源,最后结合第四部分的可得性说明落地执行:
四、可得性与注意:哪些能直接拿到,哪些要申请或受限
把上面的来源按"能不能直接拿到数据"归类,大致是三种情况:
直接开放、注册或免费即可下载:GEO、SRA、GBIF、World Bank Data 的绝大多数数据、PhysioNet 中标注为开放访问的数据库、TCGA 中经过处理的 Level 3 数据,以及和鲸社区中的样例数据集。这类数据适合作为研究的起点。
需要申请或经过审核:dbGaP 的受控数据、TCGA 的 Level 1/2 原始测序数据(需要机构审批和 PI 签字)、PhysioNet 中的受限访问与认证访问数据库(需要签署协议或完成培训)、国家青藏高原科学数据中心的数据(需走数据篮子加申请审核流程)。这类数据不建议按短期项目周期去规划,审核往往需要提前预留时间。
需要付费:UK Biobank 按数据层级分档收费,问卷及基础健康数据、基因数据、影像及全基因组数据的费用档位不同,且对早期研究者和中低收入国家申请者有减免政策,具体金额请以官网当前公示为准,不要依据网络转述的旧数字做预算。
找不到现成数据时的替代路径:如果目标物种、目标疾病或目标场景在上述专业库中确实没有覆盖,可以考虑三个方向——一是看和鲸、天池这类社区平台上是否有用途相近的长尾数据集,作为阶段性替代;二是评估目标数据是否属于"国家科学数据中心"体系中未在本文列出的其他分中心,进一步核实;三是评估是否只能通过自建采集或与已持有数据的机构合作来获得,而不是继续在网上搜索一个可能并不存在的现成数据集。
五、使用前须知:许可与合规
拿到数据只是第一步,能不能在论文、产品或对外报告中使用,取决于数据的许可条款和访问协议:
- 官方声明"不限制使用和复制"的数据库(如 NCBI 相关库),并不等于完全没有权利限制,原始数据的提交者仍可能对数据主张知识产权,引用和再发布前建议查看数据集自身的说明。
- 受控访问类数据(dbGaP、TCGA 原始层级数据、UK Biobank)通常附带明确的数据使用协议,包括使用范围限制、禁止重新识别个人身份、发表前的合规审查等条款,必须在获批范围内使用,不能擅自转让或用于协议未覆盖的用途。
- 标注了具体许可证类型的数据集(例如 World Bank 部分数据集采用 CC BY 4.0)按许可证要求署名和使用;机器学习平台(Hugging Face、Kaggle、Zenodo)上的数据集许可证并不统一,同一平台内不同数据集可能分别是完全开放、仅限非商业使用或需要署名,逐个查看数据集页面的许可证声明是必要步骤,不能按平台整体默认对待。
- 涉及人类受试者的数据(临床、基因型-表型关联、大型队列)即便技术上可以下载,也要确认是否需要伦理审查(IRB/伦理委员会)批准,这是与版权许可平行的另一层合规要求。
六、参考资料与延伸阅读
以下汇总了文中提及的主要数据库官方链接、关键政策文档,以及生物数据管理与 FAIR 原则相关的综述文章,方便读者深入查阅。
🔗 主要数据库官方链接
| 数据库/平台 | 官方入口 |
|---|---|
| CNCB(国家生物信息中心) | https://www.cncb.ac.cn |
| NGDC(国家基因组科学数据中心) | https://ngdc.cncb.ac.cn |
| 国家人口与健康科学数据中心 | https://www.ncmi.cn |
| 国家青藏高原科学数据中心 | https://data.tpdc.ac.cn |
| 和鲸社区(Heywhale) | https://www.heywhale.com |
| NCBI(GEO / SRA / dbGaP) | https://www.ncbi.nlm.nih.gov |
| GDC Portal(TCGA 数据门户) | https://portal.gdc.cancer.gov |
| PhysioNet | https://physionet.org |
| UK Biobank | https://www.ukbiobank.ac.uk |
| GBIF | https://www.gbif.org |
| GBIF 中国节点 | https://www.gbifchina.org |
| World Bank Data | https://data.worldbank.org |
| Hugging Face | https://huggingface.co/datasets |
| Kaggle | https://www.kaggle.com/datasets |
| Zenodo | https://zenodo.org |
| 阿里云天池 | https://tianchi.aliyun.com/dataset |
| 百度飞桨 AI Studio | https://aistudio.baidu.com/datasetoverview |
📜 关键政策与许可文档
- NCBI 使用政策(Copyright and Disclaimers):https://www.ncbi.nlm.nih.gov/home/about/policies/
- GEO 数据提交与使用 FAQ:https://www.ncbi.nlm.nih.gov/geo/info/faq.html
- Creative Commons CC BY 4.0 许可证全文:https://creativecommons.org/licenses/by/4.0/legalcode(官方法律文本)及 https://creativecommons.org/licenses/by/4.0/deed.zh-hans(简体中文摘要)
- dbGaP 数据访问申请指南:https://dbgap.ncbi.nlm.nih.gov/aa/wga.cgi?page=login
- UK Biobank 访问管理系统(AMS):https://ams.ukbiobank.ac.uk
📚 综述与延伸阅读
FAIR 原则原始文献:Wilkinson MD, Dumontier M, Aalbersberg IJ, et al.The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data, 2016. DOI: 10.1038/sdata.2016.18
— FAIR(Findable, Accessible, Interoperable, Reusable,即可发现、可访问、可互操作、可复用)数据管理原则的开创性论文,是所有生物数据共享实践的理论基础。FAIR 原则在生物医学领域的应用综述:Boeckhout M, Zielhuis GA, Bredenoord AL.The FAIR guiding principles for data stewardship: fair enough?European Journal of Human Genetics, 2018. DOI: 10.1038/s41431-018-0160-0
— 讨论了 FAIR 原则在基因组学与健康研究中的机遇与挑战,对于需要处理人类受控数据的读者尤为推荐。Genomic Benchmarks 数据集论文:Grešová K, Martinek V, Čechák D, et al.Genomic benchmarks: a collection of datasets for genomic sequence classification. BMC Genomic Data, 2023. DOI: 10.1186/s12863-023-01123-8
— 提供了一套标准化的基因组序列分类基准数据集,适合用于评估机器学习模型在 DNA 序列任务上的性能。
结语
以上信息基于公开检索整理,具体的费用标准、审核周期、数据规模等数字可能随时间变化,实际操作请以各官方页面当前公示为准。如果你需要查找的数据分散在上述多个来源中,建议提前规划好时间,逐项核对各平台的访问方式和申请门槛,确保研究计划可行。
关于数聚天成 DeepSData
如果你不希望逐个平台自行尝试,或者手头有一张具体的表(例如“2023 年浙江省各市的社会融资规模”),在国家统计局和人民银行网站反复查找仍未找到,可以委托数聚天成 DeepSData 处理。
我们提供深度数据可得性检索服务:将你所需的具体表(涉及哪个指标、哪个地区、哪个年份口径),在国内外各大平台统一检索一遍,再按“免费直连 / 需注册 / 需校园网 / 社区二手整理”分档列出,并给出一个客观判断——该数据究竟能否获取。
我们不承诺“一定能找到你所需的那一版本”,也不代为下载第三方原始数据。我们所做的,是把分散的来源尽可能检索齐全,并如实反馈结果。如果确实无法获取,也会据实说明,以免你在无效尝试上耗费时间。
更多信息请访问官网: