跳到正文
synaping惟意科技

Databricks · Delta Lake · TDA

计算神经科学数据平台(NeuroLab)

基于 Databricks 的睡眠脑电(EEG)数据湖仓与拓扑数据分析流水线。

NeuroLab 是我们在科研数据工程方向的实验项目:将原始睡眠脑电数据按 Bronze / Silver / Gold 三层组织,实现可追溯、可复现的处理流程。

数据来自公开的 PhysioNet Sleep-EDF 睡眠记录。原始 EDF 文件通过 Auto Loader 增量进入 Bronze 层;Silver 层完成带通滤波、伪迹检测与 30 秒分期切分,并检测睡眠纺锤波与慢波;Gold 层汇总时域、频域与拓扑特征。

拓扑特征使用持久同调(Persistent Homology)等拓扑数据分析方法,与传统的时频特征互为补充。

在方法验证上,我们用 Python 复现了已发表的睡眠振荡研究:基于公开的颅内脑电数据集,检测慢波、纺锤波与涟漪,并用相位–振幅耦合与聚类置换检验分析三者的嵌套关系。

这一实践与企业数据平台的方法相通:分层建模、数据质量校验、元数据管理与可复现计算。

Architecture

系统架构

01 · Bronze

  • Auto Loader 增量采集 EDF
  • Schema 演进
  • 原始记录留存

02 · Silver

  • 0.5–30 Hz 带通滤波
  • 伪迹检测与 30 秒分期
  • 纺锤波与慢波检测
  • Delta Live Tables 质量规则

03 · Gold

  • 时域、频域与拓扑特征
  • 受试者级汇总
  • OPTIMIZE 与 Z-ORDER

04 · 应用与治理

  • MLflow 睡眠分期模型
  • 持久同调研究
  • Unity Catalog 权限、列脱敏与血缘

Highlights

工程亮点

01

声明式数据质量

在 Bronze 与 Silver 层用 Delta Live Tables 期望规则校验时间戳与信号有效性,不合格数据被拦截,而不是静默流入下游。

02

治理与权限

Unity Catalog 按数据工程、研究与机器学习角色分级授权,敏感字段列级脱敏,并保留审计日志与血缘。

03

环境与发布

通过 GitHub Actions 与 Databricks Asset Bundles,在开发、预发布与生产环境之间自动化测试与部署。

04

可复现的科研方法

复现项目以单一 YAML 配置驱动全部参数,事件检测函数注明方法与文献出处,并在多个 Python 版本上运行持续集成测试。

预约 30 分钟免费咨询

免费咨询