若需要如SHHS、Sleep-EDF、ISRUC、NSRR等数据集的预处理脚本及其他请私信博主。一、前言在开展睡眠深度学习研究时不可避免地需要使用PSGPolysomnography多导睡眠图公开数据集。然而不同数据集在数据形状与文件格式上差异较大如果想同时使用多个数据集进行实验就不得不针对每个数据集单独编写接口这不仅耗时而且维护起来十分痛苦。目前社区里已经有一些开源项目尝试解决这一问题此项目基于https://github.com/wjq-learning/SleepDG搭建但在实际使用过程中仍存在不少困难例如官方没有明确说明依赖版本导致环境配置经常报错文件导入不稳定时常出现兼容性问题此外日志输出不够直观遇到问题时难以及时定位和排查。因此本文在现有开源代码的基础上针对上述问题进行了优化与改进主要包括日志输出更清晰兼容性与可复现性增强以及若干实用性改进。希望能为后续研究者在处理多源睡眠数据时提供更流畅的使用体验。具体代码见GitHub - lijinyang439-arch/PSGPrep: Config-driven, auditable preprocessing for PSG sleep-staging datasets — 22 profiles, deterministic pairing, QC, provenance, and privacy-aware outputs. · GitHub目录一、前言二、数据集处理1. ISRUC数据集A.数据集介绍B.数据预处理2. SHHSSleep Heart Health Study数据集A.数据集介绍B.数据预处理3. HMCHaaglanden Medisch Centrum Sleep Staging Database数据集A.数据集介绍B.数据预处理4. SleepEDFxSleep-EDF Database Expanded数据集A.数据集介绍B.数据预处理5. P2018PhysioNet/CinC Challenge 2018You Snooze, You Win数据集220GA.数据集介绍B.数据预处理本文针对以下5个数据集做处理SleepEDFx、ISRUC、SHHS、HMC、P2018依次处理最终将其统一为1.序列.npy文件→(20, 2, 3000)20 个 epoch每个 epoch 有 2 通道 × 3000 点2通道指的是[EEG F4-M1, EOG E1-M2]2.标签.npy文件→(20,)对应这 20 个 epoch 的阶段标签 ID下面是数据集下载链接The SleepEDFx dataset is on https://physionet.org/content/sleep-edfx/1.0.0/The ISRUC dataset is on https://sleeptight.isr.uc.pt/The SHHS dataset is on https://sleepdata.org/datasets/shhsThe HMC dataset is on https://physionet.org/content/hmc-sleep-staging/1.1/The P2018 dataset is on https://physionet.org/content/challenge-2018/1.0.0/如需要原数据集或者处理后的数据集请联系博主关键库函数版本python3.12numpy1.26.4mne0.23.4scipy1.13.0二、数据集处理1. ISRUC数据集A.数据集介绍ISRUC数据集是由葡萄牙科英布拉大学ISRUC整理的临床 PSG 数据集社区里做跨域/多中心泛化常会用到。B.数据预处理最终加了日志后结果运行完最后会得到如下结果具体代码处理方法见https://blog.csdn.net/m0_70335361/article/details/151711442?fromshareblogdetailsharetypeblogdetailsharerId151711442sharereferPCsharesourcem0_70335361sharefromfrom_linkhttps://blog.csdn.net/m0_70335361/article/details/151711442?fromshareblogdetailsharetypeblogdetailsharerId151711442sharereferPCsharesourcem0_70335361sharefromfrom_link2. SHHSSleep Heart Health Study数据集A.数据集介绍介绍SHHS是美国多中心、基于社区人群的大型纵向队列居家 PSG随访多年是研究睡眠与心血管风险关系的里程碑项目。规模包含基线SHHS-1与随访SHHS-2两次大规模采集数千人规模随访仍是上千例 PSG是公开数据里体量最大的之一。信号/文件NSRRsleepdata.org提供PSG EDF 文件目录与丰富的临床/问卷衍生变量。标注临床标准 30 s 分期历史上使用规则版本不同需留意。用途/注意适合做大样本泛化、人群研究、与合并症相关分析由于多中心、居家场景通道/质量不完全一致训练前需严格对齐通道与质控。具体代码处理方法见https://blog.csdn.net/m0_70335361/article/details/151751060?fromshareblogdetailsharetypeblogdetailsharerId151751060sharereferPCsharesourcem0_70335361sharefromfrom_linkhttps://blog.csdn.net/m0_70335361/article/details/151751060?fromshareblogdetailsharetypeblogdetailsharerId151751060sharereferPCsharesourcem0_70335361sharefromfrom_link3. HMCHaaglanden Medisch Centrum Sleep Staging Database数据集A.数据集介绍介绍荷兰 HMC 睡眠中心 2018 年的临床 PSG 数据PhysioNet 开放获取。规模151个整夜 PSG版本 1.1为清理异常后数据。信号与采样4×EEGF4/M1, C4/M1, O2/M1, C3/M2 2×EOGE1/M2, E2/M2 下颏 EMG ECG全部 256 Hz。标注AASM v2.4规则人工分期每条记录配SNXXX_sleepscoring.edfEDF和同名.txt的 hypnogram。用途/注意与 SleepEDFxRK/ISRUC五类合训时要统一到 AASM 五类高采样率256 Hz→ 和 100 Hz 数据混训前需重采样与滤波策略一致。B.数据预处理替换数据集路径后直接跑报错AttributeError: Epochs object has no attribute get_annotations_per_epoch最终修改后的日志输出为处理完毕具体代码处理方法见https://blog.csdn.net/m0_70335361/article/details/151751013?fromshareblogdetailsharetypeblogdetailsharerId151751013sharereferPCsharesourcem0_70335361sharefromfrom_linkhttps://blog.csdn.net/m0_70335361/article/details/151751013?fromshareblogdetailsharetypeblogdetailsharerId151751013sharereferPCsharesourcem0_70335361sharefromfrom_link4. SleepEDFxSleep-EDF Database Expanded数据集A.数据集介绍介绍PhysioNet 上最常用的睡眠公开基准之一来自两项研究Sleep Cassette、Sleep Telemetry。规模共197个整夜 PSG 记录并配有人工标注的 hypnogram。信号与采样典型包含EEG Fpz–Cz、Pz–Oz、水平 EOG、颏肌 EMGEEG/EOG 多为100 Hz采样部分记录还有气流/体温等。标注依据RK30 s epoch。文件PSG.edf 对应的 hypnogram同库提供。用途/注意做睡眠分期入门非常合适由于用 RK训练 AASM 规则的模型时记得3/4→N3并处理少量的移动/未定义标签。具体代码处理方法见https://blog.csdn.net/m0_70335361/article/details/151751043?fromshareblogdetailsharetypeblogdetailsharerId151751043sharereferPCsharesourcem0_70335361sharefromfrom_linkhttps://blog.csdn.net/m0_70335361/article/details/151751043?fromshareblogdetailsharetypeblogdetailsharerId151751043sharereferPCsharesourcem0_70335361sharefromfrom_link5. P2018PhysioNet/CinC Challenge 2018You Snooze, You Win数据集220GA.数据集介绍是什么2018 年 PhysioNet 挑战赛官方数据来自麻省总医院MGH。规模训练集994夜、测试集989夜合计1,985名受试者的 PSG。信号多导 PSGEEG、EOG、EMG、呼吸/氧饱和度、ECG 等 人工分期用于评测自动分期算法。用途/注意数据量大、分布更“临床化”适合做大规模分期/泛化评估注意官方训练/测试划分与评分协议。具体代码处理方法见https://blog.csdn.net/m0_70335361/article/details/151751080?fromshareblogdetailsharetypeblogdetailsharerId151751080sharereferPCsharesourcem0_70335361sharefromfrom_linkhttps://blog.csdn.net/m0_70335361/article/details/151751080?fromshareblogdetailsharetypeblogdetailsharerId151751080sharereferPCsharesourcem0_70335361sharefromfrom_link