睡眠の質を低下を検出：PythonとScikit-learnによるヘルスケアデータの異常検知

十分な睡眠を取ったはずなのに、疲れた状態で目覚めた経験はありますか？その理由を理解するための鍵は、睡眠トラッカーのデータの中に隠れているかもしれません。ウェアラブルデバイスは、心拍数や運動量などの多くの情報を提供し、睡眠の質を洞察することができます。このチュートリアルでは、Pythonと強力なScikit-learnライブラリを使用して、睡眠データに対して異常検知を行う方法を紹介します。異常なパターンを特定することで、睡眠の質が低い夜を発見し、私たちの休息に影響を与えている可能性のある要因を理解始めることができます。

実際のオープンソースの睡眠情報データセットを使用して、実践的でHands-onな体験ができるようにします。これは、データサイエンス、機械学習、ヘルステクノロジーに関心のある任何人にとって素晴らしいプロジェクトです。経験豊富な開発者でも始めたばかりの人でも、時系列データの分析方法和、ポートフォリオに追加できるクールなプロジェクトの実践的な理解を得ることができます。

前提条件：

• Pythonとpandasの基本的な理解
• 機械学習の概念，熟悉
• Python 3.x、pandas、Scikit-learn、Matplotlibがインストールされていること

問題の理解

睡眠は複雑な生理学的プロセスであり、「良い」睡眠とは何かは人によって異なります。しかし、通常の睡眠パターンから大きく逸脱することは、潜在的な問題の兆候かもしれません。これらの逸脱、すなわち異常は、心拍数の突然の急上昇、過度の運動、または異常な睡眠ステージの移行である可能性があります。

時系列データの性質により、これらの異常を検出することは困難な場合があります。睡眠データは連続的であり、イベントの順序が重要です。通常の睡眠パターンの文脈で「仲間外れ」を特定できる方法が必要です。ここで、Isolation Forestのような教師なし異常検知アルゴリズムが登場します。

前提条件

始める前に、必要なライブラリがインストールされていることを確認してください。以下のpipコマンドでインストールできます：

pip install pandas scikit-learn matplotlib

PhysioNetからのApple Watchからの睡眠データ（心拍数とモーションを含む）を含むオープンソースデータセットを使用します。このチュートリアルでは、データの簡略化・前処理済みバージョンを使用します。

ステップ1：データの読み込みとクリーニング

まず、睡眠データを読み込み、分析の準備をしましょう。現実のデータはしばしば乱雑であるため、データのクリーニングは非常に重要な最初のステップです。

何をしているか

CSVファイルから睡眠データをpandas DataFrameに読み込み、欠損値がないか確認し、操作しやすいようにタイムスタンプ列をdatetimeオブジェクトに変換します。

実装

# src/data_preprocessing.py
import pandas as pd

# データセットの読み込み
try:
    df = pd.read_csv('sleep_data.csv')
except FileNotFoundError:
    print("エラー: 'sleep_data.csv'が見つかりません。データセットが正しいディレクトリにあることを確認してください。")
    exit()


# 最初の数行を表示
print("元のデータ:")
print(df.head())

# --- データクリーニング ---

# 欠損値の確認
print("\
クリーニング前の欠損値:")
print(df.isnull().sum())

# 欠損値の処理（例如、前方埋め）
df.ffill(inplace=True)

# タイムスタンプをdatetimeオブジェクトに変換
df['timestamp'] = pd.to_datetime(df['timestamp'])

# タイムスタンプをインデックスに設定
df.set_index('timestamp', inplace=True)

print("\
クリーニング後のデータ:")
print(df.head())
print(f"\
クリーニング後のデータ形状: {df.shape}")

動作の仕組み

まず、Pythonでデータ操作に定番のpandasライブラリをインポートします。DataFrameにsleep_data.csvファイルを読み込みます。次に、分析を妨げる可能性のある欠損値がないか確認します。これらを処理する簡単な方法は、最後の有効な観測値を前にforwardするffill()を使用することです。最後に、timestamp列を適切なdatetimeオブジェクトに変換し、DataFrameのインデックスとして設定します。これは時系列分析に不可欠です。

一般的な落とし穴

• 誤ったファイルパス： CSVファイルがスクリプトと同じディレクトリにあるか、正しいパスを提供していることを確認してください。
• さまざまなデータの問題： 重複や誤ったデータ型など、他のデータ品質の問題に備えてください。これらは追加のクリーニングステップが必要になる場合があります。

ステップ2：特徴量エンジニアリング

データがクリーンになったので、異常検知モデルが異常なパターンを特定するのに役立つ特徴量を作成する必要があります。このプロセスは特徴量エンジニアリングと呼ばれ、どの機械学習プロジェクトでも重要な部分です。

何をしているか

心拍数や運動量の移動平均や標準偏差など、既存のデータから新しい特徴量を作成します。これにより、モデルは各データ点の文脈を理解できるようになります。

実装

# src/feature_engineering.py
import pandas as pd

# （dfは前のステップからのクリーニング済みDataFrameであると仮定）
# 独立したスクリプトの場合、まずデータを再読み込みしてクリーニングする必要があります。

# --- 特徴量エンジニアリング ---

# 移動統計の計算
window_size = 10 # 10分ウィンドウ
df['heart_rate_rolling_mean'] = df['heart_rate'].rolling(window=window_size).mean()
df['heart_rate_rolling_std'] = df['heart_rate'].rolling(window=window_size).std()
df['movement_rolling_mean'] = df['movement'].rolling(window=window_size).mean()

# 移動ウィンドウによって作成されたNaN値を持つ行を削除
df.dropna(inplace=True)

print("\
新しい特徴量を含むデータ:")
print(df.head())

動作の仕組み

心拍数と運動データの最近トレンドと変動を捉える新しい特徴量を作成しています。移動平均は時系列の平滑化されたバージョンを提供し、標準偏差はデータがどの程度変動しているかの手がかりを与えてくれます。10分ウィンドウは良い出発点ですが、異なるサイズで実験することもできます。これらの新しい特徴量を作成した後、移動ウィンドウ計算の結果として生じたNaN値を持つ行を削除します。

一般的な落とし穴

• 適切なウィンドウサイズの選択： ウィンドウサイズは結果に大きく影響する可能性があります。小さなウィンドウはノイズに敏感すぎる可能性があり、大きなウィンドウは重要なパターンを平滑化しすぎる可能性があります。異なるウィンドウサイズで実験することがしばしば良いアイデアです。

ステップ3：Isolation Forestによる異常検知

特徴量の準備ができたので、Isolation Forestアルゴリズムを適用する時が来ました。これは異常検知に特に効果的な教師なし学習アルゴリズムです。

何をしているか

エンジニアされた特徴量でIsolation Forestモデルをトレーニングします。モデルは、どのデータ点が異常であるかを予測します。

実装

# src/anomaly_detection.py
from sklearn.ensemble import IsolationForest
import numpy as np

# （dfは特徴量エンジニアリング済みのDataFrameであると仮定）

# --- 異常検知 ---

# モデルに使用する特徴量の選択
features = ['heart_rate', 'movement', 'heart_rate_rolling_mean', 'heart_rate_rolling_std', 'movement_rolling_mean']
X = df[features]

# Isolation Forestモデルの初期化とフィット
model = IsolationForest(n_estimators=100, contamination='auto', random_state=42)
model.fit(X)

# 異常の予測（異常は-1、通常点は1）
df['anomaly'] = model.predict(X)

# 異常スコアを取得
df['anomaly_score'] = model.decision_function(X)

print("\
異常予測を含むデータ:")
print(df.head())

# 異常を表示
anomalies = df[df['anomaly'] == -1]
print("\
検出された異常:")
print(anomalies)

動作の仕組み

Isolation Forestは、ランダムに特徴量を選択してから、その特徴量のランダムな分割値を選択することで動作します。的理念は、異常は「少数かつ異なる」ため、データの他の部分から「隔離」しやすいということです。contaminationパラメータは、データセット内の外れ値の期待される割合をモデルに伝えます。'auto'に設定することで、アルゴリズムに閾値を決定させます。モデルのpredict()メソッドは、異常には-1、通常のデータ点には1を返します。

一般的な落とし穴

• contamination値の選択： これは厄介な場合があります。異常がどのくらいの頻度で発生するかについてのドメイン知識がある場合は、特定の値に設定できます。そうでなければ、'auto'は合理的な選択です。

すべてをまとめる：可視化

異常を特定したので、睡眠の質が低い夜の状況をよりよく理解するために、それを可視化しましょう。

何をしているか

Matplotlibを使用して、検出された異常を強調表示した心拍数と時間のプロットを作成します。

実装

# src/visualization.py
import matplotlib.pyplot as plt
import seaborn as sns

# （dfは異常予測を含むDataFrameであると仮定）

# --- 可視化 ---

plt.style.use('seaborn-v0_8-whitegrid')
fig, ax = plt.subplots(figsize=(15, 6))

# 通常の心拍数データをプロット
ax.plot(df.index, df['heart_rate'], color='blue', label='Normal Heart Rate')

# 異常を強調表示
ax.scatter(anomalies.index, anomalies['heart_rate'], color='red', label='Anomaly', s=50)

ax.set_title('Sleep Heart Rate with Anomaly Detection')
ax.set_xlabel('Time')
ax.set_ylabel('Heart Rate (bpm)')
ax.legend()
plt.show()

動作の仕組み

このコードは心拍数の時系列プロットを生成します。通常のデータ点は青い線として表示され、検出した異常は赤い点で強調表示されます。この可視化により、夜間に異常な心拍数イベントがいつ発生したかを簡単に確認できます。

結論

このチュートリアルでは、PythonとScikit-learnを使用して睡眠データ内の異常を検出するプロセスを説明しました。生のデータから始まり、クリーニングし、新しい特徴量をエンジニアリングし、Isolation Forestアルゴリズムを適用して異常なパターンを特定しました。結果を可視化することで、睡眠中の休息の質の低さを示している可能性のある瞬間を明確に確認できます。

これは睡眠データでできることの手始めにすぎません。他の異常検知アルゴリズムを検討したり、睡眠ステージなどのより多くのデータソースを組み込んだり、睡眠の質を長期的に追跡するダッシュボードを構築したりすることすらできます。

参考資料

• Scikit-learnのIsolation Forestドキュメント： https://scikit-learn.org/stable/modules/generated/sklearn.ensemble.IsolationForest.html
• PhysioNet - Apple Watch睡眠データ： https://physionet.org/content/sleep-accel/1.0.0/
• Isolation Forestアルゴリズムの詳細： https://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/icdm08b.pdf

クイックリファレンス

よくある質問

Q: これが自分に該当する怎么看わかりますか？ A: 個人的な病史と家族歴について医療提供者と相談し、個人のリスク因子を評価し、適切な次のステップを決定してください。

Q: 医師に何を確認ればいいですか？ A: 良い質問例：「私の結果はどういう意味ですか？」「私のオプションは何ですか？」「どのようなライフスタイルの変更が役に立ちますか？」「いつフォローアップする必要がありますか？」

Q: 生活にできる改善はありますか？ A: ほとんどの健康状態は、基本的な対策から恩恵を受けます：バランスの取れた栄養、定期的な身体活動（週150分以上）、質のよい睡眠（7〜9時間）、ストレス管理、タバコの回避です。

医療に関する免責事項

この記事は教育目的のみを目的としており、医学的アドバイスを構成するものではありません。健康、治療、またはケアに関する決定する前に、必ず資格のある医療提供者に相談してください。個人の状況は異なり、1人に適切なことが別の人には適切でない場合があります。

救急の場合、直ちに119番（または現地の緊急番号）に連絡してください。