HyperFedX：具有防止搭便車機制的可解釋聯邦學習框架

核心發現

我們開發了 HyperFedX，這是一個利用超網絡和梯度解釋器檢測聯邦學習系統中搭便車行為的框架，在提高分散式模型訓練可靠性的同時提供決策透明度。

這項研究解決了聯邦學習系統中的關鍵弱點。 搭便車者通過貢獻隨機或未經訓練的權重，同時從全局模型中獲益，破壞了協作學習機制。HyperFedX 不僅檢測這些參與者，還建立了透明的評估機制，維護系統完整性和公平性。

我們的框架使用三個關鍵數學模型來解決搭便車行為的檢測和防止：

$$U_i = P_i(Contribute) \times R_i(Contribute) - C_i(Contribute) - P_i(Free\text{-}Ride) \times P_i(Detection) \times F_i$$

此模型描述了參與節點的決策過程：

這個公式使我們能夠模擬節點何時會理性選擇搭便車而非誠實貢獻。當 $U_i > 0$ 時節點會選擇貢獻，當 $U_i < 0$ 時會選擇搭便車。

$$I_i = \frac{[\alpha \cdot Contribute_i + \beta \cdot Repute_i]}{\alpha + \beta} \times Profit$$

其中：

$I_i$ 是分配給參與者 i 的激勵
$Contribute_i$ 根據以下公式測量當前貢獻的質量： $$Contribute_i = \frac{(\sum_{j=1}^{C} dist_{i,j} \times SHAP_{i,j}) \times (\sum_{j=1}^{C} acc_{i,j} \times SHAP_{i,j+C})}{C}$$
$Repute_i$ 代表從先前輪次累積的聲譽： $$Repute_i = \frac{(\sum_{j=1}^{C} r \times SHAP_{i,j+2C})}{C}$$
$\alpha$ 和 $\beta$ 是平衡即時貢獻與歷史聲譽的權重參數
$Profit$ 是可分配的總獎勵

該系統使用 SHAP 值來量化每個參與者在準確度和與全局模型距離方面的貢獻重要性，創建透明的激勵機制。

$$\min_{\theta,I_i,\forall i} L(\theta) \cdot [(-\sum_{i=1}^{E} U_i(I_i, \theta_i))/E]$$

參數服務器的目標函數：

這個雙重目標確保全局模型保持高性能，同時創造鼓勵誠實參與的條件。

HyperFedX 框架實現包含幾個關鍵組件：

超網絡組件：我們實現的超網絡接收四個關鍵輸入：
- 衡量參與者模型與其他模型距離的指標
- 每個參與者模型在驗證數據上的準確度指標
- 來自先前輪次的聲譽分數
- 當前模型參數
梯度解釋器整合：我們應用 SHAP 值解釋超網絡的決策：
- 在多個參考點計算梯度
- 使用 K-means 根據重要性對梯度進行聚類
- 選擇最具信息性的梯度來解釋模型決策
模擬環境：我們針對以下情況測試了框架：
- 各種搭便車情境（隨機權重、複製權重等）
- 不同的網絡拓撲和參與者行為
- 多種通信模式和激勵結構

此研究連接到以下領域的前沿研究：

此研究在陽明交大智慧邊緣與霧運算聯盟實驗室進行，在黃經堯教授的指導下完成，並得到 Sirapop Nuannimnoi 和團隊成員的幫助。