联合注意力机制（Joint Attention Mechanism）是近年来在深度学习领域特别是在自然语言处理和计算机视觉中引入的一种重要机制，用于增强模型对不同模态数据或不同层级特征之间关系的建模能力。联合注意力机制的主要思想是同时关注多个模态或多个特征源，从而更好地理解和融合信息。以下是其关键概念与应用：
1. 基本概念 注意力机制本质上是一种权重分配机制，模型通过学习在处理输入数据时，应该“关注”哪些部分。联合注意力机制扩展了这种思想，将其应用于多个输入源上，或在多模态任务中同时对多个模态的数据进行关注和权重分配。
单模态注意力：传统注意力机制只在单一输入数据（如文本或图像）的不同部分间进行权重分配。
联合注意力：在多模态或多源输入的情况下，同时对不同模态的数据或不同特征层次进行注意力权重分配，确保模型对各模态或各部分特征都能有效关注。
2. 应用场景 联合注意力机制在多模态任务或多特征任务中表现出强大的能力，尤其在以下几个场景中具有广泛应用：
多模态学习：在处理文本、图像、语音等多模态数据时，联合注意力机制能够协调不同模态之间的互信息，从而提升任务的理解能力。例如 ...
表示学习一、基本概念表示：通俗理解为特征
模型效果的好坏很大程度上取决于所提取特征的质量
表示学习：可以自动从数据中学习“有用”特征并直接应用于后续具体任务的方法
表示学习的价值：从数据中得到有判别性的特征，减少机器学习算法对特征工程的依赖
3个问题：
如何判断一个表示比另一个表示更好？
一个好的表示首先要尽可能地包含更多数据的本质信息，并且这个标识能直接服务于后续的具体任务
一个好的表示需要尽可能地描述一些高层次地抽象特征，以便后续的模型可以高效地利用这个特征，减小后续模型的压力
一个好的表示应该尽可能地减小语义鸿沟，提供一些高层次的有价值的特征
低层级特征（编码、分辨率、颜色、纹理）|| 语义鸿沟 || 高层级特征（关键词、类别、概念、本体）
如何去挖掘这些表示？
离散表示：one-hot独热编码
分布式表示：稠密向量
使用什么样的目标去得到一个好的表示？
端到端学习
二、基本方法1. 基于重构损失的方法——自编码器1.1 自编码器1.2 正则自编码器去噪自编码器
稀疏自编码器
1.3 变分自编码器2. 基于对比损失的方法——Word2vec
一、AE 自编码器
自编码器模型结构图
编码器网络可以将原始高维网络转换为潜在的低维代码
解码器网络可以从低维代码中恢复原始数据，并且可能具有越来越大的输出层
自编码器针对从代码重建数据进行了显式优化。一个好的中间表示不仅可以捕获潜在变量，而且有利于完整的解压缩过程。
变分编码器和自动编码器的区别就在于：传统自动编码器的隐变量$z$的分布是不知道的，因此我们无法采样得到新的$z$，也就无法通过解码器得到新的$x$。
AE的缺点：映射空间不连续，无规则，无界
VAE将每组数据编码为一个分布
二、AEs 正则自编码器去噪自编码器在输入数据时加入噪声，强化特征提取能力
稀疏自编码器dropout
对抗式自编码器与GAN网络结合
三、VAE 变分自编码器
变分自编码器模型结构图
1. 数学知识1.1 贝叶斯公式（Bayes Rule）公式表述为：$$p(z|x) = \frac{p(x,z)}{p(x)} = \frac{p(x|z)p(z)}{p ...
异常检测实验对象：WSN序列数据
基于GNN的DAD：不仅可以捕获序列数据的时间相关性信息，还可以获取无线传感器网络节点之间的空间相关性信息
多节点多模态时序数据
无监督：依赖样本数量以及样本分布情况，存在样本不平衡的问题
自监督：采用构造异常样本的方式平衡正负样本的数量，存在生成的负例中异常类型缺乏多样性，模型学习到的异常信息单一化
程师姐：
自监督 对比学习+重构（GAN）
GCN（图卷积）+ TCN（时间卷积）提取时空和多时序之间的关联特征信息
现有方法大多使用重构法或自监督学习来处理数据集标签缺失问题
异常检测节点异常
非深度学习WSN异常检测
传统时间序列模型
移动平均模型（MA）
自回归模型（AR）
自回归移动平均模型（ARMA）
整合移动平均自回归模型（ARIMA）
表示学习一、基本概念表示：通俗理解为特征
模型效果的好坏很大程度上取决于所提取特征的质量
表示学习：可以自动从数据中学习“有用”特征并直接应用于后续具体任务的方法
表示学习的价值：从数据中得到有判别性的特征，减少机器学习算法对特征工程的依赖
3个问题：
如何判断一个表示比另一个表示更好？
一个好的表示首先要尽可能地包含更多数据的本质信息，并且这个标识能直接服务于后续的具体任务
一个好的表示需要尽可能地描述一些高层次地抽象特征，以便后续的模型可以高效地利用这个特征，减小后续模型的压力
一个好的表示应该尽可能地减小语义鸿沟，提供一些高层次的有价值的特征
低层级特征（编码、分辨率、颜色、纹理）|| 语义鸿沟 || 高层级特征（关键词、类别、概念、本体）
如何去挖掘这些表示？
离散表示：one-hot独热编码
分布式表示：稠密向量
使用什么样的目标去得到一个好的表示？
端到端学习
二、基本方法1. 基于重构损失的方法——自编码器1.1 自编码器1.2 正则自编码器去噪自编码器
稀疏自编码器
1.3 变分自编码器2. 基于对比损失的方法——Word2vec
联合注意力机制（Joint Attention Mechanism）是近年来在深度学习领域特别是在自然语言处理和计算机视觉中引入的一种重要机制，用于增强模型对不同模态数据或不同层级特征之间关系的建模能力。联合注意力机制的主要思想是同时关注多个模态或多个特征源，从而更好地理解和融合信息。以下是其关键概念与应用：
1. 基本概念 注意力机制本质上是一种权重分配机制，模型通过学习在处理输入数据时，应该“关注”哪些部分。联合注意力机制扩展了这种思想，将其应用于多个输入源上，或在多模态任务中同时对多个模态的数据进行关注和权重分配。
单模态注意力：传统注意力机制只在单一输入数据（如文本或图像）的不同部分间进行权重分配。
联合注意力：在多模态或多源输入的情况下，同时对不同模态的数据或不同特征层次进行注意力权重分配，确保模型对各模态或各部分特征都能有效关注。
2. 应用场景 联合注意力机制在多模态任务或多特征任务中表现出强大的能力，尤其在以下几个场景中具有广泛应用：
多模态学习：在处理文本、图像、语音等多模态数据时，联合注意力机制能够协调不同模态之间的互信息，从而提升任务的理解能力。例如 ...
VAEs构建生成式时间序列建模技术是一个关键领域,其应用远不止于模拟数据。我们这个方法可以适用于数据插补、异常检测和预测等应用。
通过使用一维卷积层、策略性步幅、灵活的时间输入和季节性先验,可以构建一个能够复制时间序列中复杂模式的VAE。让我们合作完善时间序列建模的最佳实践。
生成式时间序列在异常检测中的作用体现在多个方面，尤其是通过生成与真实数据相似的序列，帮助发现不符合预期的异常点。以下是生成式时间序列在异常检测中的几个关键作用：
1. 生成合成数据 在很多实际场景中，正常数据比异常数据更丰富。生成式模型（如生成对抗网络（GAN）或变分自编码器（VAE））可以通过学习正常数据的分布，生成合成的正常数据。当有新数据出现时，通过比较新数据与生成数据之间的差异，可以检测出潜在的异常。
2. 异常值检测的参考标准 生成式模型可以模拟正常时间序列的模式，并预测未来的正常行为。例如，利用预测未来的时间点，生成一个时间序列范围，实际观测值如果与生成的预测值偏差较大，可能表示异常。此方法尤其适用于异常难以定义或罕见的场景。
3. 增强异常检测模型的鲁棒性 生成式模型可以通过生成类似的训 ...
TGNT-GNN：序列图神经网络
物体与物体之间的关系
GNN：静态，图结构不变，特征变化
T-CNN：动态，时间变化时，图的特征变化，结构也在变化
TGCN15-16年 T-GCN:A Temporal Graph Convolutional Network for Traffic Prediction
GCN+GRU
代码：https://github.com/martinwhl/T-GCN-PyTorch
Embedding：表示从一个物体映射为低维向量的动作，一种将离散对象（例如单词、字符、类别标签等）映射到实数域中一个连续向量空间的表示方法
T-GCN应用领域：
交通流量预测
疾病蔓延
行为识别（手势）：将手的关节点作为图数据节点
电力系统预测
序列图神经网络细节
以交通流量预测为例：
自定义：传感器网络根据道路的连接方式构建图结构
1、构建图数据结构
2、构建序列输入，传感器数据随着时间的变化而变化
序列构建之后，每一时刻都走GCN，重构自己的特征
核心问题：时间、空间
空间中 图的特征 ...
