问如何构建基于环境状态在环境中选择正确对象的DQN？

EN

DQN代理不需要关心操作代表什么，在您的情况下，它只需要进行离散的选择，并且简单地枚举操作空间。暂时忽略它们的意义，你有16个离散的动作。最简单的建模方法是为代理创建一个由16个动作组成的单一索引离散操作空间，然后将其映射到评估结果所需的选择。只要您始终如一地这样做(例如，使用动作索引号的二进制表示)，这是很好的。

根据价值函数的真实性质，使用更直接的表示也可能有所帮助。在这种情况下，您可以使用它，前提是您为$\hat{q}(s,a,\theta)$的神经网络建模，将动作向量连接到输入中的状态向量，并为该特定组合提供估计动作值的单个输出。要评估要采取的操作，您将创建一个由16个输入组成的小型批处理，所有这些输入都具有相同的状态组件，并涵盖16个可能的输入变体。然后，您将选择具有最高估计值的组合，并查看输入向量的动作部分，以发现哪些操作被估计为最佳。

如果你不确定哪种方法最适合这个问题，你可以两者都尝试。