Nat Rev Neuro '21 | Neural tuning and representational geometry.

[NorbertZheng]

https://arxiv.org/pdf/2104.09743.pdf

[NorbertZheng]

神经科学的一个中心目标是了解大脑活动模式形成的表征及其与行为的联系。经典方法是研究单个神经元如何编码刺激以及它们tuning curve决定的神经表征保真度（与外界刺激的Mutual Information）。同时tuning分析也会使用Fisher Information来度量神经表征对刺激微小变化的敏感度。

[NorbertZheng]

依据#5 所言，在进化上高级的脑区研究单个神经元对任务参数的tuning并不一定可行，这一点也在该综述中进行了探讨。

[NorbertZheng]

在近几年具备大量神经元测量技术后，我们便开始关注使用linear decoder解出的信息。这里的可解码信息由所记录神经元响应空间中的表征模式几何形状所捕获。当然，也有使用non-linear decoder进行解码的工作，如#1 ，其所基于的假设便是时间上近邻的神经表征在流形上也是相近的，然后在修正后的空间中进行decode，得到期望的行为信息等。

[NorbertZheng]

这里使用non-linear的主要原因，还是因为有时间的参与，每一个task的神经表征不再是一个单一的N维点，而是一条在N维空间中的trajectory。时间给了我们空间临近的一些假设，因为在一个动力学系统中，总有易于流向的方向和不易于流向的方向，这便是距离的不对称性（Dual Affine Connection？几何信息论中的）。或许在度量神经表征远近的时候就不该用欧氏空间？岂不是linear decoder都有很大的问题？

[NorbertZheng]

神经表征空间中的表征几何可以决定Fish Information、Mutual Information和理想观测者的行为性能。

[NorbertZheng]

过去几十年中，system neuroscience一直在不同脑区和生物种群寻找neural tuning。同时我们也收集到了大量证据表明neural tuning会极大地受到spatial、temporal context以及internal state的影响，比如Knudsen et al.在Cell的一篇工作：

[NorbertZheng]

tuning curve是一种描述性工具，用于表示神经表征对任务参数的选择性。如果tuning curve可以被具象化为一种计算机制，则其应该降低non-stimulus对神经表征的影响，比如用群体神经元表征信息或者由non-linear动力学系统进行计算（trial间的var就是stochastic计算）。

[NorbertZheng]

一个互补的观点是来自下游神经元的观点：它接受来自神经群体的输入，并且必须读出有帮助于行为相关推理和决策的特定信息。这种解码视角解决了使用简单的生物学上合理的解码器（线性解码器）可以从一组神经元中读取出哪些信息的问题。具体而言就是，将数据空间进行旋转，然后投影到指定坐标轴上，发现该坐标轴和任务参数可以对应起来。
一个比较有意思的事情是有一些做计算神经学建模的人发现Grid Cell的发放模式可以由Place Cell的发放输入通过Oja‘s Rule（生物学合理的PCA过程）得到。如果这种Place Cell到Grid Cell的现象十分常见的话，那么根据PFC的grid-like编码（https://www.science.org/doi/abs/10.1126/science.aaf0941 ），如下图所示

高级脑区存在的表征迁移现象便不再那么令人困惑，下面是嗅觉处理系统中梨状皮层的表征迁移现象（https://www.nature.com/articles/s41586-021-03628-7.pdf ）：

[NorbertZheng]

表征迁移之后群体神经元的表征几何保持不变，通过Oja’s Rule（生物合理的PCA）将重要的低维表征抽取出来，完全不care整体的变化。重要的是，PCA是线性操作，是生物合理的。

[NorbertZheng]

表征几何是一种对神经编码更广义的定义，其囊括了神经元表征的所有可能投射，是对各投射特例的抽象，暗含所有可被linear与non-linear decoder使用的信息，剥离了无用的tuning信息。
表征几何的定义由表征空间中所有pairwise距离组成，可由表征差异矩阵（RDM）表示，貌似和stimulus cross-correlation matrix有关。其具备对neuron保证空间旋转的统计不变性。

[NorbertZheng]

---

Tuning determines the MI and FI

tuning curve定义了stimulus性质如何在neuron的活动中编码。而神经元反应的信息量由tuning curve所决定。一个bell-shape的tuning curve对于处于prefered stimulus两边的stimulus是无能为力的，因为具备两个表征量相同的stimulus，我们无法由一个神经元反应决定，但是却可以由多个神经元活动决定。但这里的多个神经元并不是神经元群体，因为没有利用抽象出来的表征几何信息。
群体神经元的tuning curve可以如下定义，之所以取期望值，是去除内源性noise的影响：

同时也要考虑外源性noise，我们便得到对应的神经元响应：

比较理想的情况下外源性noise的mean为0，通过trail-average可以估计f(θ)。关于外源性noise和内源性noise可以参考李志远老师数理基础课程的第4讲。

[NorbertZheng]

我们可以框定响应r所传递有关刺激θ的信息量，主要通过MI或者FI。MI不仅可以用来度量相关信息量，也可以被用于优化函数。在有限的神经元数目以及有限的神经元发放上限下，最优化MI得到的tuning curve，如果与neural code相对应，那就应该很好地反应环境的统计性质。
最近有一个比较有意思的工作，Robert Yang et al.2021年的一个工作（https://www.biorxiv.org/content/10.1101/2021.04.15.439917v1.full.pdf ），表明在用气味种类训练初始状态与苍蝇初级嗅觉皮层相似的循环神经网络后，两者在网络拓扑结构上展现高度相似性。这就表明在苍蝇与老鼠长时间的演化分离上初级嗅觉皮层都达到了数学上优化的结构。这就是一个最优化MI后结构在生物学上找到证据的例子。

[NorbertZheng]

但是MI并没有捕获神经编码的保真度如何随着stimulus而变化，毕竟我们的度量是一个总体average的。有些人就提出了stimulus-specific的MI变体。

[NorbertZheng]

FI在统计估计论中有很重要的地位，FI捕获了特定刺激属性附近的编码精度。针对特定stimulus-dist的有效编码应该把更多的资源分配给高频的刺激，并且对这些刺激基于更高的编码精度。
如果noise是Gaussian并且是additive的，FI正比于tuning curve的squared slope。但如果noise是Poisson的，FI除了正比于tuning curve的squared slope之外，还反比于firing rate。FI的计算依赖于neuron群体的表征和noise的特定分布，但只要计算出来，就可以提供对神经元群体在各种noise dist之下保真度的广义stimulus-specific度量。
如果各neuron的noise是相互独立的，那么各个神经元的FI就可以被sum在一块形成neuron群体的FI。但是这个FI一般很难计算，因为neuron的noise一般是相互关联的，这方面相关的进展可见2016年的一篇Review（https://www.annualreviews.org/doi/abs/10.1146/annurev-neuro-070815-013851 ）。

[NorbertZheng]

neuron群体的FI是一个stimulus的函数。假设neuron群体（N个神经元）使用tuning curve（f）编码stimulus变量θ，群体反应为r，则FI可以被如下定义：

如果θ是一个vector，那么J(θ)的描述变为FI矩阵，表示神经表征沿stimulus空间各个方向的变化。一个神经元的FI可以被神经元的tuning curve和noise性质决定。如果是Poisson的noise，FI定义如下：

但如果是additive stimulus-indepdent Gaussian的noise，FI定义如下：

对于neuron群体而言，如果各个neuron有相互独立的noise，群体FI可由讲各neuron的FI加和得到。但如果各neuron的noise相关，那么群体FI将变得很难以计算，因为群体FI依赖于noise的相关结构。
除此之外，FI依赖于stimulus空间的结构，如果stimulus被重新参数化，那么会有：

FI的square root提供了分辨任务中分辨阈值的下限：

C是一个常量取决于人类主观的心理分辨阈值。
对于Poiisson independent的noise，我们可以使用square-root转换单个neuron的反应。对每个neuron发放都是用该转换后，每个neuron的noise都具备近似相同的noise。假设neuron反应r的var是其mean的一个smooth函数g，我们可以使用如下转换将各neuron表征的var稳定：

[NorbertZheng]

神经元发放之间相关是一个很自然的现象，但不知道这种发放的相关性会不会引起noise的相关性。神经元发放之间的相关性会极大的影响其信噪比（S/N），以下结果来自1994年Zohary et al.在Nature上的一篇工作：

[NorbertZheng]

但上面的结论又被L. F. Abbott et al.在1999年在Neural Computation的工作所反驳。更多的工作比如Moreno-Bote et al.在2014年Nat Neuro的Information-limiting correlations及其实验证据Moreno-Bote et al.在2021年Nat Com的Scaling of sensory information可以继续跟进。还有Kohn et al.在2011年Nat Neuro的Measuring and interpreting neuronal correlations以及Kohn et al.在2016年Annu Rev Neuro的Correlations and Neuronal Population Information。

[NorbertZheng]

---

Tuning determines geometry

n个neuron的神经表征可以被视为n维空间中的一个点。当stimulus沿着d维刺激空间移动时，假设这些stimulus都在具备连续tuning curve的neuron中编码，这时整体的response便在一个d维的流形中移动。神经表征流形这一概念将stimulus空间联系到高维的neuron表征空间。所以，我们如果需要理解神经编码，就必须理解神经表征流形的几何信息。
我们上面知道FI定义了神经表征在stimulus空间发生微小变化时的变化幅度，这是一个局部的值。为了定义表征几何，我们还需要一个全局的度量，我们需要知道任意两个stimulus之间的神经表征差异。

我们可以直接计算所有stimulus pair在神经表征空间上的Euclidean距离，从而定义神经表征几何：

但有时我们期望使用stimulus之间的区分度来定义神经表征几何，这主要是由于同一个stimulus在神经表征空间可能有不同的点，产生一个prob dist。该度量定义的方式比较多样，包括Bayes-optimal decoder的精度、linear decoder的精度和d'以及stimulus与神经表征之间的MI。
如果noise的dist是isotropic（相较stimulus各方向而言） Gaussian stimulus-independent的，Euclidean距离便会与stimulus区分度单调（注意这并不是线性关系）。但如果noise的dist是anisotropic的，但仍然Gaussian stimulus-independent，我们可以使用Mahalanobis距离代替之：

这里的Σ是noise的Cov矩阵，其使用不同stimulus的noise dist来计算（不同trial会有不同的noise值，这样就形成一个noise*trial矩阵，计算Cov矩阵即可）。
如果noise的dist是Poisson并且在neuron之间独立，可以使用square-root transform稳定noise的var，将noise的共分布变为近似Gaussian isotropic，然后便可以通过Euclidean距离近似表示表征几何信息。但如果noise的dist不是Gaussian，并且stimulus-dependent（其实也就是neuron之间的noise dependent？），目前还没有被很好地解决。

[NorbertZheng]

neuron表征流形是由一定范围内stimulus引起的neuron反应集合，其局部同构于Euclidean空间。这使得我们可以很自然地将stimulus空间与neuron表征空间进行bijective（在这里我们忽略了noise），如果tuning curve是连续的。这个映射可能是non-linear的，但是一定是one-to-one 的。
neuron表征流形取决于特定的tuning curve形状（注意，这里已经忽略了noise）。

但特定tuning curve会让neuron表征流形self-intersection，在self-intersection的附近，neuron表征流形是不同构于任何Euclidean空间的，就不是一个流形。但如果再增加一个neuron，就可以将其解离。

tuning curve的宽度也会影响neuron表征流形的形状，更窄的tuning curve会导致neuron表征流形高度弯曲，需要更高维的线性子空间，使用了过多的空间来提升精度（对抗S/N）。这其实就是因为宽tuning-curve有较低的entropy，信息量较少，多维信息是冗余的。

注意！上面都是忽略noise的，如果具备noise，d维neuron神经表征流形可能会self-intersection，具体维度取决于stimulus空间的性质。