bluearXiv-ai 论文精选

2026-05-12

📚 跟踪学科 (Categories)

🔍 筛选关键词 (Keywords)

📊 论文统计 ↑ 回顶部

cs.LG
487
cs.AI
224
cs.IR
19
cs.CL
183
cs.DS
20
others
387
总计
1320

⭐ 精选论文 ↑ 回顶部

cs.LG

Brandon Yee et al.
cs.LG cs.AI math.NA physics.comp-ph stat.ML
Yue Lin et al.
cs.LG cs.AI
Jiaxuan Zou, Ruifeng Ren, Yong Liu
cs.LG cs.AI
Liangqi Yuan et al.
cs.LG cs.CL cs.DC
Xiaodong He et al.
cs.LG cs.AI cs.SI
Ke He et al.
cs.LG cs.IT
Tetiana Parshakova et al.
cs.LG math.OC stat.ML
Zhiming Huang et al.
cs.LG
Jinhua Lyu et al.
cs.LG
Yanlin Long, Yufei Gu, Zeke Xie
cs.LG
Yash Vishe et al.
cs.LG cs.AI
Riccardo Porcedda et al.
cs.LG cs.AI cs.SI
Xianhe Chen, Hao Chen, Yingzhen Li
cs.LG cs.AI
Xuexiang Wen et al.
cs.LG cs.AI
Yao Lu et al.
cs.LG cs.AI cs.CL math.NA math.OC
Xuxiang Zhao, Angelica I. Aviles-Rivero
cs.LG math.FA math.NA
Xingyu Qu, Peigeng Huang, Samuel Horvath
cs.LG
Weizhou Wang, Jonathan Weare, Aaron R. Dinner
cs.LG cond-mat.stat-mech
Francis Bach
cs.LG math.OC math.ST
Igor Slinko et al.
cs.LG cs.AI cs.CL cs.SE
Guillem Capellera et al.
cs.LG cs.CV
Barbara Su, Fangshuo Liao, Anastasios Kyrillidis
cs.LG
Kai Lion et al.
cs.LG
Usman A. Khan, Joseph W. Durham
cs.LG cs.MA cs.RO

cs.AI

Ziyang Yu, Qiyue Li, Liang Zhao
cs.AI
Vinay Kumar et al.
cs.AI
Chun-Wun Cheng et al.
cs.AI cs.LG math.NA
Royce Moon, Lav R. Varshney
cs.AI cs.CR cs.SE
Liding Xu, Yugeng Zhou, Sebastian Pokutta
cs.AI cs.CL
Xiangkun Sun et al.
cs.AI
Fangzhao Zhang et al.
cs.AI cs.LG math.OC
Huining Yuan et al.
cs.AI
Shiqiang Wang, Herbert Woisetschläger
cs.AI cs.DC cs.NI
Dario Piga, Marco Forgione
cs.AI

cs.IR

Tz-Huan Hsu, Jheng-Hong Yang, Jimmy Lin
cs.IR cs.AI cs.CL

cs.CL

Junnan Liu et al.
cs.CL cs.AI
Aritra Mazumder et al.
cs.CL cs.AI cs.LG
Guibin Zhang et al.
cs.CL cs.CV cs.LG

cs.DS

Shyan Akmal, Nick Fischer
cs.DS cs.DM
Fabrizio Grandoni, Anupam Gupta, Jatin Yadav
cs.DS cs.CG
Christian Coester, Alexa Tudose
cs.DS

others

Youssef Saied, François Fleuret
cs.CV cs.AI
Salim Khazem, Ibrahim Mohamed Serouis, Zakaria Ezzahed
cs.CV cs.AI cs.LG
Yixuan Qiu
cs.MS cs.AI cs.LG stat.CO stat.ML
Zongmin Yu, Liu Yang
cs.NE cs.AI cs.LG
Elliot Paquette et al.
math.OC cs.LG stat.ML
Shabarish Chenakkod, Michał Dereziński
math.NA cs.DS cs.LG stat.ML
Dongxin Guo, Jikun Wu, Siu Ming Yiu
cs.NE cs.AI cs.CL cs.LG
Wolfgang Grieskamp, Teng Zhang, Vineeth Kashyap
cs.PL cs.AI cs.LO cs.SE
Marc Lackenby
math.GR cs.AI
Giordano De Marzo et al.
physics.soc-ph cs.CL cs.MA
Richie Yeung, Aleks Kissinger, Rob Cornish
quant-ph cs.LG

📄 所有论文 ↑ 回顶部

cs.LG

Hyunmog Kim
cs.LG cs.AI
本文提出了一种用于诊断等变神经力场(equivariant neural force fields)中频谱天花板(spectral ceilings)的诊断方法。该方法通过向分子力场注入受控角频率扰动,并附加轻量级频谱预测网络(SPN)来检测预训练骨干网络能保留哪些角频率。实验表明,在NequIP骨干网络上,该方法在\(l=4\)边界处能恢复信号,但在\(l=5\)处出现11.7倍的性能悬崖,且该现象在多个独立训练的骨干网络上一致复现。此外,论文还提供了一个有限度跨度定理(finite-degree span theorem)来校准该诊断,并排除了参数数量作为唯一解释的可能性。该方法与关键词中的“spectral”高度契合,且为等变神经网络中频率信息保留问题提供了开创性的诊断工具。
Shih-Yu Lai et al.
cs.LG cs.AI cs.CR cs.DC
本文提出UMEDA框架,用于解决多模态图联邦学习中的隐私保护与异构数据融合问题。其核心创新在于:将客户端视为共享连续积分算子(continuous integral operator)的全局图节点,通过谱门控注意力(spectral-gated attention)将不同传感器的局部编码投影到公共低秩子空间,并利用扩散模型(diffusion model)在谱系数上聚合客户端更新,从而自然地处理图大小变化和缺失模态。此外,通过各向异性差分隐私(anisotropic differential-privacy)机制将噪声优先注入信号子空间的零空间,在保证\((\epsilon, \delta)\)-DP的同时保留主导特征方向。该方法在MM-Fi和RELI11D基准上显著优于现有联邦基线,尤其在高模态异质性和严格隐私预算下表现突出。
Brandon Yee et al.
cs.LG cs.AI math.NA physics.comp-ph stat.ML
本文提出Multi-Scale Attention Transformer (MSAT),一种基于learned attention的多尺度transformer架构,用于在不规则区域上求解偏微分方程(PDE)。该方法将时空解历史编码为token序列,并通过复合监督目标与可选的物理信息正则化项进行端到端训练。实验表明,MSAT在复杂几何问题上(如Heat2D-CG)以\(L^2_\mathrm{rel}=0.0101\)的精度超越FNO等基线方法,且推理速度远快于Mamba-NO。此外,文章通过消融实验刻画了物理先验的inductive bias tradeoff,并给出了关于domain boundary complexity \(\kappa\)的approximation error bounds,为architecture selection提供了理论依据。
Yue Lin et al.
cs.LG cs.AI
本文提出reciprocity gradient方法,通过将对手策略的私有估计器(基于公开观测训练)纳入梯度反向传播,直接解析地计算奖励梯度沿声誉链的传播,从而解决多智能体交互中行动与信号对第三方声誉的间接影响问题。该方法无需内在奖励或奖励塑形,联合优化行动与评估信号,在实验中恢复出接近最优的上下文敏感策略,而基于采样的基线方法则退化为常数输出策略。这与关键词中的agent和context高度契合,为多智能体系统中的信用分配问题提供了开创性的解析梯度框架。
Nikunj Gupta et al.
cs.LG
本文提出SACHI框架,通过构建inter-agent coordination graph并应用graph transformer convolutions,使每个agent在动作选择前能够从队友处获取receiver-sensitive且content-dependent的表示,从而解决了部分可观测多智能体强化学习中的信息瓶颈问题。该方法在五个合作任务上一致优于或匹配十二个基线方法,并通过参数匹配的消融实验证明性能提升主要源于消息传递算子中的content-dependence特性。该工作与关键词"agent"和"attention"高度契合,为结构化多智能体协调提供了开创性的信息整合范式。
Mingsong Yan et al.
cs.LG cs.AI math.NA math.OC
本文证明了标准softmax-attention transformer可以通过实现preconditioned Richardson iteration来近似in-context Gaussian kernel ridge regression (KRR)的预测器。作者构造了一个单头transformer,使用\(O(\log(1/\epsilon))\)个block和MLP宽度\(O(\sqrt{N/\epsilon})\),在prompt长度为\(N\)时达到\(\epsilon\)-精度预测。该工作揭示了transformer架构中的功能分解:softmax attention生成行归一化的Gaussian kernel operator用于跨token交互,而ReLU MLP层局部近似更新所需的标量算术。实验通过线性探测和消融研究进一步支持了这一解释,与关键词"attention"和"context"高度契合。
Michael Groom et al.
cs.LG cs.RO
本文提出FlowIQN,一种基于Quantile-Coupled Flow Matching的分布强化学习critic。该方法通过在小批量内对source和Bellman target样本进行排序,以近似单调最优传输耦合,从而用分位数对齐的流路径替代任意配对。作者证明,这种分位数耦合的流匹配损失能产生与Wasserstein距离对齐的近似投影,与分布强化学习理论基础兼容,这是首个具有显式Wasserstein对齐投影保证的流匹配分布critic。实验表明,FlowIQN在Wasserstein回报分布精度上优于其他CFM critic,并在离线强化学习基准上取得有竞争力的性能。
Zhengding Hu et al.
cs.LG cs.DC
FlashEvolve提出了一种异步阶段编排框架,用于加速基于LLM的agent自我进化过程。该方法通过将同步执行替换为异步workers和queues,使不同阶段和步骤能够重叠执行,从而解决了传统同步执行中LLM-heavy阶段导致的墙钟时间瓶颈。针对异步性引入的数据陈旧问题,FlashEvolve通过追踪artifact版本并应用更新、丢弃或修补策略来处理,并利用语言空间陈旧性的可检查和可修复特性,将陈旧artifact转化为有用的进化信号。实验表明,在GEPA workloads上,FlashEvolve在本地vLLM和API serving上分别实现了\(3.5\times\)和\(4.9\times\)的proposal吞吐量提升,与关键词"agent"高度契合。
Jiaxuan Zou, Ruifeng Ren, Yong Liu
cs.LG cs.AI
本文提出Kaczmarz Linear Attention (KLA),通过将Gated DeltaNet (GDN)中的可学习遗忘系数替换为基于Kaczmarz投影方法推导出的动态步长\(\beta_t = \eta_t / (\|k_t\|_2^2 + \epsilon)\),实现了对残差更新幅度的key-norm归一化。该方法仅需修改一个标量参数,即可在保持原有state shape、gates和线性递归结构不变的前提下,显著提升长上下文建模能力:在0.4B参数规模下,KLA的验证困惑度从GDN的8.50降至8.09,并在单针检索任务上达到100%准确率。该工作为delta-rule序列模型提供了理论驱动的更新策略,与关键词中的attention和context高度契合。
Liangqi Yuan et al.
cs.LG cs.CL cs.DC
本文提出PAAC框架,通过将planner-executor分解与device-cloud边界对齐,使角色专业化本身成为隐私机制。云agent使用typed placeholder tokens保留敏感值的推理角色但丢弃其内容,设备端agent识别敏感跨度并将执行结果提炼为紧凑的关键发现。该方法在三个agentic benchmark上主导了隐私与准确率的Pareto前沿,相比现有方法平均准确率提升15-36%,泄露减少2-6倍,并在涵盖数学、科学、金融等10个领域的17个额外基准上取得一致改进。
Xiaodong He et al.
cs.LG cs.AI cs.SI
本文提出了一种以结构为中心的图基础模型SCGFM,通过将图建模为metric measure space并引入可学习的geometric bases来定义共享的结构坐标系,利用Gromov-Wasserstein距离将不同图对齐到这些基上,从而得到结构对齐的潜在表示。该方法还设计了结构感知的特征重编码机制,无需固定特征维度或数据集特定预处理即可统一节点表示。实验表明,SCGFM在图级和节点级任务上均展现出强大的域内和跨域泛化能力,优于现有图基础模型方法。该工作为图基础模型的结构异质性和特征不兼容问题提供了开创性解决方案。
Ke He et al.
cs.LG cs.IT
本文提出了一种名为Soft Generative Actor-Critic (SoftGAC)的生成式策略方法,用于最大熵在线强化学习。该方法通过定义一个从固定基础latent到终端action latent的随机bridge,将MaxEnt目标转化为一个解析可处理的路径wise相对熵目标,从而避免了传统方法中对边际动作密度的依赖和迭代采样带来的高计算成本。在有限步实现中,该相对熵精确退化为采样转移控制能量,提供了原则性的软正则化,同时保持了单次前向传播的低延迟特性。实验表明,SoftGAC在连续控制基准上取得了优于扩散和流匹配策略的性能,并在计算-回报权衡上表现出显著改进。
James Hazelden et al.
cs.LG math.DS math.OC
本文提出了Global Empirical NTK的概念,将梯度下降训练中的每次迭代视为一个线性算子。作者通过将模型状态表述为单一全局隐式约束的解,将NTK分解为两个算子的乘积:\(K\)(参数到状态的即时交互)和\(P\)(内部状态到状态的依赖)。对于包括RNN和Transformer在内的广泛权重模型,他们证明了通用的Kronecker-core定理,表明\(K\)具有精确可计算的形式,揭示了NTK的结构性瓶颈和自参考偏差,即梯度下降倾向于在联合隐藏和输入活动的主导模式中学习。该工作为理解梯度下降的偏差和低秩表示的出现提供了理论框架,并开发了kpflow库以支持实际应用。
Nikhil J. Dhinagar et al.
cs.LG cs.CV eess.IV
本文提出了一种跨模态谱稳定方法,通过理论分析证明低数据场景下深度模型性能下降的根本原因是有限样本噪声导致embedding covariance的eigengap(特征间隙)塌缩,从而限制了可恢复信号模态的数量。作者利用perturbation theory和concentration bounds量化了可恢复维度\(K(N)\),并证明在power-law spectral模型下,分类性能由截断的Mahalanobis energy(由截断的Riemann zeta函数近似)决定。多模态学习通过施加低秩约束抑制噪声主导方向,从而稳定eigengap并提升\(K(N)\),在MNIST和多疾病神经影像数据上验证了该方法能改善样本效率。该工作为低数据学习中的谱塌缩瓶颈提供了理论诊断工具,并引入了基于zeta的谱滤波方法。
Yulang Chen et al.
cs.LG
AgentSlimming是一个针对基于LLM的Multi-Agent Systems (MAS)的压缩框架,受神经网络剪枝和量化的启发,通过混合机制估计每个agent的重要性分数,然后移除冗余agent或用低成本agent替换,并使用baseline-anchored acceptance rule防止性能崩溃。该方法在保持性能的同时平均降低token成本高达78.9%,有时甚至提升准确率,实现了成本与质量之间的Pareto最优权衡,与关键词"agent"高度契合。
Hongtao Zhang et al.
cs.LG
本文针对Muon优化器与multi-head attention之间的粒度不匹配问题,提出了Group Muon方法。通过理论分析揭示了一个trade-off:group-wise whitening gain与grouping-induced norm cost之间的权衡。该方法将head group size和grouping rule作为optimizer的超参数,在GPT-2 Small预训练任务上,适当的grouping在validation loss上优于full-QKV Muon和fully head-wise MuonSplit。这项工作为attention机制下的optimizer设计提供了新的视角,与关键词中的Muon和attention高度契合。
Binghang Lu et al.
cs.LG
本文提出Muon-OGD方法,将Muon优化器中的spectral-norm几何与正交梯度投影相结合,用于解决LLM持续学习中的灾难性遗忘问题。该方法将每次更新形式化为一个受spectral-norm约束的优化问题,并通过Newton-Schulz矩阵符号近似高效求解,从而在参数更新中避开与先前任务相关的受保护方向。实验表明,Muon-OGD在TRACE等基准上优于顺序微调和现有正交梯度方法,证明了spectral-norm感知的更新几何是Frobenius-norm投影的有效替代方案。
Carol Xuan Long
cs.LG
本文提出了一套基于information theory, optimization和statistical learning的理论保证算法,用于提升ML系统的可靠性与可问责性。针对传统模型中的bias与predictive multiplicity,作者引入kernel-based方法实现multiaccuracy;在generative AI领域,通过optimal transport和coding theory推导出watermarking的最优策略,实现了detection与text distortion之间的信息论权衡。此外,论文构建了首个完全由LLM驱动的multi-agent供应链模拟器,评估了autonomous agents的性能与系统性风险,与关键词“agent”高度契合。
Tetiana Parshakova et al.
cs.LG math.OC stat.ML
本文证明了Muon优化器在凸Lipschitz函数类上不收敛,无论采用何种学习率调度。作者进一步指出,引入error feedback可以恢复Muon及所有带动量的非欧几里得次梯度方法的收敛性,但在CIFAR-10图像分类和nanoGPT语言建模任务中,这种理论修正反而降低了Muon的性能。结论认为,凸Lipschitz理论并不适合解释Muon的成功,其实际性能更可能源于smoothness等结构特性。
Tianhao Qian
cs.LG cs.CL
本文提出Relative Kinetic Utility (RKU)框架,将结构化剪枝问题提升为模型深度流形上的连续kinetic integral,基于Alternating Gradient Flow (AGF)并引入Fisher trace normalization作为曲率感知归一化,以识别并保留负责高曲率逻辑路由的kinetic spikes结构通路。该方法解决了传统基于幅度的剪枝方法在高稀疏度(如40%)下因过度关注高频低信息syntactic token而导致的推理崩溃问题,在Qwen-2.5-7B和LLaMA-3-8B上验证了有效性,在GSM8K上以40%稀疏度达到13.34%准确率,优于最强基线。该工作为推理感知的结构化剪枝提供了新的理论视角,与关键词中的context和attention相关。
Jiahe Chen, Ziye Ma
cs.LG
本文针对零阶(Zeroth-Order, ZO)优化中梯度估计噪声大导致全正交化失效的问题,提出了一种部分正交化(partial orthogonalization)方法。该方法用幂迭代(power iteration)替代Muon优化器中的Newton-Schulz过程,仅放大主导谱方向(dominant spectral directions),并通过在动量投影的子空间内搜索来降低梯度方差。实验表明,该方法在OPT-13B模型的SuperGlue数据集上实现了1.5倍至4倍于当前最优ZO-Muon算法的收敛速度,且与MeZO、LOZO等强基线相比,在多数情况下能以更少时间达到竞争性的最终精度。
Yang Zhou et al.
cs.LG cs.AI
本文提出DARE框架,通过自归一化重要性采样(self-normalized importance sampling)使难度估计与policy共同演化,以解决强化学习训练大语言模型时因policy漂移导致的难度估计不准确问题。该方法采用对称Beta采样分布维持多样化的难度覆盖,并对不同难度层级应用自适应计算分配的定制训练策略,从而在提升困难任务正确性的同时为简单任务生成更简洁的响应。实验表明,DARE在训练效率、最终性能和推理效率上均优于现有方法,与关键词中的“agent”和“attention”等概念在强化学习与自适应训练场景中具有潜在关联。
Christopher M. Bryant, Hao Liu
cs.LG
本文提出了一种新的scaling law形式\(L(N, D, T) = E + (L_0 - E)\,h/(1+h)\),其中\(h = a/N^\alpha + b/T^\beta + c\,N^\gamma/D^\delta\),克服了Chinchilla定律在数据受限场景下的三个结构性缺陷:无法在数据减少时饱和至无信息基线、无法表示过拟合、以及混淆总样本数与唯一样本数。该形式将loss分解为欠容量、欠训练和过拟合三项,并在数据丰富单epoch极限下退化为Chinchilla定律。通过在MLPs、ResNets、Fourier neural operators和transformers四种架构上的多epoch实验验证,并在多个已发表的LLM scaling law网格上取得最优RMSE,该定律还支持成本感知的资源分配,在数据昂贵时倾向于更小的语料库和更多的epoch。
Yibang Li et al.
cs.LG cs.AI
本文提出了Intrinsic Muon (iMuon)框架,通过将每个Riemannian metric(黎曼度量)规范地提升为一个intrinsic norm(内蕴范数),解决了Muon优化器在流形参数(如低秩分解、正交约束、对称正定矩阵)上无法直接推广的问题。该框架在fixed-rank、SPD、Stiefel和Grassmann流形上为任意unitarily invariant norm(酉不变范数,包括spectral norm、Frobenius norm和nuclear norm)提供了闭式更新,并建立了收敛保证。特别地,在fixed-rank流形上,收敛率常数仅依赖于rank,消除了先前工作中所需的因子重缩放,实验验证了其在LoRA微调、图像分类和子空间学习中的有效性。
Zhiming Huang et al.
cs.LG
本文提出了一种实例自适应的在线多校准算法,通过自适应地细化预测值的二进网格,在良性序列和最坏情况序列之间动态插值。其误差由细化树的叶子数量控制,在边际随机设定下达到\(\widetilde O(\sqrt T)\)的速率,在分段平稳均值设定下达到\(\widetilde O(\sqrt{JT})\)的速率,并恢复了已知的最坏情况最优速率\(\widetilde O(T^{2/3})\)。该工作为在线多校准问题提供了首个能够自动适应实例难度的统一算法,其速率依赖于一个与群族相关的阈值复杂度度量,且该依赖在log因子意义下是紧的。
Jinhua Lyu et al.
cs.LG
本文提出DiffATS (Diffusion in Aligned Tensor Space),一种直接在低维对齐张量原语上训练扩散模型的生成框架。该方法通过Tucker分解将高维时空场压缩为核心张量与模式因子,并利用正交Procrustes对齐解决因子矩阵的旋转非唯一性(gauge ambiguity),从而得到紧凑且数据自适应的矩阵Grassmannian原语与张量Grassmannian原语。理论证明了该原语映射是低秩张量与其原语空间之间的同胚,保证了表示的非退化性与拓扑保真性。在图像、视频及PDE解上的实验表明,DiffATS在实现\(3.9\times\)至\(210\times\)压缩比的同时,取得了优异的无条件与条件生成性能,且无需预训练的深度压缩自编码器。
Zhiming Huang, Bingshan Hu, Jianping Pan
cs.LG
本文针对半bandit(semi-bandit)中带有睡眠臂(sleeping arms)的组合Thompson采样(CTS)问题,首次给出了最坏情况下的regret界。具体地,作者证明了具有Gaussian先验的CTS(CTS-G)的regret上界为\(\tilde{O}(m\sqrt{NT})\),并给出了匹配的下界\(\tilde{\Omega}(m\sqrt{NT})\)。为解决CTS-G在实际中表现不佳的问题,作者提出了CL-SG变体,通过每轮采样一个共享的Gaussian种子来协调各臂的探索,实现了改进的regret界\(\tilde{O}(\sqrt{mNT})\)。该工作解决了该领域长期存在的理论空白,且实验验证了CL-SG的优越性能。
Luoxi Tang et al.
cs.LG cs.AI
本文通过因果结构识别了agentic memory中三类典型的spurious correlations,并构建了相应的benchmark。作者提出CAMEL方法,这是一种即插即用的calibration方法,能在memory的写入和检索阶段减少对spurious patterns的依赖,同时保持或提升clean inputs上的性能。该方法为agentic memory的可靠部署提供了轻量级解决方案,与关键词"agent"高度契合。
Yanlin Long, Yufei Gu, Zeke Xie
cs.LG
本文针对Muon优化器在极端高维非凸landscape中逃离saddle point的动力学进行了理论分析。通过扩展generalized matrix perturbation theory并引入resolvent functional calculus与macroscopic Cauchy contour integration,作者严格证明了Muon能够通过non-linear spectral shaping mechanism避免AdamW等element-wise自适应优化器所面临的\(\mathcal{O}(D)\)维度诅咒。该工作建立了structural incoherence对orthogonal drift的屏蔽机制,从而在足够spectral gap下实现deterministic \(\mathcal{O}(1)\) discrete ballistic ejection,最终给出了一个代数意义上dimension-free的escape bound。这一理论框架为理解Muon在LLM pretraining中的非凸优化优势提供了严格的数学基础,与关键词中的Muon和spectral高度契合。
Yash Vishe et al.
cs.LG cs.AI
本文提出Skill-R1,一种基于Reinforcement Learning的agent skill演化框架。它通过训练一个轻量级的skill generator,在保持task LLM冻结的情况下,利用可验证奖励对skill进行实例级别的循环优化。该方法引入bi-level group-relative policy optimization目标,结合intra-generation和inter-generation优势,实现了skill的方向性演化而非一次性自我改进。该工作为agent skill的自动化优化提供了开创性方法,与关键词“agent”高度契合。
Riccardo Porcedda et al.
cs.LG cs.AI cs.SI
本文提出了一种名为RAwR的角色感知重连框架,通过近似公平划分(Approximate Equitable Partition)将输入图增强为商图(quotient graph),以加速具有相同Weisfeiler-Leman图着色所标识的结构角色的节点间的通信,从而降低系统的总有效电阻(total effective resistance)。该方法通过可控地压缩商图,在最紧凑状态下恢复传统的Master Node重连技术,并在同质性、异质性和合成长程数据集上取得了最先进的结果。此外,作者通过线性GNN的teacher-student模型进行理论分析,提出了Spectral Role Lift (SRL)指标,用于选择最优的近似公平划分以最大化预测性能。该工作与关键词中的“spectral”和“attention”高度契合,因为其核心依赖于谱图理论中的有效电阻和角色划分,且重连机制本质上是一种结构注意力增强。
Daniel Wolfson, Tal Wagner
cs.LG cs.DS
本文提出了一种名为Positional LSH的新方法,将带有线性偏置的注意力机制(ALiBi)与局部敏感哈希(LSH)联系起来。作者证明ALiBi偏置矩阵可以表示为由“positional LSH”方案诱导的连续块对角二元掩码的期望,并给出了该方案下采样掩码的spectral norm和max-norm近似保证。这一结构定理意味着ALiBi偏置的attention可以在近线性时间内通过随机化的短上下文常规attention操作来高效近似,从而为长上下文处理提供了理论支持。该工作统一了positional bias、masks和positional embeddings的框架,并验证了在大语言模型上的有效性。
Teng Cao et al.
cs.LG
Kintsugi提出了一种白盒策略学习框架,将具身智能体的策略改进视为通过验证器门控构建可执行的typed Knowledge Base (KB)。该方法将任务级策略知识表示为可组合的typed entries(如predicates, operators, policy schemas等),并通过工具约束的agentic editing loop从rollout证据中定位失败并生成局部typed edits,最终由确定性符号执行器在推理时零LLM调用地执行KB。该工作为agent领域提供了可检查、可局部编辑且可验证部署的策略学习范式,与关键词“agent”高度契合。
Xianhe Chen, Hao Chen, Yingzhen Li
cs.LG cs.AI
本文提出Spectral Transformer Neural Processes (STNPs),通过在Transformer Neural Processes (TNPs)中引入Spectral Aggregator模块,估计经验context spectrum并压缩为spectral mixture,采样task-adaptive spectral features后与time-domain embeddings拼接,从而注入spectral-mixture-kernel bias。该方法重塑了相似性几何结构,使Euclidean空间中距离较远的输入在诱导的periodic manifold上保持接近,同时增强了时频交互。实验表明,STNPs在合成回归、真实时间序列和图像数据集上持续优于现有baseline,将Neural Processes从平移等变性扩展到对周期性和准周期性的有效建模。
Ngoc Bui et al.
cs.LG
本文提出了一种基于全局保留的KV Cache驱逐方法,通过学习每个token的未来效用(future utility)来在统一内存预算下进行选择性驱逐。该方法通过轻量级保留门(retention gates)为缓存条目分配效用分数,并利用共享的最终评分投影(final scoring projection)跨所有层和头校准这些分数,从而允许不同层、头和模态的token直接竞争缓存容量。理论分析表明,优先保留有用token可减少注意力稀释(attention dilution),而几何保留(geometric retention)可作为查询无关的未来效用代理。实验证明,该方法在长上下文语言和视觉-语言推理及多轮对话基准上,显著减少KV内存的同时匹配或超越了全缓存推理性能,表明学习型全局校准的KV驱逐不仅是压缩技术,更是改进长上下文推理的机制。
Emile Anand et al.
cs.LG cs.AI
本文提出在Transformer架构中引入连续latent context tokens,使得模型能够高效实现在线学习算法。作者通过显式构造证明了常数深度Transformer可以用少量latent context tokens存储算法状态(如加权多数算法和Q-learning的线性组合特征嵌入),从而在长序列在线决策任务中实现自适应。实验表明,使用多课程目标训练的GPT-2风格小模型在合成在线预测序列上超越了Qwen-3-14B和DeepSeek-V3等更大更复杂的LLM,为Transformer在agent场景下的在线学习提供了简洁有效的持久状态机制。
Xuexiang Wen et al.
cs.LG cs.AI
本文提出了一种无需外部验证器的强化学习方法VIGOR,用于大语言模型的后训练。该方法利用策略模型自身的teacher-forced negative log-likelihood梯度的\(\ell_2\)范数作为内在奖励信号,通过\(\sqrt{T}\)缩放校正长度偏差,并采用组内排名整形稳定奖励尺度。在数学推理基准上,VIGOR超越了现有的Reinforcement Learning from Internal Feedback (RLIF)基线,并展现出从数学数据到代码基准的跨领域迁移能力,例如在Qwen2.5-7B-Base上平均数学准确率提升+3.31%,平均代码准确率提升+1.91%。该方法与关键词中的“code”和“agent”概念较为契合,因为其奖励设计不依赖外部验证器,可视为一种自监督的agent训练范式,且实验验证了其在代码任务上的迁移效果。
Dario Vajda
cs.LG
本文提出Graph Transformer Language Model (GTLM),一种将图结构信息直接注入pretrained LLM attention模块的架构,仅引入0.015%的额外参数。该方法通过双向attention prefix保持node permutation equivariance并实现与预训练模型的向后兼容,理论上证明了其可隐式模拟message passing。实验表明,1B参数的GTLM在Text-Attributed Graph基准上匹配或超越7B参数SOTA模型,并在GraphQA任务上显著领先,为GraphRAG和relational deep learning提供了可扩展的基础。
Hengrui Zhang et al.
cs.LG math.OC
本文提出BROS,一种内存高效的单循环bilevel optimization方法。该方法通过在随机子空间中进行lower和auxiliary updates,并引入Rademacher双探针校正来恢复无偏的Hessian-action估计器,从而在仅使用标准假设下,达到了与精确单循环方法相同的\(\mathcal O(\varepsilon^{-2})\)样本复杂度。实验表明,BROS在超数据清洗、数据混合学习等任务中,可将峰值内存降低高达44.9%,同时性能与全空间基线方法相当。
Shogo Iwazaki
cs.LG
本文针对对抗性环境下的kernelized bandits(高斯过程bandits)问题,证明了exponential-weight算法能够实现\(\tilde{O}(\sqrt{T \gamma_T})\)的对抗性regret,其中\(T\)为总轮数,\(\gamma_T\)为最大信息增益。对于squared exponential (SE)和\(\nu\)-Matérn核,作者还给出了算法无关的下界,证明了该算法在polylogarithmic因子意义下的最优性。此外,通过引入Nyström近似,本文提出了一个计算高效的变体算法,同时保持了近乎最优的regret保证。该工作为对抗性核化bandits问题提供了首个近乎最优的算法,具有重要的理论意义。
Yao Lu et al.
cs.LG cs.AI cs.CL math.NA math.OC
PowerStep提出了一种基于\(\ell_p\)-norm steepest descent原理的内存高效自适应优化器,通过直接对momentum buffer施加非线性变换实现坐标级自适应性,无需存储二阶矩统计量。该方法在非凸随机优化中达到最优\(O(1/\sqrt{T})\)收敛率,并在124M至235B参数的Transformer模型上验证了与Adam相当的收敛速度,同时将优化器内存减半。结合int8量化时,PowerStep保持数值稳定性,相比全精度Adam实现约8倍内存压缩,为大规模训练提供了原则性且资源高效的替代方案。
Xuxiang Zhao, Angelica I. Aviles-Rivero
cs.LG math.FA math.NA
本文提出ABLE框架,通过学习数据依赖的spectral representation替代传统固定基函数,用于偏微分方程(PDE)学习。ABLE利用学习到的ancillary density构建空间自适应的Parseval frame,在保持可逆性的同时将算子作用提升到spectral space,并通过FFT实现\(O(N\log N)\)复杂度。该方法作为spectral layers的即插即用替代,能更高效捕捉局部结构和非平移不变交互,在sharp gradients和multiscale behavior场景下显著提升精度,揭示了representation的数据驱动选择是neural operator设计的关键瓶颈。
Haoren Xu, Guanhua Fang
cs.LG
本文提出了一种统一的视角,将Transformer中的in-context learning (ICL) 和重复生成现象解释为attention机制的协方差读出(covariance readout)结果。在平稳、遍历和椭圆输入假设下,softmax attention的输出几乎必然收敛到输入协方差矩阵\(\Sigma\)的线性函数,即\(\Theta_V\Sigma\Theta_K^{\top}\Theta_Q x_t\)。这一发现表明,单个softmax head可以实现一步群体梯度下降(population gradient descent),而堆叠多个head并配合残差连接则能迭代执行多步梯度下降,从而为ICL提供了理论基础。同时,该读出机制在深层Transformer中会导致自回归生成以\(1/t\)速率退化为仅依赖当前token的一阶Markov链,其吸引子轨道从结构上解释了重复生成和模式崩溃现象。
Xingyu Qu, Peigeng Huang, Samuel Horvath
cs.LG
本文研究了Muon优化器在微调Adam预训练模型时出现的优化器不匹配问题。通过控制实验,作者发现这种不匹配会破坏预训练知识,且破坏程度与更新强度相关。基于此,他们提出使用LoRA来约束更新,从而有效缓解性能下降,并在语言和视觉任务上验证了这一方法。该工作为理解优化器不匹配对微调的影响提供了新见解,并提出了实用的缓解策略,与关键词中的Muon和pretrain高度契合。
Weizhou Wang, Jonathan Weare, Aaron R. Dinner
cs.LG cond-mat.stat-mech
本文提出Generative Gibbs for Physics-Aware Sampling (GG-PA),一种无需重新训练的框架,通过将扩散模型学习的partial priors与显式物理context组合,在增广状态空间上构建联合目标分布并进行Gibbs采样。作者证明在diffusion time趋于零时该采样器渐近精确,且在二次相互作用情形下有限时间也保持精确,并引入replica exchange over diffusion time加速混合。该方法在双势阱、\(\phi^4\) lattice模型和原子肽系统上验证了其能恢复context诱导的分布偏移和涌现集体行为,为结合pretrained generative priors与显式物理context提供了实用途径。
Venugopalan Iyengar
cs.LG
本文提出BCJR-QAT,一种用于Trellis编码权重量化的可微松弛方法。该方法用BCJR前向后向和积算法替代不可微的Viterbi argmax,在温度\(T\)下产生软码字,等价于Trellis路径上的Boltzmann期望,并在\(T \to 0\)时恢复硬QTIP码。作者贡献了融合Triton内核实现单GPU高效计算、定量漂移预算理论解释BCJR-QAT如何逃离QTIP-PTQ的Voronoi盆地,并在Llama-3.2-1B的2 bpw端到端前向KL蒸馏中取得优于QTIP-PTQ的困惑度结果。该方法为低比特量化训练提供了开创性的可微框架,与关键词“code”高度契合。
Francis Bach
cs.LG math.OC math.ST
本文提出了一种用于线性参数化概率模型(包括未归一化和条件模型)中相对log-density估计的闭式谱框架。通过将Kullback-Leibler (KL)散度表示为加权chi-squared散度的积分,作者将KL估计转化为一系列最小二乘问题,并基于一阶和二阶特征矩推导出显式的谱公式,从而得到散度和log-density势的闭式估计量。该框架可推广至广泛的f-散度类,并能与核方法或神经网络特征学习结合,同时提供了收敛性保证。
Igor Slinko et al.
cs.LG cs.AI cs.CL cs.SE
本文提出Step Rejection Fine-Tuning (SRFT),一种针对LLM agent训练中部分正确轨迹的利用方法。与标准Rejection Fine-Tuning (RFT)直接丢弃未完全成功的trajectory不同,SRFT使用critic LLM评估每个step的正确性,在训练时仅对错误step进行loss masking(保留其在context window中但不计算损失),从而让模型学习从错误中恢复而非复现错误。在SWE-bench Verified上的实验表明,SRFT将resolution rate提升3.7%(达到32.2%),优于RFT的2.4%提升,为agent训练中利用失败轨迹提供了实用方案。
Byeongchan Kim et al.
cs.LG
本文提出了一类新的高效attention机制RelFlexformers,通过将任意可积的3D相对位置编码(RPE)方法集成到Transformer中,并利用非均匀傅里叶变换(NU-FFT)将注意力计算的时间复杂度降低至\(O(L \log L)\)。该方法将现有结构化RPE-attention方法推广到非结构化异构场景(如点云中任意分布的token位置),在多个3D数据集上的实验验证了其性能提升。该工作与关键词中的attention高度契合,并为3D Transformer的RPE集成提供了开创性的高效解决方案。
Guillem Capellera et al.
cs.LG cs.CV
本文提出U2Diffine和U2Diff,一种基于heteroscedastic diffusion的统一模型,用于multi-agent trajectory completion和forecasting。通过augment denoising loss with negative log-likelihood并利用first-order Taylor approximation将latent space uncertainty传播到real state space,模型能够提供state-wise heteroscedastic uncertainty estimates。此外,引入Rank Neural Network (RankNN)实现error probability estimation for each generated mode,在多个sports datasets上超越state-of-the-art方法。该工作为agent trajectory modeling中的uncertainty quantification提供了新思路。
Barbara Su, Fangshuo Liao, Anastasios Kyrillidis
cs.LG
AdaPaD提出了一种自适应并行deflation方法用于PEFT,通过让所有rank-1分量同时训练并利用self-correcting机制(即deflation误差随轮次收敛至零而非固定残留),解决了LoRA中rank选择需预先设定的问题。该方法在backbone上增加了advance learning和per-module动态rank发现,使得rank分布成为输出而非输入,并证明了每个分量误差在预热期后呈指数衰减。实验表明,在GLUE和SQuAD任务上,AdaPaD在匹配参数预算时与自适应rank LoRA基线相当,且部署的adapter平均缩小30.7%。
Kai Lion et al.
cs.LG
本文提出Muown优化器,作为Muon的替代方案。通过将weight matrix的spectral norm分解为row-magnitude factor和row-coherence factor,作者发现Muon训练中spectral norm的漂移主要由row-magnitude驱动。Muown将row-magnitude向量作为显式优化变量,在\(\ell_\infty\)几何下更新,同时对剩余方向分量保持Muon不变。理论证明Muown在deterministic和stochastic regime下均能达到最优非凸收敛率,且在GPT-style pretraining(124M至2.7B参数)中,Muown在perplexity上优于Muon、SOAP、AdamW和Lion,并降低了对weight decay的敏感性。
Avik Kar et al.
cs.LG cs.AI
本文针对非马尔可夫决策过程(NMDP)中的强化学习问题,提出了一种奖励驱动的Agent State-Markov (ASM)策略框架,该框架联合优化agent state dynamics(智能体状态动态)和控制策略以最大化期望累积奖励。作者建立了ASM策略的策略梯度定理,将经典策略梯度结果从Markovian setting推广到episodic和infinite-horizon discounted NMDPs,并基于此提出了Agent State-Markov Policy Gradient (ASMPG)算法。该算法利用agent state dynamics的递归结构实现高效优化,并给出了有限时间和几乎必然收敛性保证。实验表明,在多种非马尔可夫任务中,ASMPG优于通过预测目标学习状态表示的基线方法,这与关键词"agent"和"context"(非马尔可夫依赖的上下文)高度契合。
Usman A. Khan, Joseph W. Durham
cs.LG cs.MA cs.RO
本文提出将匿名多智能体路径规划(MAPF)问题转化为一类具有Markov结构的多边际最优传输(MMOT)问题,并证明该指数级复杂的MMOT可坍缩为一个多项式规模的线性规划(LP)。作者建立了该LP可行且全幺模(total unimodular)的条件,从而得到空间和时间上不重叠的整数\(\{0,1\}\)最优传输解。为适应大规模问题,文章进一步通过Schrödinger桥将MAPF-MMOT置于概率框架下,利用熵正则化导出迭代Sinkhorn型求解,并以得到的分数传输作为模板简化原LP,实现了近最优整数传输与显著的计算复杂度降低。该方法在匿名MAPF问题上兼具最优性与可扩展性,与关键词中的agent问题高度契合。
Hao Yu
cs.LG cs.AI math.ST
本文提出了Pair-GRPO系列方法,包括Soft-Pair-GRPO和Hard-Pair-GRPO,用于改进基于人类偏好的强化学习(RLHF)中的策略对齐。该方法通过理论证明和实验验证,在LLM对齐和连续控制任务中提升了训练稳定性和对齐质量,但未涉及关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念。
Mahdi Erfanian et al.
cs.LG cs.AI
本文提出了Delulu,一个用于代码补全任务中幻觉检测的多语言基准测试,包含1951个样本和4种幻觉类型。通过对抗性流程和人工审核构建,评估了多个开源模型,发现最强模型准确率仅84.5%,表明该任务具有内在难度。
Milad Yazdani, Shahriar Shalileh, Dena Shahriari
cs.LG
本文提出RL-Kirigami框架,将最优传输条件流匹配与强化学习结合,用于可重构平行四边形四边剪纸结构的逆向设计。该方法通过marching decoder保证全局几何兼容性,并利用GRPO优化生成器,在满足硬几何约束的同时实现了高精度的形状匹配。
Claudio Meggio, Johan Pensar, Riccardo De Bin
cs.LG stat.ML
PathBoost提出了一种基于路径的梯度提升方法用于图级别分类与回归,通过从输入图结构中学习判别性路径特征,并在多个基准数据集上与图神经网络和图核方法进行了比较。该方法在部分数据集上表现更好,但整体上未展现出显著的开创性或与关键词的紧密契合。
Vanya Aziz, Ivo Nowak, E.M.T Hendrix
cs.LG
本文提出了一种基于Cramér距离的分布强化学习算法C-DSAC,通过最小化平方Cramér距离来学习状态-动作值的分布,并在机器人控制任务中优于SAC等基线方法。其性能提升部分归因于置信度驱动的Q值更新机制,即高方差目标分布会导致更保守的模型更新。
Jesse Ward-Bond et al.
cs.LG cond-mat.mtrl-sci physics.flu-dyn
本文使用深度学习模型预测微流控设备中的惯性升力,提出了一种不依赖显式几何参数的新方法,通过新参数集训练的神经网络在未见过的通道几何上具有更好的泛化能力。
Dario Coscia, Sindy Löwe, Max Welling
cs.LG cs.AI
BaLoRA提出了一种贝叶斯扩展的低秩适应方法,通过输入自适应的贝叶斯参数化来为LoRA矩阵添加噪声注入,从而在保持计算效率的同时提供不确定性估计。该方法在自然语言推理和视觉任务上缩小了与全微调的精度差距,并在金属有机框架的带隙预测中展示了优于集成LoRA模型的零样本不确定性估计能力。
Omar Faruque et al.
cs.LG cs.AI stat.ME
本文提出TTCD框架,利用Transformer和非平稳特征学习器从非平稳时间序列中推断因果关系,通过重构引导的因果信号蒸馏来减少噪声和虚假相关。实验表明该方法在合成和真实数据集上优于现有基线。
Yaw Osei Adjei
cs.LG cs.CV
本文评估了Prithvi-EO-1.0-100M和ViT-Base等geospatial foundation model embeddings在跨国家小农玉米产量预测中的泛化能力,发现所有特征集在留一国家交叉验证下均表现不佳(R^2为负),且frozen embeddings相比传统spectral特征无优势。
Paolo D'Alberto
cs.LG cs.IT cs.MS
本文分析了三种KV cache量化方案(KV, KQV, QKQV)在固定比特预算下的统计性能,通过Beta分布和Jensen不等式解释了量化对softmax的影响,并给出了KL散度等指标上的经验结果。
Amman Yusuf, Zhejun Jiang, Mijung Park
cs.LG cs.AI
本文提出Safety-Aware Denoiser (SAD)框架,通过在文本扩散模型的迭代去噪过程中引导样本向安全区域移动,以控制生成文本的安全性。该方法无需重新训练模型,在保持生成质量的同时减少了不安全输出。
Yongzhong Xu
cs.LG cs.AI
本文通过实验验证了Tian (2025)提出的repulsion theorem在grokking现象中的可观测性,发现特征排斥的符号规则在激活函数为\(x^2\)和ReLU时均成立,但参数更新的spectral signature(谱特征)强烈依赖于激活函数,导致结构-机制分离。
Dylan Forde
cs.LG cs.CL
本文研究长上下文balanced entropic optimal transport (OT) attention在TPU硬件上的实现,通过固定深度的tail-refinement surrogate进行精确微分,并形式化了dustbin_block路径。该方法在合成问题上与精确autodiff匹配,并在Pfam任务上展示了训练可行性。
Jiaxin Qi et al.
cs.LG cs.AI
本文针对单细胞Foundation Models (scFMs)在Gene Regulatory Network (GRN)推断中表现不佳的问题,提出了Virtual Value Perturbation和Gradient Trajectory两种方法,以从scFMs中提取隐式调控信息。实验表明该方法在泛化基准上优于现有方法,但未涉及关键词中的code, context, spectral, Muon, agent, attention等概念。
Chao Tang et al.
cs.LG
本文提出了一种新的任务Customized Multimodal Role-Play (CMRP),并构建了RoleScape-20数据集。作者设计了UniCharacter两阶段训练框架,通过Unified Supervised Finetuning和Character-GRPO实现少样本的角色定制,但该方法与关键词中的code, context, spectral, Muon, pretrain, agent, attention均无直接关联。
Reda Belaiche
cs.LG
本文提出了一种名为Additive Atomic Forests的框架,用于从数据中同时符号恢复函数及其反导数。该框架通过导数代数(product rule和chain rule)从初等函数种子集自构建函数-导数对库,并利用EML和SOL两种原语生成核心原子,最终通过有限和树结构拟合数据。
Yue Mao et al.
cs.LG
本文研究了交互式逆强化学习(IIRL)问题,将其建模为随机双层优化问题,并提出双循环算法BISIRL来求解。该方法通过内循环学习奖励函数、外循环学习交互策略,实现了与专家的主动交互。
Natalia Frumkin et al.
cs.LG cs.AI
本文发现Diffusion Large Language Models (dLLMs)中双向self-attention存在token-wise redundancy(token间的激活高度相关),并据此提出DARE方法,包含DARE-KV(复用key-value缓存)和DARE-O(复用输出激活)两种机制,以减少冗余计算。实验表明该方法能在推理时降低延迟且对性能影响很小,但方法本身并非开创性突破,且与关键词契合度不高。
Yoshimasa Kubo
cs.LG
本文研究了将dendritic neural networks与equilibrium propagation (EP)相结合的方法,在MNIST等数据集上验证了其性能。结果表明,dendritic EP在较难任务和深层模型中优于标准EP,并接近backpropagation训练的效果。
Plawan Kumar Rath, Rahul Maliakkal
cs.LG cs.AI cs.CY
本文研究了三种剪枝方法(Random, Magnitude, Wanda)在不同稀疏度下对三个指令微调LLM的偏见影响,发现激活感知剪枝(Wanda)虽能保持perplexity,但会显著放大偏见,且非结构化剪枝在边缘硬件上无法节省存储或降低延迟。
Zhichao Shi et al.
cs.LG
本文提出了DataArc-SynData-Toolkit,一个用于多路径、多模态和多语言数据合成的统一闭环框架,通过配置驱动的端到端流水线和模块化架构,降低了合成数据生成的技术门槛。该工具在生成效率和数据质量之间取得了平衡,但方法本身在理论或算法上缺乏显著的开创性。
Yanbiao Ma et al.
cs.LG cs.CL cs.CV
本文通过分析大语言模型推理过程中内部表征的演化,发现推理动态会自组织成低维流形,并指出有效推理需要满足表征充分性、流形压缩和子空间信息量保持三个条件,最终提出了一种无需标签的诊断方法。
Yuan Fang, Yi Xie, Xuming Ran
cs.LG cs.AI
HoReN提出了一种基于codebook的参数保留式模型编辑方法,通过将MLP层包装为离散键值codebook并利用现代Hopfield网络的吸引子动力学来增强检索。该方法将键和查询投影到单位超球面上以消除幅度失配,并通过阻尼Hopfield动力学细化查询,使改写后的输入落入正确存储模式的吸引域。实验表明该方法在多种基准上表现良好,并能扩展到50K次顺序编辑。
Fang Wu et al.
cs.LG cs.AI cs.CV
本文提出NoiseRater,一个元学习框架,用于在diffusion model训练中对噪声实例进行重要性评分。通过双层优化训练一个参数化的噪声评估器,实现对训练目标的自适应加权,从而提升训练效率和生成质量。
Harshavardhan
cs.LG cs.CL
本文研究了Sparse Autoencoder (SAE) 中特征之间的负相关关系(Feature Rivalry),并探讨了其作为大语言模型不确定性机制性标志的可能性。通过在Gemma-2-2B模型上的实验,作者发现高熵问题会引发更强的特征竞争,且这种竞争对模型输出具有因果影响。
Jonathan Bates
cs.LG
本文介绍了一个PyTorch库,该库能从Turing machine描述中编译出无需训练的神经网络模型,实现了两种架构:基于Wei, Chen, and Ma (2021)的transformer和基于Siegelmann and Sontag (1995)的recurrent network。该工作为symbolic-neural bridge提供了可运行的参考实现。
Chuwen Pang, Bing Mi, Kongyang Chen
cs.LG cs.GT
本文针对时间序列数据,提出了一种基于时间衰减机制的Shapley值数据估值方法(TDS及其变体),通过引入指数衰减权重和多尺度融合策略来捕捉样本价值的时变特性,实验表明其在噪声检测和高价值数据识别任务中优于传统方法。
Nicole Hao
cs.LG math.FA
本文为neural operator在Sobolev空间中的逼近性质建立了理论框架,证明了连续非线性算子可以被neural operator以特定误差率逼近,并通过Burgers方程的数值实验验证了理论预测的标度律。
Lurong Pan
cs.LG cs.AI
本文提出了一种基于Communication Dynamics (CD)框架的CDLinear层,该层使用块循环矩阵结构,其Hessian矩阵可被离散傅里叶变换对角化,并在输入预白化下达到条件数1。实验表明,在参数减少3.8倍的情况下,CD-MLP的测试精度与密集MLP相当,且Hessian条件数降低了310倍。
Jingze Ge et al.
cs.LG cs.AI cs.CV
本文提出CERSA方法,利用singular value decomposition保留主成分(90%-95%的spectral energy)进行低秩微调,在图像识别、文本生成等任务上以更低内存消耗超越LoRA等现有PEFT方法。该方法主要关注内存效率优化,与关键词中的spectral概念有一定关联但创新性有限。
Raul Felipe-Sosa, Angel Martin del Rey, Maria Flores Ceballos
cs.LG cs.NE
本文提出了一种名为Dynamical Physics-Modeled Neural Networks (DynPMNNs)的连续时间深度学习架构,其隐藏层被定义为ODE的解,并基于Reproducing Kernel Banach Spaces (RKBSs)进行理论分析。通过在California Housing数据集上的实验,该模型在参数更少的情况下取得了与Neural ODEs和CfCs相当的竞争力。
Yihang Peng et al.
cs.LG cs.AI
本文提出Echo-LoRA,一种通过跨层表示注入(cross-layer representation injection)实现参数高效微调的方法,在训练时收集深层隐藏状态并注入浅层LoRA/DoRA模块,以提升下游任务性能,但该方法与关键词中的概念关联较弱。
Zhongzheng Yuan et al.
cs.LG cs.AI
本文针对联邦图学习中的广义类别发现问题,提出了GCD-FGL框架,通过客户端拓扑可靠语义对齐与发现过程以及服务器端层次原型对齐策略,解决了邻域吸收效应和全局语义不一致性问题。实验表明该方法在多个数据集上优于现有基线。
Zhaofan Zhang et al.
cs.LG cs.AI
本文提出了一种基于Wasserstein分布鲁棒性的量化几何正则化方法RQIQN,用于改进量化分布强化学习中目标量化值可能导致的分布估计失真问题。该方法通过为每个局部量化估计引入闭式修正项,在不改变底层价值目标的前提下正则化量化几何结构,并在风险敏感导航和Atari游戏中取得了优于现有方法的性能。
Ayoosh Bansal et al.
cs.LG eess.SY
本文提出Synergistic Simplex (SS)架构,通过允许安全监控器使用机器学习组件的输出来提升安全关键自主系统的性能,同时保持形式化安全保证。该工作主要针对自动驾驶中的障碍物检测问题,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Mergen Nachin et al.
cs.LG
ExecuTorch是一个统一的PyTorch原生部署框架,用于在边缘设备上本地执行AI模型,支持从微控制器到复杂SoC的异构计算环境。它保留了PyTorch语义并支持量化等优化,但与关键词列表中的概念关联较弱。
Serafim Batzoglou
cs.LG cs.AI
本文提出了ReplaySCM基准,用于评估从有限干预证据中归纳可执行因果机制的能力,通过重放行为而非公式字符串进行评分,并测试了不同结构信息设置下LLM的表现。该工作主要关注因果推理基准构建,与关键词列表中的主题关联较弱。
Farjana Yesmin
cs.LG cs.AI cs.CY
FairHealth是一个开源的Python库,为低资源环境下的可信医疗AI提供统一框架,包含联邦学习、公平性审计和可解释性等模块。该库整合了多个已发表的研究成果,但未涉及spectral、Muon或agent等关键词相关方法。
Sparsh Tiwari, Bettina Finzel, Gesina Schwalbe
cs.LG cs.AI cs.CV
本文提出了一种弱监督方案,用于在面向对象的视觉推理任务中为感知阶段输出符号进行grounding。该方法结合了基于slot的架构和Variational Autoencoder (VAE),通过自监督和概念引导来减少对标签的依赖,并能在仅1%标签的情况下发现复杂规则。
Qingjun Wang et al.
cs.LG cs.AI
本文提出DOSER框架,利用两个diffusion model的single-step denoising reconstruction error作为OOD indicator,在offline RL中区分有益与有害的OOD action,并选择性地抑制风险action。理论证明了该方法的\(\gamma\)-contraction性质及渐近性能保证,实验表明其在suboptimal dataset上优于现有方法。
Boyu Shi et al.
cs.LG
本文提出LSAMD方法,通过构建可搜索的超网络并在多个数据集上训练,提取被频繁选中的基础块作为learngenes,用于初始化不同大小的模型。该方法在多个数据集上取得了与预训练-微调方法相当的性能,同时显著降低了存储和训练成本。
Anamaria Hell, Leander Thiele
cs.LG cs.CL gr-qc hep-th
本文探讨了将Large Language Model (LLM)与计算机代数系统Maple结合,通过in-context learning处理理论物理中的算法计算任务,并展示了其在修改引力理论中的宇宙学扰动问题上的能力与局限性。
Rishi Ahuja et al.
cs.LG cs.IR
本文通过实验发现,在时间序列预测中,增加输入context长度反而会降低模型性能(逆缩放定律),并提出了Retrieval-Augmented Forecasting (RAFT)方法,通过选择性检索相关历史片段作为动态外生变量,在降低计算量的同时提升了预测精度。
Adam Szokalski, Mateusz Modrzejewski
cs.LG cs.CV
本文提出了一种用于潜在扩散模型的机制可解释性技术LVO,通过稀疏自编码器将多语义层表示解耦为单语义特征,并展示了在Stable Diffusion上的可视化效果。该方法与关键词列表中的概念关联较弱。
Michael Jerge, David Evans
cs.LG cs.AI
NoisyCoconut通过在推理时向LLM的latent trajectory注入噪声来生成多样化的推理路径,并利用路径间的一致性作为置信度信号,使模型在不确定时能够选择弃权。该方法无需重新训练或修改模型参数,在多个推理benchmark上实现了有效的coverage-accuracy权衡。
Evelyn Trautmann et al.
cs.LG
本文提出了一个模拟联邦分析框架,用于多发性硬化症(MS)患者数据的图像分割和临床分析任务,并采用了联邦生存分析和联邦PCA方法。该框架通过构建高保真合成队列和真实数据集来模拟真实联邦工作流,为联邦学习方法提供了测试平台。
Kabi Raj Tiruwa, Abhisan Ghimire, Anuj Kumar Shah
cs.LG stat.AP
本文使用XGBoost和SHAP方法分析了美国县级芬太尼过量死亡的社会决定因素,发现残疾率、高血压、吸烟和缺乏车辆是主要预测因子,并识别出治疗荒漠县和沉默风险县。该研究主要关注公共卫生领域,与关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念无直接关联。
Chang Meng et al.
cs.LG cs.AI cs.AR
本文提出TRAM方法,通过联合优化近似乘法器结构和AI模型参数来降低功耗。实验表明该方法在CNN和视觉Transformer上分别实现了最高25.05%和27.09%的功耗降低。
Saghar Zolfaghari et al.
cs.LG physics.comp-ph physics.flu-dyn
本文提出了一种层次化多保真神经网络框架(MuFiNNs),通过整合稀疏的高保真实验数据与低保真趋势模型,预测湍流预混火焰的三维皱褶动力学和湍流燃烧速度。该方法在数据有限条件下实现了对未见过工况的插值与外推,但与我提供的关键词列表无直接关联。
Ruijie Zhang et al.
cs.LG cs.AI
本文提出了一种固定合约诊断方法,用于分析非单调缓存压缩中KV驱逐策略的失败原因。该方法通过逐槽替换决策来分离支持恢复、输出值排序和边界杠杆效应,实验表明该诊断能有效识别不同阶段的失败模式。
Ziyue Wang, Yufeng Ying, Takafumi Kanamori
cs.LG stat.ML
本文提出了一种基于Hankel dynamic mode decomposition (DMD)的分布谱诊断方法,用于在Transformer训练中定位grokking转变(模型先过拟合后泛化的现象)的发生时刻。该方法将任务相关的可观测变量映射为Wasserstein/quantile坐标,通过DMD重构残差和谱特征进行诊断,在模加法任务上实现了约0.93的AUROC。
Boyang Xu et al.
cs.LG cs.AI
本文提出Path-Coupled Bellman Flows (PCBF),一种基于flow matching的连续时间分布强化学习方法,通过源一致的Bellman耦合路径和共享基噪声来学习return分布,并引入\(\lambda\)参数化的控制变量目标以平衡偏差与方差。实验在多个基准上展示了改进的分布保真度和训练稳定性。
Valentino Maiorca et al.
cs.LG cs.AI
本文提出HyperTransport框架,使用hypernetwork将预训练编码器(如CLIP)的embedding直接映射为干预参数,并通过optimal transport loss进行端到端训练。该方法实现了对未见概念的amortized steering,速度比逐概念优化快数千倍,但未涉及code、spectral、Muon或agent等关键词。
Yuchu Liu et al.
cs.LG cond-mat.mtrl-sci cs.AI
本文提出了PolyLM框架,通过仅使用自然语言文本(如合成与加工描述)来预测聚合物性能,无需化学结构输入。该工作构建了大规模文献数据集并微调了9B参数的语言模型,在多个性能预测任务上取得了高精度。
Qianru Zhang et al.
cs.LG cs.AI
本文提出了一种名为SimpleST的轻量级、模型无关的prompt tuning框架,用于提升时空图神经网络在交通预测中的泛化能力。该方法通过固定预训练模型参数并引入高效prompt机制,以较低的计算开销适应新的数据分布。
Fan Yang et al.
cs.LG cs.AI cs.CR
本文提出PRAETORIAN防御方法,通过分析trigger子图的内部相关性和外部节点影响力来检测GNN后门攻击,将平均攻击成功率降至0.55%且干净准确率仅下降0.62%。该方法迫使攻击者在攻击效果和可检测性之间做出不利权衡。
Qixin Xiao, Maani Ghaffari
cs.LG cs.AI
本文提出LaWM框架,通过在视觉潜在空间中操作最小作用量原理来学习预测世界模型。该方法使用潜在变分积分器将物理结构直接编码为潜在状态间的转换规则,从而在长程视觉预测中保持物理一致性。
Lu Bowen et al.
cs.LG cs.AI
本文提出了一种基于Elastic Weight Consolidation (EWC)的自适应方法,用于解决文本到图像(T2I)后门攻击中攻击成功率与模型保真度之间的权衡问题。通过引入余弦感知的自适应调度,该方法在保持高攻击成功率的同时提升了模型保真度,并在域外数据集上表现出更强的鲁棒性。
Xincheng Yao et al.
cs.LG cs.AI cs.CL
本文提出HTPO算法,通过分层token级目标控制来平衡强化学习中的探索与利用,在推理基准上优于DAPO基线。该方法将响应token按功能分组并设计专门优化目标,但未涉及code, context, spectral, Muon, pretrain, agent, attention等关键词。
Bum Jun Kim
cs.LG cs.CE
本文研究了自回归科学预测器中物理约束施加的精确性问题,通过operator exactness(算子精确性)概念分析了修复映射与目标流形的一致性。实验表明,在精确周期边界条件下,Fourier投影能显著提升滚动预测精度,但一旦精确投影不可用,更强的约束施加反而可能恶化误差。
Francesco Bacchiocchi et al.
cs.LG cs.AI
本文研究了在bandit-feedback模型下,带有best-action queries的multi-armed bandits问题。作者证明了在随机且臂间相关的奖励下,任何算法都必须承受\(\Omega(\sqrt{T-k})\)的regret,而在随机且独立同分布的奖励下,可以达到\(\widetilde{\mathcal{O}}(\min\{T/k,\sqrt{T-k}\})\)的regret。
Fan Zhang, Shiming Fan, Hua Wang
cs.LG cs.AI
本文提出MS-FLOW框架,通过稀疏瓶颈机制限制多变量时间序列预测中的跨变量信息流,仅保留关键依赖路径以抑制虚假相关。实验表明该方法在12个基准上达到SOTA精度,但未涉及关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念。
Kalana Kalupahana et al.
cs.LG cs.AI
本文针对鲁棒动态定价问题,设计了一种新的算法,将遗憾上界中关于腐败次数\(C\)和时间\(T\)的依赖解耦,在已知\(C\)时达到\(\mathcal{O}(C+\log T)\)的遗憾,在未知\(C\)时达到\(\mathcal{O}(C+\log^2 T)\)的遗憾。
Hyunmog Kim
cs.LG cs.AI cs.AR
本文从任务对齐的角度分析了图神经网络在电子设计自动化中的应用,指出不同EDA任务(如静态时序分析、布局布线等)需要匹配特定的GNN计算模式(如max-plus/min-plus递归、超图线长惩罚等),并讨论了电路图与通用图的差异及现有方法的局限性。
Gleb Molodtsov, Alexander Miasnikov, Aleksandr Beznosikov
cs.LG cs.AI math.OC
本文提出Hi-MoE,一种分组MoE框架,通过两层路由控制(组间负载均衡与组内专家专业化)来缓解稀疏MoE中负载均衡与专家多样性的权衡。实验表明,该方法在NLP和视觉基准上优于现有基线,并在大规模预训练中降低了困惑度。
Ming Liu
cs.LG cs.AI cs.CL
本文研究了few-shot分类中demonstrated labels对in-context learning的影响,发现同质标签会显著降低模型准确率,并揭示了模型输出受限于demonstrated token inventory的机制。该工作主要关注语言模型的in-context learning行为,与关键词中的code, spectral, Muon, pretrain, agent, attention等方向关联较弱。
Daning Cheng et al.
cs.LG cs.AI
本文通过理论分析研究了归一化残差网络(normalized residual networks)中深度扩展(depth expansion)对测试风险(test risk)的影响,提出了一个包含表示增益、优化增益和泛化迁移的统一框架,并证明了在特定条件下扩展深度可以降低总体风险。该工作为深度学习的scaling behavior提供了理论机制,但与关键词列表中的code, context, spectral, Muon, pretrain, agent, attention等主题关联较弱。
Vasiliki Sideri-Lampretsa et al.
cs.LG cs.AI
本文研究了cohort-trained INRs(隐式神经表示)中共享编码器的可迁移层及其编码内容,发现最优冻结深度与权重稳定秩最高的层一致,并首次使用sparse autoencoders(SAEs)将INR激活分解为稀疏字典原子,揭示了SIREN和FFMLP两种骨干网络学习到的不同字典特性。
Abdulvahap Mutlu, Şengül Doğan, Türker Tuncer
cs.LG cs.AI cs.CL
本文研究了将Manifold-Constrained Hyper-Connections (mHC)方法应用于State Space Model (SSM)语言建模,通过在残差流中引入双随机矩阵约束和流专用适配器,在WikiText-2上取得了困惑度从572.91降至461.88的改进,但该方法主要关注残差混合拓扑的稳定性,与关键词中的code、context、spectral、Muon、pretrain、agent、attention等概念关联较弱。
Aditya Chattopadhyay et al.
cs.LG cs.AI
本文提出Priming方法,通过从预训练Transformer中迁移知识来初始化Hybrid State-Space模型,仅需不到0.5%的预训练token预算即可恢复下游质量。该方法在长上下文推理任务上评估了多种SSM层类型,并展示了其表达能力层次与性能的对应关系。
Wenbin Wei et al.
cs.LG cs.AI
本文提出SGC-RML框架,通过将语音、步态等多模态数据映射到共享的8维症状节点空间,并引入不确定性估计与选择性决策路由,实现了帕金森病在真实世界数字评估中的可靠性与可解释性。该方法在多个数据集上验证了其在分类、回归和纵向预测任务中的有效性。
Hung-Fu Chang, Tzu-Kang Lin, Yung-Li Cheng
cs.LG cs.AI
本文提出了一种基于Graph Neural Network (GNN)的数据驱动框架,将结构系统建模为图(节点为joints,边为structural members),用于预测外部荷载下的structural displacement。实验表明,该GNN方法在精度上优于传统Neural Network,可作为有限元分析的高效替代方案。
Siyu Wu et al.
cs.LG cs.AI cs.CL cs.PF cs.SE
本文提出了LLMSYS-HPOBench,一个针对真实世界LLM系统的超参数优化基准套件,包含大量配置数据和多种目标与成本指标。该工作为AutoML社区提供了评估HPO算法的新平台,但方法本身并非开创性,且与关键词关联较弱。
Guolin Yin et al.
cs.LG cs.AI eess.SP
本文提出了一种基于Transformer的采样率通用神经网络(SRV-NN),用于解决Wi-Fi sensing中可变传输流量模式下的运动识别问题。通过动态采样率增强方法,该方法在不同采样率下表现出稳定的性能。
Xi Wang, Cheng Deng
cs.LG cs.CV
本文分析了在continual learning约束下现有model merging方法的局限性,并提出Trajectory Regularized Merging (TRM)框架,通过将merging阶段重构为augmented trajectory subspace中的优化过程来缓解存储依赖问题。该方法在多个基准上取得了state-of-the-art性能。
Wenhao Wu et al.
cs.LG cs.AI cs.PF
FlashSVD v1.5提出了一个统一的推理运行时系统,用于加速基于SVD低秩压缩的transformer模型。它通过阶段特定的kernel和CUDA-graph重放等技术,解决了压缩模型在预填充和自回归解码阶段因执行路径碎片化导致的加速瓶颈问题。
Rahaf Abu Hara, Vaibbhav Murarri, Claudio Zito
cs.LG
本文提出Reflective Prompted Policy Optimization (R2PO),一种两阶段LLM框架,通过让Critic-LLM基于轨迹级行为证据(而非仅标量奖励)提出针对性修正,来搜索紧凑策略类。实验表明该方法在十个环境中取得了最高平均最佳奖励,并识别出salience bias这一主要失败模式。
Junkai Zhang et al.
cs.LG cs.AI
本文提出RDKV方法,将KV cache压缩视为率失真问题,通过联合优化eviction和quantization来分配比特宽度,以降低大语言模型推理时的内存瓶颈。实验表明该方法在长上下文任务中能显著提升解码速度和减少内存占用。
Lennart Wachowiak et al.
cs.LG cs.AI cs.CY cs.HC cs.MA
本文提出了一种名为"warden"的辅助LLM模型,通过实时监控人机交互来检测并警告用户潜在的操纵行为,实验表明该方法能将对抗性LLM的成功率从65.4%降至30.4%。该工作主要关注LLM安全与用户保护,与关键词中的agent(智能体交互)有一定关联,但方法本身并非开创性突破。
Stepan Kulibaba et al.
cs.LG cs.AI
本文提出SDG-MoE架构,通过在稀疏MoE的active experts之间引入带符号的消息传递(support graph \(A^+\)和critique graph \(A^-\))以及基于分歧的Friedkin-Johnsen锚定机制,实现了专家间的结构化交互。实验表明该方法在多个语言建模基准上提升了验证perplexity,但方法本身更侧重于MoE路由后的专家交互设计,与关键词中的code、spectral、Muon、agent、attention等核心概念关联较弱。
Peiran Yun et al.
cs.LG cs.AI
本文提出了一种名为Neuron Auctions的新范式,将广告拍卖对象从文本空间转移到LLM的内部表示(如FFN神经元),并利用mechanistic interpretability证明品牌相关神经元近似正交。该方法设计了一个连续菜单式拍卖机制,在理论上保证了策略证明性并优化平台收益,同时通过引入用户效用惩罚来平衡商业激励与用户体验。
Fei Xu Yu et al.
cs.LG cs.AI
本文提出DPA-GRPO方法,通过生成器-验证器双智能体博弈训练框架,利用结构化验证干预(如SAC)和配对反事实动作组进行KL正则化策略优化,以提升LLM在结构化决策任务中的局部正确性和全局一致性。实验在TaxCalcBench上验证了该方法相比零样本生成和仅生成器RL基线的改进。
Zehua Jiang et al.
cs.LG cs.CV
本文提出P-Flow框架,通过代理梯度更新源点来稳定基于flow matching的线性逆问题重建过程,避免了长链微分导致的数值不稳定和内存开销。实验表明该方法在极端退化条件下具有竞争力。
Pengzhou Chen, Tao Chen
cs.LG cs.AI cs.CL cs.PF cs.SE
本文提出CDS4RAG框架,通过循环双序列优化策略来优化RAG系统的全部超参数,区分检索器和生成器的超参数并交替优化,在多个基准测试中提升了生成质量。
Lucas Fenaux et al.
cs.LG cs.CR cs.DC
本文提出了一种名为PPHH-VFL的混合架构,用于时间序列数据的垂直联邦推理。该方法将模型头部拆分为高效的明文公共头部和安全的轻量级MPC私有头部,通过对抗训练缓解隐私泄露,在保证安全性的同时显著提升了推理速度和通信效率。
Alec Helbling et al.
cs.LG
本文研究了flow matching模型中时间条件的作用,通过分解损失函数识别出耦合方差和时间盲差两个误差来源,并证明在高维数据几何结构下时间可从噪声观测中恢复,从而解释了时间盲模型有效的原因。
Konstantin Riedl, Konstantinos Spiliopoulos, Justin Sirignano
cs.LG math.PR stat.ML
本文分析了过参数化极限下正则化Newton方法训练神经网络的收敛性,证明了当隐藏单元数趋于无穷时,训练动力学收敛到确定性极限方程,且网络指数级收敛到零损失。该工作主要关注Newton方法的收敛性质,与您提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Mohit Raghavendra et al.
cs.LG cs.SE
本文提出了SWE Atlas基准测试套件,用于评估coding agent在代码库问答、测试编写和重构等专业软件工程任务中的表现,其评估框架结合了程序化检查和基于评分标准的评估。该工作主要关注agent在代码工程中的实际应用,但与我提供的关键词(如spectral, Muon, pretrain, attention)关联度较低。
Ali Syed, Aditya Nambiar, Jonathan W. Siegel
cs.LG stat.ML
本文研究了Deep Sets和Janossy Pooling架构在排列对称性下的universality问题,通过一种新技术证明了embedding dimension的下界。对于Deep Sets,该下界在所有\(d>1\)时与最优值仅差常数因子;对于\(k\)-ary Janossy Pooling,当\(k>1\)时给出了首个非平凡下界。
Guangchen Lan
cs.LG cs.AI cs.CL
本文探讨了强化学习在分布式环境中的可扩展性挑战(如通信效率与异构计算)以及在大语言模型后训练中的可信赖性问题(如人类偏好对齐与隐私安全),通过联邦优化、偏好对齐和上下文安全等四个互补贡献来推进这两个方向。
Annie Marsden, Elad Hazan
cs.LG
本文研究了序列预测中的二阶方法,通过将Universal Sequence Preconditioning (USP)与Vovk-Azoury-Warmuth (VAW)算法结合,证明了在边际稳定线性动力系统中可实现\(O(\log^3 T)\)的polylogarithmic regret,并扩展了USP对非有界谱系统的适用性。
Samuel Hurault, Thomas Moreau, Gabriel Peyré
cs.LG
本文研究了扩散模型采样中离散化误差的几何感知特性,通过推导Euler-Maruyama方法的渐近展开式,揭示了误差如何依赖于数据协方差谱和扩散参数。该工作为参数优化提供了可处理的目标函数,但主要贡献在于理论分析而非方法创新。
Rania Briq et al.
cs.LG cs.CV
本文研究了Latent Flow-Matching (LFM)模型在数据缩减和模型容量缩减下的稳定性,发现其在不同扰动下仍能生成相似输出。作者利用这种稳定性提出了更高效的训练和推理算法,例如在缩减数据集上训练以节省时间,以及采用轻量级和重型模型的两阶段推理以加速生成。
Binghang Lu et al.
cs.LG
本文提出AdamFLIP方法,将PINN训练重新表述为等式约束优化问题,通过将约束残差视为受控动力系统的输出并计算Lagrange乘子作为反馈输入,结合Adam风格的自适应矩估计来优化反馈线性化后的Lagrangian梯度。该方法在多个forward和inverse PDE问题上优于标准soft-constrained PINN和现有约束优化器。
Shengbo Wang, Zexi Zhang
cs.LG math.OC
本文针对分布鲁棒强化学习(DRRL)中的计算挑战,提出了一种基于Kullback-Leibler ambiguity sets下小ambiguity regime的近似框架,并设计了Mean-Variance Stochastic Approximation (MVSA)算法。该算法通过lifted stochastic approximation dynamics和two-time-scale设计实现了单样本更新,并证明了其收敛性及中心极限定理。
Omatharv Bharat Vaidya et al.
cs.LG cs.CL stat.ML
本文提出了一种名为Queryable LoRA的参数高效微调方法,通过引入可查询的共享低秩更新原子记忆库,使模型能根据输入和网络深度动态组合更新,从而在保持低秩适应效率的同时增强灵活性。该方法在非线性回归和大语言模型微调任务上相比标准LoRA提升了测试性能与训练稳定性。
Moritz Piening, Richard Duong, Gabriele Steidl
cs.LG math.OC math.PR
本文提出了一种将Flow Matching推广到概率测度空间上的Wasserstein-on-Wasserstein (WoW)框架,通过嵌套的Wasserstein几何结构,利用测度上的传输计划诱导速度场以实现元测度流。为降低计算成本,作者引入了基于sliced和linear Wasserstein距离的可扩展近似方法。
Benjamin D. Shaffer et al.
cs.LG cs.AI physics.comp-ph
本文提出了一种无网格外微积分(MEEC)方法,用于从点云数据学习保持结构的物理规律,并构建了MEEC-Net模型。该方法通过Schur补求解在\(\varepsilon\)-球图上定义虚拟节点和边测度,实现了离散守恒性,并支持端到端微分,从而在无需网格生成的情况下直接建立几何与物理的联系。
Daniel Wesego, Pedram Rooshenas
cs.LG cs.CV
本文提出了一种基于扩散模型的对抗性净化方法TARO,通过沿扩散轨迹构建多去噪视图的时间引导先验,在粗粒度和细粒度去噪尺度间平衡语义保持与鲁棒性。该方法在零样本设置下提升了多个数据集上的鲁棒准确率,但未涉及关键词中的code、spectral或agent等概念。
Haoyu Hu et al.
cs.LG cs.AI
本文提出DUET方法,通过联合控制rollout分配和长度来优化RLVR训练中的token预算,在GRPO基础上实现加速和性能提升。该方法在数学和编程任务上优于基线,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Pavel Prochazka
cs.LG
本文提出通过直接最小化Bethe free energy来训练Bayesian neural network,而非最大化variational lower bound。该方法在tree-structured factor graphs上精确,并允许在单次梯度传递中联合优化权重、协方差和超参数,在多个UCI基准上取得了与标准方法相当的竞争力。
Maxwell J. Jacobson, Yexiang Xue
cs.LG cs.AI
本文提出ZALT方法,通过识别轨迹中的潜在hub states并构建hub-to-hub transitions的拓扑结构,实现零样本模仿学习。在3D迷宫环境中,该方法在未见任务上达到55%的成功率,远超基线方法的6%。
Linda Friso et al.
cs.LG
RubiConv提出了一种新的卷积算法,用于在打包序列上实现硬件高效且边界感知的卷积操作,解决了标准FFT方法在数据打包场景下的效率问题。实验表明该方法相比attention和标准FFT基线有显著加速,但未直接涉及关键词中的核心概念。
Peter Súkeník et al.
cs.LG cs.AI stat.ML
本文研究了transformer中sink和diagonal patterns在注意力切换和防止过平滑中的作用,分析了sink的几何条件及其与硬注意力切换的等价性,并比较了sink与diagonal patterns的表示成本。
Yuxiang Luo, Andrew Perrault
cs.LG cs.AI
本文提出了一种通过内在微分一致性从离散观测中恢复连续时间动力学的方法,利用半群性质作为全局结构约束来训练时间条件化的secant velocity field。该方法在扩散-反应基准测试中减少了87%的rollout RMSE,并比Neural ODE基线减少了5倍函数评估次数。
Shiyang Li et al.
cs.LG cs.PL cs.SE
本文提出了CUDABEAVER基准,用于评估基于LLM的CUDA程序调试能力,并引入协议条件指标pass@k(M,C,A)以区分真正修复与性能退化。该工作聚焦于CUDA调试领域,与关键词中的code和agent有一定关联,但方法本身并非开创性突破,也未解决长期存在的核心问题。
Jakeb Chouinard
cs.LG q-bio.NC
本文在神经可解释的框架下分析了基于grid cell-like representations的径向基核(radial basis kernels)的实现,证明了此类表示能够且最优地实现径向基核,但方法本身缺乏显著的开创性,且与关键词列表中的概念关联较弱。
Thomas Walker et al.
cs.LG
本文研究了机器学习模型在稀疏数据(即流形假设不适用)下的成功机制,提出了normal alignment(法向对齐)这一几何性质,并证明法向对齐的分类器在范数约束下能最小化训练目标并在非零Jacobian约束下实现最大局部鲁棒性。通过引入GrokAlign正则化策略和Recursive Feature Alignment Machines (RFAMs),展示了该方法能加速训练并提升对抗鲁棒性。
Shiyang Li et al.
cs.LG
本文提出了CUDAHercules基准测试,用于评估大语言模型在CUDA优化方面的能力,发现当前最强模型(如Claude-Opus-4.6)在生成专家级、硬件感知的CUDA代码方面仍存在显著差距,尤其在应用语义验证和优化策略恢复上表现不足。
Yihe Dong, Boris Shigida
cs.LG
本文研究了在固定推理预算下,如何为竞争性编程任务分配推理时计算资源。通过对比基于agent的推理与重复独立采样(k-shot)方法,发现k-shot在准确率-成本和准确率-查询次数的权衡上表现更优,表明在自包含的算法任务中,独立探索优于深度agent推理。
Mohammed Sameer Syed, Xuan Lu
cs.LG cs.CL
本文提出ShifaMind模型,通过Multiplicative Concept Bottleneck (MCB)改变bottleneck形式而非宽度,在保持概念可解释性的同时提升预测性能。该模型在MIMIC-IV ICD-10编码任务上取得与强基线LAAT竞争的性能,并优于多个编码基线。
Hubert Banville et al.
cs.LG q-bio.NC
本文提出了一个名为NeuralBench的统一框架,用于对脑活动AI模型进行benchmarking,并发布了包含36个EEG任务和14种深度学习架构的NeuralBench-EEG v1.0基准。该框架通过标准化接口评估了94个数据集,初步发现当前foundation models仅略微优于任务特定模型,且许多任务仍具挑战性。
Viresh Pati et al.
cs.LG cs.AI cs.LO
本文提出了一个名为MathConstraint的基准测试,用于评估LLM的组合推理能力。它通过结合约束满足问题与求解器验证,并利用自适应生成器创建难度可调的实例,发现前沿模型在该基准上的准确率显著下降,且工具调用预算的减少会大幅影响性能。
Giuseppe Bruno et al.
cs.LG cs.AI math.PR math.ST
本文研究了softmax self-attention在长上下文极限下的缩放行为,通过将inverse temperature \(\beta_n\)作为缩放参数,分析了attention从均匀平均退化为单点集中的临界尺度。对于\(\mathbb{S}^{d-1}\)上的均匀keys,临界尺度为\(\beta_n^\ast \asymp n^{2/(d-1)}\),并刻画了亚临界、临界和超临界三种机制下的attention权重与输出极限律。
Shuyi Chen, Wenbin Zhou, Shixiang Zhu
cs.LG
本文提出了一种决策感知的conformal框架,通过参数化多面体集(polyhedral sets)并最小化鲁棒损失来学习面向鲁棒优化的不确定性集,同时利用conformal校准保证统计有效性。该方法在保持计算可行性的同时,为数据驱动的鲁棒优化提供了有限样本覆盖保证。
Yusuf Syed, Viraj Parimi, Brian Williams
cs.LG
本文提出MoMo,一种偏好条件化的对比规划器,通过Feature-Wise Linear Modulation和低秩神经调制联合学习表示几何和潜在预测算子,使得用户偏好能在推理时连续调节规划保守性,无需重新训练。该方法在多个环境中展示了根据偏好平滑调整计划安全性的能力。
Andreas Maier et al.
cs.LG cs.CV physics.med-ph
本文提出了一种用于混合学习与已知算子的深度网络的风险估计方法,通过将总风险分解为各学习层的和,并证明已知算子不贡献风险,从而建立了训练样本量与期望误差之间的联系。该方法在计算机断层扫描重建中验证了其预测的缩放规律,并适用于物理信息神经网络。
Kacper Jurek et al.
cs.LG
本文提出SeBA框架,用于表格数据的半监督小样本学习,通过将数据分离为两个独立视图并对齐其最近邻表示,避免了传统数据增强的依赖。实验表明该方法在多数基准数据集上达到最优性能。
Zihan Huang et al.
cs.LG
本文提出Conditional Multimodal Information Bottleneck (CMIB)方法,用于从多模态agent的试错轨迹中提取可复用的技能。该方法通过条件分解将多模态信息压缩为可解释的文本技能卡片和残差感知信息,以减少冗余并提升执行稳定性。
Xingrui Gu
cs.LG
本文提出将神经网络内部传播过程视为一个几何场(propagation field),通过隐藏状态轨迹和局部Jacobian算子来理解网络。实验表明,仅优化端点损失无法保证内部传播结构的合理性,而引入场感知目标可提升泛化、鲁棒性和持续学习性能。
Annan Yu, Dongwei Lyu, N. Benjamin Erichson
cs.LG cs.AI
本文研究了sequential models中的时间连续性归纳偏置,形式化了模型连续性为时间细化下的收敛性,并引入了一个量化数据集连续性的metric。实验发现任务连续性、模型连续性与模型性能之间存在经验对齐,但方法本身在关键词领域内缺乏开创性。
Joshua Shay Kricheli et al.
cs.LG
本文研究了神经scaling law(缩放定律)中参数计数\(N\)与token计数\(D\)的幂律关系,指出在固定tokens-per-parameter (TPP)比率\(k\)的共线设计下,由于\(N\)和\(D\)的指数近似相等,会导致Gauss-Newton最小二乘问题出现病态条件,使得模型外推性能严重退化。文章通过理论证明和实验验证,提出了一个TPP多样性阈值来保证估计的良好条件性,并展示了非共线设计在多个基准上的显著优势。
Vincent Guan, Lazar Atanackovic, Kirill Neklyudov
cs.LG stat.ML
本文提出了一种基于damped Wasserstein Lagrangian的群体动力学建模方法WLM,通过推导Hamiltonian运动方程来学习二阶动力学,并直接从观测的marginals中预测和插值未见的marginals。该方法在涡旋动力学、胚胎发育和群体运动等场景中优于现有的gradient flow和flow matching方法。
Khurram Yamin et al.
cs.LG
本文提出了一种基于revealed preference的实证方法,通过估计LLM在决策任务中隐含的cost function来评估其alignment。实验表明,模型虽有一定内部一致性,但在忠实报告或采纳用户指定的偏好方面存在显著缺陷。
Muyun Lu et al.
cs.LG
本文研究自适应多保度bandit问题,其中低保真度源(如LLM)可通过重复使用而改进。作者提出TACC算法,利用有界延续规则决定何时使用低保真度采样,并证明了实例相关的regret界。
Clemens Schaefer, Gil Tabak
cs.LG
本文研究了LLM量化中block size paradox现象,发现标准abs-max scaling在block size变小时反而降低模型质量。作者证明该问题源于heavy-tailed tensor分布与FP4格式的粗量化bin不匹配,通过防止scaling factor下溢和4-over-6方法等干预可解决,最终验证理论MSE随block size减小而严格改善。
Hengyi Zhu et al.
cs.LG
本文提出PARSE框架,通过训练一个线性router为SVD压缩的LLM动态选择rank,以解决静态rank截断在不同prompt下性能不佳的问题。该方法通过离线训练router并利用pattern cache实现推理加速,在LLaMA-7B上提升了任务准确率和推理速度。
Jongseok Park et al.
cs.LG cs.AI
本文发现现有预训练MoE模型中存在大量未被利用的intra-expert activation sparsity(专家内部激活稀疏性),无需修改模型即可达到90%的稀疏度。通过在vLLM执行框架中跳过非活跃神经元计算,实现了MoE层最高2.5倍加速和端到端1.2倍加速。
Jooyeon Kim
cs.LG cs.AI
本文使用一个极简的transformer world model,在Atari 100k基准上分析了模型规模对数据效率的影响。研究发现,不同环境在相同数据预算下会落入不同的scaling regime,而联合训练可以稳定这种scaling动态,并提升下游控制性能。
Xingyu Qu et al.
cs.LG
本文针对在线LLM服务中prompt分段和热点倾斜问题,提出了一种调度与KV-cache管理的协同设计方法PRISM,通过查询感知调度器和需求感知基数树来对齐请求准入与精确前缀KV缓存保留,从而降低TTFT并提高缓存命中率。该方法主要关注系统优化而非理论创新,与关键词列表中的概念关联较弱。
Liam Davis et al.
cs.LG cs.AI cs.LO
本文提出了一种名为Lattice Deduction Transformer (LDT)的循环transformer模型,通过在两次前向传播之间将潜在状态投影到一个格(lattice)上来近似逻辑推理。该模型在约束求解器风格的搜索过程中进行策略内训练,并使用基于抽象解释(abstract interpretation)的候选解集近似来监督训练。
Chia-Yuan Wu, Frank E. Curtis, Daniel P. Robinson
cs.LG
本文针对one-shot collaborative machine learning中不可靠客户端可能提供有偏代理数据的问题,提出了一种基于bilevel optimization的服务器端防御框架。该方法通过学习客户端权重来减轻有偏数据的影响,并利用服务器上的小型可信数据集强制执行fairness约束。
Md Atik Ahamed et al.
cs.LG cs.AI
本文提出STRIDE框架,通过将LLM的推理能力蒸馏到连续embedding空间中,以cross-modal prior的形式注入时间序列基础模型(TSFM),从而提升数值预测精度和可解释性。该方法在GIFT-Eval和TFRBench上取得了最优性能,并可作为即插即用模块增强多种TSFM。
Chao Jin et al.
cs.LG
本文提出ReLibra系统,利用强化学习中rollout-training工作流的routing replay特性,在MoE训练中实现微批次粒度的负载均衡。它通过专家重排序和节点内动态复制两种机制,分别处理跨批次和批次内的负载波动,实验表明其吞吐量优于现有系统。
Josue Ortega Caro et al.
cs.LG q-bio.NC
本文提出FLUX框架,用于从非配对纵向快照中重建连续动态并发现潜在状态转换。该方法结合了数据依赖度量学习、几何感知条件路径和混合专家路由,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)无直接契合。
Youngsung Kim
cs.LG cs.AI
本文研究可学习的逻辑门网络,将2输入布尔门堆叠成组合电路。作者证明每个布尔门对应一个4维multilinear polynomial,并指出Soft-Mix方法存在梯度消失问题,而提出的CovJac方法通过耦合系数解决了该问题。实验表明CovJac在深度网络中比Soft-Mix更稳定。
Shan Jiang, Zijian Yi, Chenguang Zhu
cs.LG cs.AI cs.SE
本文提出SKETCHVERIFY方法,通过让LLM枚举多种算法策略并生成程序草图(含??占位符的部分程序),再对每个草图进行多次填充,从而在固定预算下生成结构多样的候选程序,并通过执行验证和指纹聚类进行选择。实验表明,在相同计算预算下,该方法在HumanEval+上优于传统的多次独立采样策略,但无法替代使用更强模型进行贪心解码的效果。
Emmanuel Adutwum
cs.LG
本文通过特征工程和超参数调优改进了SVR在California Housing数据集上的表现,将R2从0.60提升至0.723,并进行了消融实验分析各组件贡献。该工作属于常规的机器学习实验优化,与关键词列表中的概念无直接关联。
Tianhao Cheng et al.
cs.LG
本文从token级别视角研究无critic强化学习(critic-free RL)在LLM中的机制,揭示了token翻转现象并提出了抵消假说(cancellation hypothesis),认为正负rollout中共享token的梯度信号会相互抵消,从而隐式实现token级别的信用分配。基于该假说,作者设计了两种简单的批处理干预方法,实验表明这些方法能提升RLVR训练效果。
Naoki Masuyama et al.
cs.LG
本文提出了一种基于Persistent Homology (PH)的节点到簇映射方法PHIDA,用于在线聚类。该方法结合了Inverse-Distance ART节点学习与PH约束的映射,旨在解决隐式映射导致的聚类敏感性问题。
Bohan Lyu et al.
cs.LG
MLS-Bench是一个用于评估AI系统能否发明可泛化且可扩展的ML方法的benchmark,包含140个跨12个领域的任务。实验表明当前agent在发明新方法上远未可靠超越人类设计,且工程式调优比真正的方法发明更容易,瓶颈在于提出新方法所需的科学洞察力。
Li Na, Yuanyun Zhang, Shi Li
cs.LG cs.AI
本文提出了一种基于潜在事件过程的波形基础模型,通过自监督学习框架强制随机分割和时间-频率投影的一致性,以捕捉生理时间序列中的事件级结构。该方法在心律失常分类等任务上优于传统序列模型,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)无直接契合。
Beshr IslamBouli, David Jin
cs.LG cs.CL
本文提出AAAC方法,通过为每层权重引入两个可学习的小型scalar codebooks(64字节)并利用未使用的符号位编码选择,在不增加存储开销的情况下实现4-bit LLM weight quantization。该方法在3-30分钟内完成量化,性能优于AWQ、GPTQ等基线方法。
Matheus Lima Castro, William Dantas Vichete, Leopoldo Lusquino Filho
cs.LG physics.ao-ph
本文介绍了METBRA25Y,一个来自巴西国家气象局历史记录的标准化小时级地面气象观测数据集,涵盖了2000至2025年的多种气象变量,并详细说明了其数据清洗、质量控制流程及文件组织方式。该工作主要贡献在于数据整理与标准化,而非提出新的数学或机器学习方法。
Weidong Zheng et al.
cs.LG cs.CR
本文揭示了class-level machine unlearning中分类头偏置的捷径现象,即通过降低遗忘类别的bias项即可满足传统评估指标,并提出了BiasShift诊断基线以及TS-BGRM和LB-HR两种缓解机制。实验表明该方法能产生更稳定的偏置分布,但整体方法更偏向诊断与评估,与关键词列表中的概念关联较弱。
Ziyun Liu, Fengmiao Bian, Jian-Feng Cai
cs.LG cs.AI cs.CL
本文提出AdaPreLoRA方法,通过采用Adafactor对角Kronecker预条件器\(H_t\),并选择最小化\(H_t\)加权因子贡献不平衡的解,为LoRA优化提供了新的预条件策略。该方法在GPT-2、Mistral-7B等模型上表现出竞争力,但未涉及关键词中的code、spectral、Muon、pretrain、agent或attention等核心概念。
Xin Li et al.
cs.LG cs.CL
本文研究了on-policy distillation (OPD)中奖励外推系数\(\lambda\)对结构化输出任务的影响,推导了clip-safety阈值\(\lambda^*\)的闭式表达式,并验证了该阈值在JSON任务中的预测准确性。实验表明,在阈值以下操作可使小模型达到与大模型相当的性能。
Shengkun Tang et al.
cs.LG cs.AI cs.CL
本文系统研究了大规模预训练中MoE模型的结构化剪枝与知识蒸馏技术,探讨了剪枝初始化、专家压缩策略及训练方法的效果,发现预训练剪枝优于从头训练,并提出部分保留专家合并与多token预测蒸馏方法。
Nilesh Sarkar, Dawar Jyoti Deka
cs.LG cs.AI
本文引入causal dimensionality \(\kappa\)来衡量transformer层中表示对输出的因果影响,发现其随SAE宽度亚线性增长、对模型规模不变且随网络深度变化,但未直接涉及code、context、spectral、Muon、pretrain、agent或attention等关键词。
Mikhail Parakhin, André M. Carvalho, Patrick Haluptzok
cs.LG
本文提出了一种名为Wristband Gaussian Loss的确定性批损失函数,用于将点嵌入高斯化,无需采样或KL项。该方法通过将每个点映射到球面与区间构成的“腕带”空间,并利用反射核能量最小化来实现,在2D和10D的基准测试中表现有竞争力。
Emanuele Rossi, Emanuele Rodolà
cs.LG cs.AI cs.CL cs.MA
本文提出lexical acoustic coding (LAC)框架,利用预训练LLM作为sender和receiver agent,通过自然语言句子传输声音。该框架将声音分析为可解释的acoustic descriptors并量化为lexical code,实现了声音的文本表示与重建。
Euntae Choi, Sumin Song, Sungjoo Yoo
cs.LG
本文提出了一种名为LAQuant的层间前视量化方法,通过分析梯度方向,解决了大推理模型在长序列解码时权重量化导致的精度损失问题,并实现了显著的解码加速。该方法在Qwen3-4B模型上取得了优于现有方法的性能。
Zeqiang Xian et al.
cs.LG
本文提出MDL-GBG方法,将granular-ball生成问题转化为基于Minimum Description Length principle的局部模型选择问题,通过比较三种候选模型(单球、双球、核心球加残差)并选择编码长度最短者,统一了球的保留、分裂和残差剥离过程。实验表明该方法为聚类提供了有效的可解释表示。
Qijun Hou et al.
cs.LG cs.DC
本文提出FedGMI框架,利用Variational Autoencoders (VAEs)作为生成密度估计器,在联邦学习中建模客户端本地数据分布为若干共享固有分布的凸组合,以解决数据异质性问题。该方法通过推断混合成分实现结构化个性化,实验表明其能有效表征固有分布并估计混合比例。
Renjie Gu et al.
cs.LG cs.AI
本文研究了大型语言模型在unlearning(移除有害训练数据)过程中的诚实性问题,提出了一套评估指标,并发现现有方法普遍不诚实。作者提出了ReVa方法,通过对特征随机化的unlearned模型进行representation alignment(表示对齐)微调,以提升其在遗忘知识上的拒绝回答率。
Christopher Lohse et al.
cs.LG
本文提出了一种基于因果meta-learning的贝叶斯根因分析方法PRIM,通过Prior-fitted Networks范式学习一个transformer神经过程模型,在无需显式因果图或测试时模型拟合的情况下,实现零样本根因推断。该方法在合成和真实基准上表现良好,但未涉及code、spectral、Muon、pretrain或agent等关键词。
Xingyu Song, Yuan Mei, Naoya Takeishi
cs.LG cs.AI
本文提出了一种将随机生成动力学中的确定性场分解为传输项和渗透项的方法,并基于此提出了Bridge Matching框架,用于学习可解释和可控的生成模型采样过程。
Peter Vanya, Katarína Šimková, Rastislav Farkaš
cs.LG
本文提出了一种基于交通计数的数据驱动宏观交通建模协议,通过可解释的模型权重和可控的复杂度增加路径来避免过拟合,并在多个示例上进行了验证。
Yang Xiao et al.
cs.LG cs.AI
本文提出了一种轻量级微视频推荐模块CVA,通过解耦视频信息与偏好学习,利用冻结的VFM嵌入和潜在推理生成紧凑的视频嵌入,显著降低了训练时间和GPU内存消耗。实验表明该方法在多个基准上取得一致提升,并讨论了错误标题对性能的影响。
Seungik Cho
cs.LG q-bio.BM q-bio.GN q-bio.QM
本文提出MicroFuse框架,通过Mixture-of-Experts模块融合ProstT5的protein表示与Bacformer的genome-context表示,用于预测微生物operon共成员关系。实验在OG-Operon100K基准上验证了其性能优于单模态基线,但方法本身并非开创性突破,且与关键词契合度较低。
Jonas Weidner et al.
cs.LG physics.flu-dyn
本文提出将稳态CFD推理重构为inpainting问题,通过自监督学习速度场先验并在推理时施加边界约束,利用局部邻域tokeniser处理3D网格,在颅内动脉瘤血流动力学中展示了优于监督代理模型的性能。
Adeel Pervez, Francesco Locatello
cs.LG
本文通过线性化分析揭示了自回归神经模拟器在长程推演中误差放大的结构机制,即Jacobian矩阵的非正规性和非交换性导致瞬态放大。作者提出了一种结合Jacobian-vector product的交换性正则化方法,在UNet和FNO等模型上实现了数千步的稳定推演,并改善了FourCastNet在ERA5气候数据上的分布外泛化性能。
Manuel Heurich, Maximilian Granz, Tim Landgraf
cs.LG
RareCP提出了一种基于regime-aware retrieval的自适应conformal prediction方法,通过混合cosine-attention experts学习不同误差状态下的局部校准表示,并利用hypernetwork跟踪时间漂移。该方法在时间序列预测中提升了预测区间的效率,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Yuhang Xu et al.
cs.LG cs.AI
本文提出BubbleSpec框架,通过利用同步强化学习中不同数据并行等级间的空闲时间窗口(即长尾气泡)来预生成后续步骤的rollout结果,作为speculative decoding的草稿,从而在不破坏算法严格同步性的前提下加速RL rollout过程。该方法无需依赖历史epoch相似性或预热,能立即加速训练。
ZhiMing Li, Yue Song
cs.LG math.ST
本文通过将在线估计问题重新表述为追踪移动的经验均衡,提出了一种高阶均衡追踪框架。该框架将在线估计分解为冻结批处理均衡和追踪滞后,并证明了批处理到在线的转移定理,为EM可压缩在线估计提供了理论分析。
Farid Hazratian, Ali Zia, Hien Duy Nguyen
cs.LG math.AT math.DG
本文提出TopoGeoScore,一种仅使用source-domain representations的无监督几何评分方法,用于在无target samples或labels的情况下选择鲁棒checkpoint。该方法通过构建class-conditional mutual k-nearest-neighbour graphs并提取torsion-inspired Laplacian log-determinant、Ollivier-Ricci curvature等几何与拓扑信号,结合self-supervised objective学习可解释的线性评分。
Soo Min Kwon et al.
cs.LG stat.AP stat.ML
本文提出CoDistill-GRPO,一种同时训练大模型和小模型的共蒸馏算法,通过最大化精心设计的GRPO目标函数,使两个模型相互学习。该方法在数学基准测试上显著提升了小模型的性能,并能为大模型带来约18%的加速,但未涉及关键词中的code, spectral, Muon, pretrain, agent, attention等概念。
Xinyu Li et al.
cs.LG
本文提出了OTora框架,用于在LLM Agent中实现推理层面的拒绝服务攻击,通过两阶段方法(对抗性触发优化和ICL引导的遗传搜索)在保持任务正确性的同时大幅增加推理延迟。该工作主要关注Agent系统的安全漏洞,与关键词中的agent有一定关联,但方法本身并非开创性突破。
Le-Tuyet-Nhi Pham et al.
cs.LG
本文研究了离散流匹配(DFM)模型在\(\mathbb{Z}_m^d\)上的理论保证,通过时间离散化采样,推导了早期停止版本目标分布在KL散度下的非渐近界,以及总变差距离下的显式收敛保证。这些结果仅依赖于近似误差假设,放松了以往工作中的标准score假设,并改进了对词汇大小\(m\)和维度\(d\)的依赖关系。
Chen Wang et al.
cs.LG
本文提出了一种针对SO(3)等变原子基础模型的结构剪枝方法,沿channel和order维度移除完整的不可约表示块以保持等变性,从而在降低推理成本的同时保持较高精度。该方法在多个模型和数据集上验证了有效性,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Ajay Mandyam Rangarajan, Jeyashree Krishnan
cs.LG cs.CL cs.DL
本文通过分析大量论文数据,指出机器学习研究(尤其是NeurIPS会议论文)的可读性随时间下降,如Flesch Reading Ease分数降低、sensational language增加、acronym密度上升。文章提出了一系列改进写作标准的建议,但并未涉及code、context、spectral、Muon、pretrain、agent或attention等关键词相关的具体方法或理论创新。
Thomas Dooms et al.
cs.LG
本文提出使用bilinear autoencoders通过quadratic latents来捕捉神经网络中的流形结构,该方法在权重空间中线性组合,并允许与输入无关的几何分析。实验表明,该方法能有效改善语言模型的重建误差,并作为无监督的流形发现工具。
Safa Alsaidi et al.
cs.LG cs.AI
本文提出Shapley regression,一种基于game theory的模型,用于罕见病APDS的诊断支持。该方法通过k-additive cooperative game替代线性预测器,在保持logistic regression透明性的同时建模症状共现,并在真实患者队列中验证了其有效性。
Willy Fitra Hendria
cs.LG cs.AR cs.CL cs.PF
本文发现Apple MPS后端在autoregressive decoding中存在非单调延迟行为,延迟在相邻decoding配置间出现高达21倍的突变,而CPU和NVIDIA T4 (CUDA)表现平滑。该现象与memory pressure或prefill cost无关,而是由backend execution dynamics引起,强调了hardware-aware evaluation的重要性。
Panteleimon Rodis
cs.LG cs.AI
本文提出了一种基于局部注意力机制的Transformer自编码器框架,用于处理稀疏且不规则的时间序列风险估计问题。该方法通过结合传统数据清洗与局部注意力机制,有效捕捉不规则序列中的模式,并在希腊电力系统非技术损失风险估计的实际案例中验证了其性能优于现有方法。
Hanru Bai, Yuncheng Zhou, Difan Zou
cs.LG
本文提出了一种名为Spatio-Temporal MeanFlow的PDE求解器,通过将MeanFlow方法从时间域扩展到时空域,并引入积分约束来学习物理状态的有限区间演化。该方法在多个基准测试中展示了优于现有基线的精度和推理效率。
Ward Gauderis et al.
cs.LG
本文提出了一种基于category theory的compositional interpretability框架,将mechanistic interpretability形式化为syntactic和semantic mapping的commuting条件,并引入compressive refinement来简化模型结构。该工作为解释性提供了可度量的优化基础,但与关键词列表中的概念关联较弱。
Akihiro Kubo, Kosuke Nakanishi, Shin Ishii
cs.LG
本文研究了偏好条件下的多目标强化学习问题,使用smooth Tchebycheff scalarization作为单调效用函数,证明了在tabular多目标MDP中每个偏好对应唯一的Pareto最优回报向量且该向量关于偏好是Lipschitz连续的。提出了Concave Mirror Descent Policy Iteration (CMDPI)算法,实现了\(O(1/k)\)的目标次优性率,并基于该算法设计了深度actor-critic方法。
Yang Qiao et al.
cs.LG cs.AI
本文提出MolWorld框架,将分子优化建模为分子转移图的序列扩展过程,通过世界模型指导生成和评估候选分子,以保持结构连通性。该方法在性质优化和对接任务中展示了有效性,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联较弱。
Miloš Hauskrecht et al.
cs.LG
本文提出了一种基于电子健康记录数据检测异常患者管理决策的方法,通过识别与历史病例差异较大的决策来生成警报。实验表明该方法在术后心脏患者数据上取得了25%至66%的真实警报率。
Michal Valko, Richard Pelikan, Miloš Hauskrecht
cs.LG
本文研究了两种异质性蛋白质组学数据源(whole-sample MS profiling和multiplexed protein arrays)的组合预测模型,发现单独表现良好的分类模型在数据组合上失效,并提出了模型融合方法以利用组合优势。
Nabil Mlaiki
cs.LG
本文提出VORT架构,通过可学习的分数阶参数和Grünwald-Letnikov幂律核来建模长程依赖,并利用Gauss-Laguerre求积将非马尔可夫过程近似为指数和以实现高效递归计算。该工作主要关注NLP Transformer中的记忆机制,与关键词中的attention有一定关联,但方法本身并非开创性突破,也未直接解决长期存在的核心问题。
Yaniv Oren et al.
cs.LG
PMCTS提出了一种基于粒子滤波的并行MCTS算法,旨在解决MCTS在并行计算中的扩展性问题,并通过理论保证策略改进。实验表明该方法在多个领域优于启发式基线。
Amir Masoud Nourollah et al.
cs.LG cs.AI cs.CE
本文提出了一个用于评估机器学习原子间势能模型组合泛化能力的基准测试,包含四个需要组合泛化的任务。实验表明,现有最先进模型在分布外分子上的误差通常比分布内分子高一个数量级。
Kiran Naseer, Umar Shoaib
cs.LG
本文通过实验发现,在极端Non-IID标签分布下,使用LoRA微调的大规模Foundation Model(如DistilBERT)反而比小模型(如TextCNN)导致更差的worst-client accuracy,即所谓的FM Fairness Paradox。研究指出,简单的聚合重加权方法(如FedAvgW)无法解决这一不公平性问题,表明在联邦学习中部署Foundation Model时需要显式保护少数客户端。
Tiffany Yu et al.
cs.LG
本文提出AutoSlim框架,使用Random Forest分类器从历史执行数据中提取特征,以剪枝自动机图中的冗余节点和边。该方法在非确定性有限自动机(Non-deterministic Finite Automata)硬件加速器上减少了FPGA资源使用,并包含验证步骤保证功能等价性。
Wen-Bo Du et al.
cs.LG
本文提出了一种非参数化的rehearsal学习方法,通过kernel方法和conditional mean embeddings来处理avoiding undesired future问题,无需对数据生成过程做线性或加性噪声等参数假设。该方法使用smooth Probit surrogate处理desirability indicator的不连续性,并基于kernel ridge regression构建了具有一致性的嵌套估计器。
Minmin Zhang, Sina Aghaei, Soroush Saghafian
cs.LG cs.AI
本文通过supervised fine-tuning (SFT)方法,使预训练LLM在Markov Decision Processes (MDPs)等序列决策任务中实现in-context learning,并在线性MDP下将fine-tuned attention层解释为隐式估计最优Q-function。实验表明该方法在长时域、部分可观测等环境下优于纯in-context基线。
Gianfranco Lombardo, Giuseppe Trimigno, Stefano Cagnoni
cs.LG cs.AI
本文从几何角度研究了大语言模型中预测信息在层间的演化,通过Grassmann流形上的轨迹分析,识别出三个几何阶段:Seeding Multiplexing、Hoisting Overriding和Focal Convergence。这些阶段描述了模型如何逐步从候选token的叠加状态收敛到最终预测,但方法本身并非开创性,且与关键词关联较弱。
Md Rafid Islam
cs.LG
本文研究了基于权限的Android恶意软件检测器在跨域场景下的泛化问题,发现模型在不同数据集间存在严重的性能不对称下降,并通过可解释AI分析揭示了特征分布和重要性的不稳定性。为缓解域偏移,作者提出了一种基于公共特征交集的混合训练策略,有效恢复了跨域检测性能。
Thomas Tulinski et al.
cs.LG
本文研究了高维极限下的可解能量基模型——spherical Boltzmann machine (SBM),利用random matrix theory和dynamical mean-field theory分析了其训练动力学和生成特性,揭示了训练和超参数变化中的相变级联现象。这些现象与采样温度调节、正则化强度的double descent等生成行为相关,并在标准生成架构中得到数值验证。
Zesheng Liu et al.
cs.LG
本文提出PACT,一种峰值感知的交叉注意力图Transformer,用于从大气强迫场高效预测站点级风暴潮。该方法通过GraphSAGE编码空间结构,利用交叉注意力聚合节点信息,并引入峰值感知学习策略提升极端事件预测能力。实验表明PACT在RMSE和MAE上优于基线模型,计算效率高,但在从再分析数据向气候模型强迫迁移时性能下降明显。
Jiuqi Wang et al.
cs.LG
本文从理论角度探讨深度continual learning中的plasticity loss问题,提出optimization readiness这一新指标,结合gradient strength和gradient reliability来预测神经网络的trainability。作者通过反例证明现有诊断方法(如representation rank和neural tangent kernel rank)可能失效,并给出理论下界保证。
Karim Othman et al.
cs.LG cs.AI
本文提出了FactoryNet,一个面向工业时间序列数据的通用预训练语料库,包含51M数据点,并引入S-E-F-C模式将不同执行器系统映射到统一表示框架。该数据集支持跨实体零样本迁移和高效异常检测,但方法在开创性上与关键词(如code, attention, Muon)关联较弱。
Zhiyao Zhang et al.
cs.LG
本文提出将多任务bilevel learning (MTBL)问题转化为equality constrained multi-objective optimization (ECMO)问题,并设计了一种weighted Chebyshev (WC)-penalty算法,在有限时间内收敛到KKT-based Pareto stationarity。该工作主要关注优化理论框架的建立与收敛性分析,与您提供的关键词关联度较低。
Enrique Hernández Noguera et al.
cs.LG
本文提出SpectraNet,一种结合截断谱卷积与U-Net层次结构的自回归神经算子,用于求解含时PDE。该方法通过残差目标参数化与半群一致性损失缓解了谱算子的指数误差增长问题,并在Navier-Stokes等基准测试中取得了优于FNO的精度与参数效率。
Noam Mizrachi, Nadav Har-Tuv, Shai Shalev-Shwartz
cs.LG cs.AI
本文提出Contextual Plackett-Luce (CPL)模型,用于处理结构化预测中因监督信号单一而目标分布多模态的歧义性问题。该模型采用Ising-style参数化,通过并行计算上下文logits与轻量级自回归选择过程相结合的方式,在保持计算效率的同时有效捕捉多模态依赖关系。
Enoch Hyunwook Kang
cs.LG cs.AI cs.CL
本文研究了personalized alignment(个性化对齐)在large language models中的统计效率,证明了达到最优regret和sample complexity的条件依赖于user diversity(用户多样性)。该工作为个性化对齐提供了理论刻画,但与关键词列表中的概念关联较弱。
Hamed Omidvar, Vahideh Akhlaghi
cs.LG cs.AI cs.CL cs.IT
本文提出一个基于通信理论的框架,将LLM agent中的多种可靠性技术(如重试、多数投票)统一视为经典可靠性算子(如diversity combining, hybrid retransmission)的特例。通过将LLM建模为离散随机信道\(p(y|x)\),该框架给出了两个闭式结果,并引入一个成本感知的语义最近邻路由器,在无需重新训练的情况下遍历质量-成本前沿。
Vatsal Shah, Jiahao Sun
cs.LG
本文提出Cosine Gated Adam Decay (CGAD),一种用于异步DiLoCo系统的年龄感知外优化器,通过缩放伪梯度来缓解延迟问题。实验表明CGAD在大规模语言模型预训练中比标准Nesterov方法更稳定,但方法本身并非开创性突破,且与关键词列表中的概念关联较弱。
Gonzalo Iñaki Quintana, Franco Martin Di Maria, Laurence Vancamberg
cs.LG
本文评估了联邦学习在乳腺密度异质性下的乳腺X光图像分类性能,比较了FedAvg、FedProx和SCAFFOLD等方法。实验表明FedAvg在强异质性场景下表现稳健,性能可与集中式训练媲美,而本地模型和朴素聚合方法则表现不佳。
Bingnan Xiao et al.
cs.LG
本文研究了联邦学习中的sharpness-aware minimization方法,指出数据异质性导致的flatness incompatibility问题,并提出FedVSSAM算法通过方差抑制的调整方向来缓解该问题,实验表明其性能优于基线方法。
Vlad Murgoci, Matthijs Spaan, Yaniv Oren
cs.LG
本文提出AlphaExploitem,通过层次化transformer encoder和多样化对手池训练,扩展了扑克agent AlphaHoldem,使其能利用对手的次优策略获得超越Nash equilibrium的收益。
Chuning Li, Chris J. Maddison
cs.LG
本文提出了一种基于Noisy Quadratic System的预测模型,用于从模型大小(N)、batch size(B)和权重更新次数(K)估计大模型的预训练损失。该模型能处理变化的batch size,并在外推计算预算时优于Chinchilla的损失模型。
Jiamin He et al.
cs.LG cs.AI
本文重新审视了entropy-regularized actor-critic框架中的mixture policy,指出其理论上比Gaussian policy更灵活但实际优势不明显。作者提出了一种marginalized reparameterization (MRP) estimator以降低方差,实验表明MRP mixture policy在多个连续控制任务中可与Gaussian policy性能持平或更优。
Arghamitra Talukder, Philippe Chlenski, Itsik Pe'er
cs.LG
本文研究了Matryoshka Representation Learning (MRL)如何产生与任务对齐的特权基,证明了在linear setting下full-prefix MRL能恢复有序的主方向,并可通过共享统计量高效计算。实验表明MRL的坐标幅度反映了信息量。
Ryan Lee et al.
cs.LG cs.CL
本文研究了循环语言模型(Looped Language Models)的扩展性,发现循环稠密模型扩展性差,而循环MoE模型通过路由分歧在不同循环中激活不同专家,从而优于标准baseline。此外,循环模型在早期退出时具有更好的计算-质量权衡。
Ankit Hemant Lade et al.
cs.LG cs.AI
本文通过构建可复用的 falsification benchmark,检验了“仅用于 next-step prediction 的 Mamba state-space model 能通过简单 readout \(S = |W_{out} W_{in}|\) 恢复 Granger-causal structure”这一声称。实验表明,该声称不成立:plain linear bottleneck 表现相当或更好,tuned Lasso 在合成基准上优于该 bottleneck,且其声称的 intervention 优势主要源于样本量混淆。最终,该 benchmark 本身成为主要贡献。
Peng Cao et al.
cs.LG cs.AI
本文提出WavesFM,一个两阶段self-supervised learning框架,用于处理可穿戴传感器采集的长时间生理波形数据。该方法通过先学习短时波形的局部embedding,再建模多日时间序列,解决了高采样频率和极端序列长度带来的计算挑战。
Aditya Ranganath
cs.LG cs.AI
本文综述了大型语言模型训练中的优化器设计,从AdamW到内存高效和基于矩阵的优化器(如Muon),涵盖了自适应方法、二阶方法等。文章强调了在极端规模下对收敛性、稳定性、内存和实现复杂度的联合评估。
Surbhi Goel, Jonathan Pei, James Wang
cs.LG
本文研究了在训练与测试环境dynamics存在任意差异时的选择性模仿学习问题,提出了SeqRejectron算法,通过构建一个与horizon或policy class规模无关的validator policies集合来构造停止规则,从而在稀疏成本假设下实现horizon-free的样本复杂度保证。
Steve Hanneke, Kun Wang
cs.LG
本文研究了对抗性噪声bandit问题中函数类\(\mathcal{F}\)的可学习性刻画,通过引入凸化的广义maximin volume概念,在oblivious adversary和可数臂空间下给出了可学习性的充要条件,并提出了分布覆盖数这一新复杂度度量。
Shaun Christopher Lee, Sangeetha Abdu Jyothi
cs.LG
本文提出Latent Bounded Interfaces (LBI)方法,通过将区域间通信限制在低维隐式接口上,将scan-based backpropagation的Jacobian组合成本从\(O(d^3)\)降至\(O(r^3)\),从而在保持精确梯度的同时实现并行训练。实验表明该方法在多种架构上能有效保持模型质量。
Bowen Liu et al.
cs.LG
本文提出TSNN,一种用于交通时间序列预测的非参数化可解释框架。它通过记忆库中的条目匹配来解耦时间序列,利用交通数据的周期性提升预测精度,且不含可训练参数。实验表明其在多个真实数据集上性能与典型深度学习模型相当。
Chulabhaya Wijesundara et al.
cs.LG
本文针对多智能体强化学习中的ratio-based trust-region方法(如MAPPO和MASPO)存在的失效模式,提出了Multi-Agent Ratio Symmetry (MARS)目标函数,通过引入乘性对称几何屏障替代加性裁剪或软二次惩罚,以保留修正梯度并防止概率坍缩。实验在47个任务上验证了MARS的性能。
Qingyue Zhao et al.
cs.LG cs.AI cs.IT math.ST stat.ML
本文研究了离线contextual bandits问题中forward-KL正则化的统计速率,在单策略集中性假设下给出了\(\tilde{O}(\epsilon^{-1})\)的快速上界,并证明了该速率的紧性。
Daniel Matsui Smola, Alex Smola
cs.LG cs.AI
本文利用RKHS几何将公平性准则视为条件均值嵌入的线性约束,证明了在基率不等时多个公平性标准无法同时满足,并给出了近似松弛下的误差边界。
Collin Francel
cs.LG
本文提出SMIXAE架构,旨在解决稀疏自编码器无法直接建模多维特征的问题。实验表明该架构能在语言模型中发现流形结构,但方法本身并非开创性突破,且与关键词列表关联较弱。
Sepehr Harfi et al.
cs.LG cs.AI
本文提出了ProactBench基准,用于评估LLM在对话中主动识别并回应用户未明示需求的能力,将主动性分为Emergent、Critical和Recovery三种类型。通过三个智能体(Planner、User Agent、Assistant Model)构建基准,发现Recovery类型任务对现有模型最具挑战性,且与标准基准的相关性较弱。
Juanwu Lu, Ziran Wang
cs.LG cs.AI stat.ML
本文研究了MeanFlow训练中梯度方差发散的问题,指出其源于损失函数中条件速度场(conditional velocity field)作为回归目标和控制变量时系数分配错误,并推导了最优系数的闭式解。实验表明,调整该系数可改善样本质量,但FID最优系数与梯度方差最小化系数不一致。
Kai Zhao et al.
cs.LG cs.AI
本文提出Sub-JEPA方法,通过在多个随机子空间(random subspaces)而非原始嵌入空间施加Gaussian约束,以缓解Joint-Embedding Predictive Architectures (JEPA)训练中的偏差-方差权衡问题。该方法在连续控制环境中优于LeWorldModel (LeWM),但未涉及关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念。
Shuhei Kashiwamura, Timothee Leleu
cs.LG cs.AI stat.ML
本文提出了一种利用\(M\)-cover变换改进机器学习模型泛化能力的方法,通过在不同模型副本间按排列路由计算局部学习消息,而非直接平均参数。该方法适用于感知机、委员会机器和多层感知机,提供了一种通过结构化消息共享而非参数耦合来提升泛化性能的机制。
Ruiying Peng et al.
cs.LG cs.AI
本文指出Supervised Fine-Tuning (SFT)会破坏模型的推理泛化能力,原因是模型会记忆问题-答案对中的虚假表面相关性。为此,作者提出Theorem-SFT方法,通过引导模型学习定理的应用规则而非答案本身来提升泛化性,在MATH和GeoQA等基准上取得了显著提升。
Wenxuan Liu et al.
cs.LG cs.CV
本文提出了一种名为Uncert的训练无关即插即用框架,用于估计Spiking Transformer中token的重要性。该方法通过Dirichlet分布建模token的类证据,并利用其时间不确定性统计量(均值和波动)来区分信息性token与冗余token,从而在推理时进行token剪枝。
Hongyaoxing Gu et al.
cs.LG
TileQ提出了一种无需微调的post-training quantization方法,通过2D-tiling structured low-rank quantization在MoE experts的输入和输出维度共享低秩因子,并设计了融合多个低秩expert计算的单次推理技术,以降低内存开销和推理延迟。
Jiyeon Kim, Youngjoon Hong, Won-Yong Shin
cs.LG cs.AI cs.CE physics.app-ph physics.comp-ph
本文提出SuperMeshNet,一个用于基于网格模拟的半监督超分辨率框架,通过message passing neural networks (MPNNs)和互补学习,利用少量配对的高分辨率数据和大量未配对的低分辨率数据来重建高保真解。该方法在减少90%高分辨率数据需求的同时,实现了比全监督基准更低的均方根误差。
Ethan Hsu, Hong Meng Yam, Ivan Ge
cs.LG cs.AI cs.CE cs.CV math.NA
本文提出MC\(^2\),一种混合Walk-on-Spheres (WoS)与Neural Network的PDE求解器,通过学习单次前向传播的神经校正来修正低预算Monte Carlo解,从而在保持几何无关性的同时大幅提升求解速度。该方法在标准椭圆型PDE基准测试上验证了其有效性,但并未直接涉及code, context, spectral, Muon, pretrain, agent, attention等关键词。
Liping Deng, MingQing Xiao
cs.LG
本文提出了一种基于Convolutional Neural Process (ConvNP)的元学习方法,将NAS中的性能预测建模为条件函数推断问题,通过元学习在合成任务上训练以提升小样本下的泛化能力。该方法在NAS-Bench-101和NAS-Bench-201上取得了优于传统回归方法的架构选择效果。
Zhengyan Wan et al.
cs.LG stat.AP
本文提出了dFlowGRPO,一个用于离散流模型(DFMs)的统一强化学习框架,通过推导完整轨迹概率并将去噪过程建模为Markov decision process,使得该框架能利用条件转移率和后验模型信息。实验表明,该方法在图像生成和多模态理解任务上优于现有GRPO类方法,但与关键词列表中的code, context, spectral, Muon, pretrain, agent, attention等概念关联较弱。
Muhammed Ustaomeroglu, Guannan Qu
cs.LG cs.AI
本文提出Representational Effective Theory (RET)框架,通过BYOL/JEPA风格的自监督目标从hidden-state轨迹中学习macrostates,以粗粒化LLM的activations。该方法在interpretability方面展示了temporally consistent states和high-level semantic structure的捕捉能力,但未直接涉及code、context、spectral、Muon、pretrain、agent或attention等关键词。
Samuel J. K. Chin, Maximilian Schiffer
cs.LG cs.AI
本文提出Neural CFRS,一种非自回归的one-shot神经网络框架,用于求解Capacitated Vehicle Routing Problem (CVRP)。它通过可微的entropic Optimal Transport层在端到端学习中强制执行全局车队容量约束,并利用预训练的空间词汇表实现极端参数效率和零样本扩展。该方法在常数容量设置下对大规模out-of-distribution实例展现出鲁棒性,但与我提供的关键词(如code, context, spectral等)关联度较低。
Chaitanya Amballa et al.
cs.LG cs.CV
本文提出了一种名为\(\Delta\)LPS的离散Langevin启发式后验采样器,用于解决离散状态空间中的逆问题。该方法利用梯度信息在保持离散状态空间的同时进行高效并行更新,并在图像恢复等任务上取得了与连续扩散模型相当的性能。
Jeonseong Kim
cs.LG
本文从非保守场视角分析了扩散语言模型(DLM)中顺序坍塌(order collapse)问题,指出其根源在于局部去噪条件(local denoising conditionals)的不兼容性。通过定义顺序诱导伪联合分布(order-induced pseudo-joints)和局部去噪循环(local denoising circulation),作者将全局顺序差异分解为相邻交换的局部循环和,并分离了路径依赖(path dependence)与条件依赖误差及顺序特定估计误差。该框架为检验DLM解码是否真正顺序无关提供了仅基于推理的诊断方法。
Seungwoo Kum
cs.LG cs.AI
本文提出了一种基于层次化注意力机制的异质图神经网络HA-HeteroGNN,通过两级注意力机制和基于注意力得分的剪枝策略,在减少27%图边的同时提升了分类准确率。该方法主要关注图神经网络的解释性和计算效率,与关键词中的attention概念有一定关联。
Jiyeon Kim, Byungju Lee, Won-Yong Shin
cs.LG cs.AI physics.atom-ph physics.chem-ph physics.comp-ph
本文提出了一种基于辅助模态学习的非自回归学习框架,用于从静态原子结构预测离子输运性质。该方法在训练时使用原子轨迹作为辅助模态,但在推理时不需要,从而在保持高速预测的同时提升了准确性。
Shalley Dash
cs.LG
本文通过分析稀疏目标条件强化学习中策略诱导的确定性functional graph,定义了局部目标支持度(LGS)这一单步统计量,并证明其在确定性稀疏GridWorld中能有效诊断目标级失败。然而,局部支持度不足以保证全局成功,因此作者进一步提出了策略诱导图的分类法来刻画剩余失败模式。
Anik Kumar Paul et al.
cs.LG math.OC
本文提出FAR-SIGN算法,用于参数服务器-工作节点系统中的对抗鲁棒学习。该算法通过符号更新和双时间尺度机制实现鲁棒性,支持一阶和零阶实现以及完全异步执行,并证明了在非凸光滑目标下几乎必然收敛到驻点集。
Guangqi Li, Yongxin Li
cs.LG
本文发现神经网络一次性剪枝中存在Selection Plateau现象,并提出Sparsity-Information-Complexity Spectrum (SICS)假说,认为逃逸该plateau所需的最小feature complexity \(\kappa(S)\)依赖于sparsity。实验在ViT-Small/CIFAR-10上验证了不同sparsity下各类feature的表现差异,但方法本身缺乏开创性,且与关键词列表关联较弱。
Xing Han et al.
cs.LG
本文提出FLAME框架,利用稀疏Mixture-of-Experts (MoE) 处理多模态多任务的预训练与持续学习问题。通过模态特定的routers和低秩记忆子空间压缩专家知识,该方法在医疗多模态基准上展示了缓解灾难性遗忘和提升参数效率的效果。
Akihito Taya, Yuuki Nishiyama, Kaoru Sezaki
cs.LG cs.NI
本文提出了一种用于去中心化联邦学习的函数空间ADMM方法(FedF-ADMM),通过在函数空间中利用损失泛函的凸性推导更新方向,再通过知识蒸馏投影到参数空间,并引入稳定系数从控制理论角度解释为PI项。实验表明该方法在非IID场景下比现有方法收敛更快更稳定。
Zhenghan Song et al.
cs.LG cs.AI cs.CL cs.SE
本文针对LLM生成科学模拟代码时存在的“理解-生成差距”问题,提出了一种基于PDE的意图验证方法。该方法通过从MOOSE框架生成的代码中重构弱形式残差项,并与用户意图进行结构化比较,定义了意图保真度分数(IFS)。实验表明,该方法能有效识别并修正那些可执行但物理方程错误的代码,揭示了可执行性与意图保真度是可分离的失败模式。
Soumita Hait et al.
cs.LG
本文研究了在零和博弈中,当玩家不仅观察到自身损失,还能观察到对手动作时的last-iterate收敛问题。作者提出了一种高效算法,通过求解一个估计的对数障碍正则化博弈来不频繁地更新策略,并证明了该算法能以高概率实现\(t^{-1/2}\)的last-iterate收敛率,从而回答了额外信息能否加速收敛的问题。
Valliappan Chidambaram Adaikkappan et al.
cs.LG
本文研究了离线目标条件强化学习中的鲁棒表示学习问题,提出了一种利用多尺度预测监督来强制潜在空间中对齐目标方向的框架。该方法在视觉和状态任务上提升了表示质量,并在多种数据场景下保持了良好性能。
Ilay Yavlovich et al.
cs.LG cs.CV cs.DS math.OC
本文提出了一种学习增强的线性分配问题优化框架,通过神经网络预测dual variables来热启动经典求解器(如LAPJV),并设计了RowDualNet架构以避免\(\mathcal{O}(N^{2})\)内存瓶颈,同时利用LP对偶的Min-Trick机制保证可行性,在保持最优性的前提下实现了加速。
Bin Liu et al.
cs.LG
本文提出了一种名为D2ACE的多标签批量选择方法,通过结合阶段式Bernoulli混合采样和动态标签加权来捕捉训练动态,并引入局部上下文感知的相关性增强以聚焦相关标签。实验表明该方法在深度多标签分类任务中优于现有方法。
Gabriel Smithline, Chris Mascioli
cs.LG cs.AI cs.NE
本文研究了小型Transformer中FFN架构选择(如dense FFN, GLU, MoE, MoE-GLU)对注意力计算的影响,发现稀疏MoE路由能将计算从FFN转移到注意力模块,且这种重分配主要由架构稀疏性而非路由学习驱动。此外,GLU式乘法门控会将任务相关的Fourier结构从神经元基转移到分布式子空间,降低了神经元级可解释性。
Huitao Yang, Hengzhi He, Guang Cheng
cs.LG cs.CL cs.CV
本文提出了一种新的目标数据选择方法,通过使用验证集诱导的流(validation-induced flow)作为参考路径来避免参考路径偏差(reference path bias),并采用归一化端点损失下降(normalized endpoint loss drop)作为评分规则。该方法在逻辑回归、视觉和指令微调实验中与强动态归因基线(dynamic attribution baselines)表现相当,同时降低了预热和存储成本。
Riccardo Porcedda et al.
cs.LG cs.SI stat.ML
本文提出Gravity-GraphSAGE (GG-SAGE),一种针对有向属性图的链接预测方法,通过引入受引力启发的decoder来改进GraphSAGE模型。实验表明该方法在多个基准数据集上优于现有技术,但未涉及关键词中的核心概念。
Yunxuan Fang, Xinhe Wang
cs.LG
本文提出一个诊断框架,将硬件非理想性建模为forward operator的结构化扰动,并分析其与gradient-based optimization的兼容性。结果表明,某些扰动(如read noise)可通过hardware-aware training补偿,而其他扰动(如stuck-at faults)则持续破坏优化过程。
Xiangjian Jiang et al.
cs.LG
本文提出TabFORGE,一个基于预训练因果感知特征编码器的表格基础生成模型,通过两阶段设计(先预训练基于分数的扩散Transformer,再预训练去噪对齐解码器)来生成高质量合成表格数据。该方法在45个数据集上对比22个基准方法,展示了生成表格数据的结构保真度,但与我提供的关键词(如code, context, spectral, Muon, agent, attention)关联较弱。
Yunfeng Zhao et al.
cs.LG
本文提出了一种名为FedCIGAR的联邦图级异常检测方法,通过基于正常图的重建范式避免使用合成异常数据,并利用客户端节点贡献门控机制和服务器端滑动窗口聚类策略应对数据异质性。实验表明该方法在性能上优于现有技术。
Andreas D. Demou et al.
cs.LG
本文研究了预训练Transformer中跨层特征发现的问题,指出标准Crosscoders(跨层联合训练的稀疏字典)主要学习到层局部化的latent,而非真正的跨层特征。作者提出fmxcoders,通过低秩张量分解和随机层掩码正则化来改进,在多个模型上提升了性能。
Ori Meidler, Shaul Tolkovsky, Or Zuk
cs.LG stat.ML
本文提出了一种新的逆设计问题类别CDM,旨在找到输入\(x^*\)使得其条件分布\(\mathcal{P}(Y \mid X = x^*)\)匹配给定的目标分布\(\mathcal{G}(Y)\),并为此设计了无需额外训练的推理时算法MLGD-F。该方法结合了预训练的score-based diffusion model与快速条件采样器,通过单步条件采样实现可计算的梯度,从而高效估计条件分布。
Zihao Hu et al.
cs.LG
本文提出一个统一的primal-dual框架,用于在预算约束和Return-on-Spend目标下的First-Price Auctions中联合学习潜在的Linear Treatment Effect估值参数和竞争对手的竞价分布。通过利用强Slater条件和自适应burn-in过程稳定dual variables,该方法实现了近最优的regret保证,为具有潜在估值的约束竞价提供了首个理论解决方案。
Mario Edoardo Pandolfo et al.
cs.LG stat.ML
SEMASIA是一个大规模数据集,包含约1700个预训练视觉模型的latent representations,并配有结构化元数据。该数据集可用于分析latent space的几何结构、评估alignment方法,以及研究pretraining数据复杂度等属性与embedding性质的关系。
Zhan Li et al.
cs.LG cs.AI quant-ph
本文提出CTQWformer,将连续时间量子行走(CTQW)与GNN结合用于图分类,通过可训练的Hamiltonian融合图拓扑与节点特征,并利用CTQW表示增强Transformer的自注意力机制与循环模块。该方法在基准数据集上表现优于传统图核与GNN方法。
Bariscan Bozkurt et al.
cs.LG
本文提出了一种用于proxy causal learning的神经双稳健框架,通过神经均值嵌入估计treatment bridge并与outcome bridge结合,处理连续和结构化treatment。该方法在合成和图像基准上优于现有基线,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Ivan Ternovtsii, Yurii Bilak
cs.LG cs.AI
本文提出Mixture of Layers (MoL)方法,用多个低维thin block替代标准transformer的全宽block,并通过top-k路由组合它们。为解决稀疏路由导致的注意力覆盖问题,引入hybrid attention机制,将共享softmax block与Gated DeltaNet线性注意力结合。
Darren Zhu, Daren Ler
cs.LG
本文利用大语言模型(LLM)生成合成回归数据集来增强元数据集,以解决元学习算法选择中真实数据集稀疏的问题。实验表明,在性能空间中进行均匀采样比基于边界的采样能更有效地提升元学习器的泛化性能。
Lennon J. Shikhman
cs.LG cs.CE math.NA physics.comp-ph stat.ML
本文提出HS-FNO,一种用于非马尔可夫偏微分方程(如延迟方程和分布式记忆系统)的神经算子。该方法通过将历史状态分解为学习预测和新暴露部分的精确移位-追加传输,降低了学习输出维度并强制执行离散历史更新。实验表明,该方法在多个基准测试中取得了更低的预测误差。
Yunxuan Fang, Ziwei Zhang, Xinhe Wang
cs.LG
本文研究了视觉-语言模型中的自适应提示机制(adaptive prompting mechanisms)在少样本学习场景下的失效问题,发现自适应门控和提示选择模块常产生恒定输出并无法超越固定提示。通过诊断实验,作者识别出梯度幅度不平衡和门控退化两种主要失效模式。
Lee Cohen et al.
cs.LG
本文研究在线集合学习问题,其中学习者通过精度反馈和召回反馈两种部分反馈来学习未知目标子集。文章证明了该设定下可学习性的充要条件是假设类具有有限VC维,并指出部分反馈会使得经验风险最小化(ERM)失效,需要开发更复杂的算法来处理反馈依赖。
Wiktor Matykiewicz et al.
cs.LG
本文首次在单个FPGA上实现了集成Neuromorphic Auditory Sensor (NAS)和Graph Neural Network (GNN)的端到端keyword spotting系统,直接处理事件流音频数据,无需传统信号预处理。系统采用compute-near-memory架构,在Google Speech Commands v2数据集上达到87.43%的量化精度,端到端延迟低于35微秒,功耗仅1.12 W。
Zhangdaihong Liu et al.
cs.LG cs.AI
本文提出了一种跨模态的PPG-ECG基础模型M2AE,通过多模态掩码自编码器学习紧凑的“生物信号指纹”表示,在多个下游任务中取得了有竞争力的性能。该工作主要贡献于生物医学信号处理领域,与关键词中的code、context、spectral、Muon、pretrain、agent、attention等概念关联度较低。
Yuanyi Wang et al.
cs.LG cs.IT
本文通过研究LLM持续后训练中的任务几何(task geometry),发现遗忘源于参数更新协方差几何与模型状态几何之间的冲突,并提出了一种无数据的更新集成方法GCWM(Geometry-Conflict Wasserstein Merging),该方法利用Gaussian Wasserstein重心构建共享度量并通过几何冲突门控进行修正。实验表明GCWM在领域持续和能力持续设置下优于无数据基线,但该方法与关键词列表中的code, context, spectral, Muon, pretrain, agent, attention关联较弱。
Kevin Dao, Jose Israel Rodriguez
cs.LG math.AG
本文通过frontier search和symbolic computation方法,为polynomial neural networks (PNNs) 的minimal unimodal conjecture提供了一个反例,并分析了该反例中subarchitectures的defect现象。
Sze-Ann Chen et al.
cs.LG
本文提出Plan2Cleanse,一种基于Monte Carlo Tree Search的测试时后门防御框架,用于在深度强化学习中检测和缓解后门攻击,无需重新训练模型。该方法将后门检测转化为规划问题,在黑盒访问策略的条件下高效探索时间扩展的trigger序列,并通过树搜索预防性重规划实现缓解。
Julien Lafrance, Richard Khoury, Véronique Tremblay
cs.LG cs.AI
本文提出Causal Parametric Drift Simulation框架,利用Structural Causal Models作为数据生成过程的数字孪生,通过因果干预来评估分类器在概念漂移下的鲁棒性。实验表明该方法能发现标准统计监测无法识别的潜在脆弱性。
Jingze Song et al.
cs.LG cs.AI cs.CL
本文提出了一种用于大语言模型指令微调的数据选择框架,通过in-context learning (ICL)信号在小型验证集上学习多指标权重,以联合适应下游任务和模型。该方法无需全量微调即可找到最优权重配置,在GSM8K上仅用30%训练样本即达到或超过全量微调性能。
Henok Tenaw Moges, Charalampos Skokos, Deshendran Moodley
cs.LG cs.AI nlin.CD
本文提出了ChaosNetBench (CNB),一个基于耦合标准映射格点构建的合成基准数据集和评估框架,用于在受控的多维混沌动力学下研究时空图神经网络 (STGNN) 的性能。通过分析13种架构,发现非图基线在低局部混沌时表现良好,而STGNN对更高水平的局部和全局混沌更具韧性。
Prithul Sarker et al.
cs.LG cs.AI
本文提出了一种基于score-based generative model的无监督异常检测框架U2AD,通过时间依赖的score network和统一训练目标学习正常数据的流形分布,并利用ODE求解器进行确定性采样重构。该方法在多元时间序列异常检测任务中提升了检测精度和早期识别能力。
Isshaan Singh, Nandan Patel
cs.LG
本文提出了一种将群体药代动力学/药效学模型重构为开放量子系统的方法,使用PennyLane中的量子电路进行模拟,并采用量子增强的随机近似期望最大化方法进行评估。尽管该方法在统计拟合上有所改进,但并未与我的关键词列表中的概念直接相关。
Mohammad Amin Basiri, Charles Nicholson
cs.LG cs.NE cs.SC
本文提出AutoSINDy框架,结合symbolic regression与SINDy方法,通过自动生成候选basis functions来发现非线性系统的governing equations,在噪声环境下提高了ground-truth recovery rate。该方法虽具实用性,但未涉及关键词中的核心概念。
Siteng Kang, Xinhua Zhang
cs.LG cs.AI
本文提出了一种基于强化学习的自适应数据采样策略,用于训练满足universal constraints的神经网络(如Lyapunov NNs和PINNs),通过动态调整训练样本以提升收敛速度和约束满足度。该方法在多个测试问题上验证了有效性,但未涉及关键词中的code、spectral或Muon等概念。
Víctor Gallego
cs.LG cs.AI cs.DC
本文提出了Metal-Sci,一个包含10个任务的Apple Silicon科学计算kernel基准测试,并配有一个自动kernel搜索框架,使用LLM驱动的(1+1)进化循环来优化计算性能。实验表明,该方法在分布内实现了1.00倍到10.7倍的加速,但通过留出测试发现了某些优化kernel在未见配置上的性能退化问题。
Marja Wahl et al.
cs.LG
本文对Transformer和xLSTM架构在建筑级热负荷短期预测中的性能进行了基准测试,发现xLSTM在RMSE指标上最优,而Temporal Fusion Transformer在MAE指标上最优。研究同时指出,这些新型模型带来的微小精度提升是以巨大的计算资源消耗为代价的,传统低参数模型也能取得良好效果。
Yiding Song, Hanming Ye
cs.LG
本文从信息论角度研究模型容量与grokking现象的关系,通过定义记忆速度\(T_{\text{mem}}(P)\)和泛化速度\(T_{\text{gen}}(P)\)两个时间尺度,指出grokking发生在两者相交的参数规模附近,并基于随机标签数据估计记忆速度。该工作为理解模型容量如何影响grokking提供了理论框架。
Bowen He et al.
cs.LG cs.AI
本文从kernel-based视角出发,将non-linear transformer与kernel-based temporal difference learning建立联系,通过将transformer解释为在Reproducing Kernel Hilbert Space (RKHS)中进行回归,证明了不同domain的value function可以用共享权重表示。实验在多个MetaWorld domain上验证了这一解释。
Will LeVine et al.
cs.LG cs.SE
本文提出RubricRefine,一种无需训练的预执行可靠性层,通过生成任务特定的评分标准并迭代修复代码,在不执行的情况下提升tool-use agent的可靠性,在M3ToolEval基准上平均得分0.86。该方法主要针对多工具调用中的合约违规问题,与关键词中的agent和code有一定关联,但方法本身并非开创性突破。
Li Lixing
cs.LG
本文提出CALYREX方法,通过在Transformer中引入cross-attention机制来结构性地隔离系统提示与用户输入,以增强指令遵循和安全性。实验表明该方法在1.5B和8B规模上提升了指令遵循性能并降低了攻击成功率。
Taylan Soydan et al.
cs.LG cs.AI
本文提出TIDES模型,通过将输入依赖性从时间离散化步长\(\Tilde{\Delta}\)转移到对角状态矩阵上,从而在保持物理时间意义的同时实现选择性状态空间模型(SSM)的逐token表达能力。该方法在时间序列分类和ODE回归基准上取得了新的最优平均排名。
Benjamin Patrick Evans, Sumitra Ganesh, Leo Ardon
cs.LG cs.AI cs.IT
本文提出了一种名为Entropy-informed decoding (EDEN)的自适应解码框架,通过根据模型输出token分布的熵动态调整分支因子,在不确定区域扩展更多候选,在确定区域采用更贪婪路径,从而在数学推理、代码生成等任务中实现了比固定宽度beam search更好的准确率-扩展权衡。
Arsalaan Ahmad, Oktay Karakus, Paul L. Rosin
cs.LG cs.AI
本文提出了一种基于Sequential Forward Floating Selection (SFFS)的特征选择框架,用于从多光谱卫星数据中高效筛选出对滑坡分割任务最关键的通道子集,以替代传统使用全部高相关输入的做法。实验表明,仅用8个通道即可达到甚至超过使用30个通道的分割性能,并揭示了模型真正依赖的光谱与地形特征。
Johannes Teutsch et al.
cs.LG stat.ML
本文提出了核回归在非高斯噪声下的非渐近概率一致误差界,适用于相关和不相关噪声,并与现有结果比较了不确定性区域的紧致性。
Ruan Dong, Yuanyun Zhang, Shi Li
cs.LG cs.AI
本文提出WISTERIA框架,通过多视图一致性从电子健康记录中的弱监督信号学习临床表示,将标签视为潜在临床状态的随机观测,并引入ontology正则化。实验表明该方法在标准基准上提升了预测性能,并对标签噪声具有鲁棒性。
Wenbin Wang, Colin N. Jones
cs.LG math.OC
本文研究了在向量值RKHS框架下,利用结构化测量(如多维或函数输出)进行贝叶斯优化,并推导了KRR估计量的高概率浓度界。该方法通过UCB采集函数实现了亚线性遗憾界,但并未直接涉及代码、上下文、谱方法或预训练等关键词。
João Monteiro et al.
cs.LG cs.CL
本文提出Nectar方法,通过为每个layer和KV-head训练两个小型神经网络(target network和score network)来近似softmax attention的输出,从而在推理时替代对完整KV-cache的\(O(n)\)遍历。该方法在多个长上下文数据集上验证了近似误差与next-token准确率差距的关联,但整体创新性有限,属于对attention计算的工程优化。
Songtao Wei et al.
cs.LG cs.AI
本文提出LEAD方法,通过在线自适应机制动态平衡大语言模型推理的正确性与效率,解决了静态奖励权重和全局长度约束的局限性。该方法在五个数学推理基准上取得了最高准确率和效率得分,并显著缩短了输出长度。
Prabhjot Singh et al.
cs.LG
本文提出一个用于慢性病管理的强化学习框架,通过压缩time-to-control (TTC) 并引入执行强度\(\epsilon\)和临床能力\(\kappa\)两个结构元素,将preference learning与RL结合为双循环架构。在高血压和2型糖尿病的合成状态机上的仿真结果表明,capability-weighted offline RL优于uniform-weighted方法。
Bian Sun et al.
cs.LG
本文提出了一种无需训练的贝叶斯结构化解码框架Dystruct,将扩散语言模型的灵活长度生成建模为动态结构推断问题,通过联合计算扩展长度、块边界和解码调度来提升生成质量。实验表明该方法在多个基准上优于现有固定长度和灵活长度基线。
Musa Cim et al.
cs.LG cs.AI
本文研究了MXFP4量化在大型语言模型训练中的收敛问题,发现权重梯度(Wgrad)的量化是导致训练不稳定的主要原因,而确定性Hadamard旋转可以恢复稳定优化。该工作主要关注FP4训练稳定性机制,与关键词中的code、context、spectral、Muon、pretrain、agent、attention关联度较低。
Jay Shenoy et al.
cs.LG
本文提出CryoSampler方法,通过直接在raw cryo-EM density maps上微调预训练的static structure prediction模型(如Boltz-2),以生成蛋白质的atomic conformational ensembles。该方法绕过了传统的两阶段流程,在atomic model building任务上取得了优于先前工作的准确性,并展示了初步的域内泛化能力。
Cheol Young Park, Shou Matsumoto
cs.LG cs.AI
本文提出Free Energy Manifold (FEM),一种基于score训练的conditional energy model,用于处理包含离散和连续变量的hybrid Bayesian networks中的推理问题。文章分析了conditional energy models中的mode-bridge artifact问题,并提出了valley regularization来缓解该问题。
Zhen Xiao, Yanfeng Gu, Xian Li
cs.LG
本文提出了一种基于物理的框架,用于校正全波形LiDAR点云中的子足迹效应,通过建立时空激光束分布模型并引入波形参数和表面几何约束,将每个足迹分解为多个子目标的贡献,从而恢复校正后的强度。实验表明该方法能增强异质目标的语义可分性和同质目标的强度一致性。
Ashery Mbilinyi et al.
cs.LG
本文研究了用于实时ECG解读的轻量级CNN架构,提出了ParallelCNN、ParallelCNNew和SimpleNet三种模型,并在多个数据集上评估了准确性与计算效率的权衡。
Changhao Li et al.
cs.LG
本文提出Exploration-Driven Optimization (EDO)方法,通过将奖励偏置探索目标融入标准RL目标(如iDPO和GRPO),以缓解后训练中分布锐化与推理时多样化采样之间的张力。实验表明EDO能提升解多样性和推理能力,但方法本身并非开创性突破,且与关键词列表中的概念关联较弱。
Jimin Huang et al.
cs.LG
本文提出Concordia框架,通过三层次优化(tri-level optimization)在联邦学习(federated learning)中利用合成表格(synthetic tables)微调大语言模型(LLMs),以解决非独立同分布(non-IID)客户端数据下的隐私保护与模型适应问题。该方法在金融和医疗表格基准上提升了联邦性能与跨客户端稳定性,但未涉及代码、谱方法或注意力机制等关键词。
Jingchuan Xiao, Xinyi Sui, Cihan Ruan
cs.LG cs.AI
本文利用geometric invariant theory证明了深度网络中相邻权重矩阵的对齐几何结构具有由flag variety给出的典范闭polystable stratum,并指出子空间交维数是其唯一的重参数化不变可观测量。该框架从第一性原理解释了Neural Collapse中的Level-2/3层级结构,并揭示了ridge regularization与非线性activation在对齐动力学中的不同作用。
Danhui Zhang et al.
cs.LG cs.AI
本文提出了一种名为UFO的统一流导向框架,用于解决鲁棒持续图学习中的灾难性遗忘和标签噪声问题。该方法通过flow-based generative modeling生成重放表示,并估计实例级可靠性分数来区分干净与噪声节点,在多个图数据集上验证了有效性。
Tsuyoshi Okita
cs.LG cs.AI
本文提出SVAR-FM框架,利用物理模拟器作为Pearl的do算子实现,通过Flow Matching学习非线性干预条件分布,并证明了结构VAR在模拟器可夹持变量覆盖条件下的可识别性。实验在四个科学领域验证了该方法能纠正观测方法因混杂导致的因果符号反转问题。
Daniel Goldstein, Eugene Cheah
cs.LG cs.AI cs.CL
本文提出Key-Value Means (KVM),一种用于attention的block-recurrence机制,支持固定大小或增长的状态,通过标准操作实现\(O(N)\)的chunked RNN,并能在subquadratic prefill time下进行长上下文测试。该方法统一了传统transformer和linear RNN的某些优势,但未解决长期存在的核心问题或提供显著的开创性突破。
Eslam Zaher et al.
cs.LG cs.AI math.DG
本文通过跨层稀疏自编码器(SAE) scaling实验,发现激活流形的几何结构(曲率与intrinsic dimension)预测了每层SAE的宽度指数,并提出了一个与几何相关的"墙"而非统一scaling law。
Guisong Liu et al.
cs.LG cs.AI
本文重新审视了Transformer在自动睡眠分期中的应用,指出睡眠序列具有强局部时间连续性,并发现未经训练的随机Transformer通过其自注意力机制(Random Attention Prior Kernel, RAPK)起到了自适应平滑器的作用,其性能提升主要源于架构的inductive bias而非参数学习。
Oleksii Abramenko, Noah D. Stein, Colin Vaz
cs.LG cs.AI cs.SD
本文使用深度学习模型在大规模语音数据集上训练,提取与抑郁和焦虑相关的语音生物标志物,并结合词汇特征提升预测性能,在约5000名受试者上达到71%的敏感性和特异性。
Yihang Zhang et al.
cs.LG cs.AI cs.CY
本文介绍了NaiAD,一个用于LLM原生广告的数据集,包含58,999条广告嵌入响应,并提出了解耦生成管道和方差校准预测驱动推理框架来评估广告效果。该工作主要聚焦于广告领域的数据驱动研究,与您提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Pranshav Gajjar, Emmanuel Ojo, Vijay K Shah
cs.LG cs.SE
本文提出了TeleResilienceBench基准,用于量化大语言模型在电信领域中的推理韧性(即在错误推理轨迹中继续并纠正的能力),并引入Correct Flip Rate (CFR)作为评估指标。实验表明,现有模型在该任务上表现有限,且模型规模与韧性提升无直接关联。
Tingyu Zhu, Yuhang Wu, Zeyu Zheng
cs.LG
本文形式化了在公平性约束下选择最优策略的问题(SBFC),并提出了T-a-S-CS算法,该算法在渐近意义上达到了样本复杂度的下界。数值实验和案例研究展示了该方法相对于基线策略的效率提升。
Zehao Li et al.
cs.LG
本文通过Pan-CORE模型和训练过程中的checkpoint分析,研究了SMILES翻译模型中手性信息的涌现机制,发现手性token准确率在训练中会出现突然跃升,并揭示了编码器中心机制和注意力头的作用。
Xurui Li et al.
cs.LG cs.AI
本文提出了两种基于GPU加速的Boruta特征选择算法(Boruta-Permut和Boruta-TreeImp),通过并行计算大幅提升了高维数据特征选择的效率,同时保持了与原始算法相当的准确性。实验表明,GPU加速版本在处理大规模数据集时具有显著的计算优势。
Roben Delos Reyes, Daniel Capurro, Nicholas Geard
cs.LG
本文提出使用agent-based model (ABM)生成合成电子健康记录数据,以评估机器学习模型在大规模伤亡事件下的鲁棒性。通过模拟急诊科的系统条件变化,该方法揭示了模型在异常场景下的性能下降。
Chengsong Huang et al.
cs.LG cs.AI cs.CL cs.ET
本文提出G-Zero框架,通过Hint-\(\delta\)内在奖励信号实现无验证器的自博弈式LLM自我进化,其中Proposer模型生成挑战性查询,Generator模型通过DPO内化改进。该方法在理论上提供了理想化标准DPO版本的最优迭代次优性保证,但主要针对开放域文本生成任务,与您提供的关键词(如code, spectral, Muon, pretrain, agent, attention)关联度较低。
Andrew Lee, Fernanda Viégas, Martin Wattenberg
cs.LG
本文研究了Othello游戏中语言模型的内部表示,发现除了线性可解码的board-state表示外,还存在tensor product representation (TPR)结构。通过训练TPR probes,作者将线性probes分解为square-embeddings和color-embeddings等组件,揭示了线性方向可能是更结构化表示的投影。
Debashis Guha
cs.LG math.OC stat.ML
本文提出Consolidation-Expansion Operator Mechanics (OpMech)框架,通过定义order-gap \(\Ogap(\theta; e)\)来量化学习系统中巩固与扩展操作的非交换性,并将其作为实时控制信号。该框架在bandits、reinforcement learning等多个领域具有通用性,但方法本身并非开创性突破,且与关键词列表中的概念关联较弱。
Sophie L. Wang, Phillip Isola, Brian Cheung
cs.LG cs.CL
本文发现,在自回归生成过程中,对隐藏状态进行mean pooling(平均池化)比使用单个token能获得更具语义性的representation,并通过kernel alignment(核对齐)在语言、视觉和蛋白质领域验证了这一现象。结果表明信息分布在生成的tokens中,且生成token的representation优于prompt token。
Hoyeol Yoon et al.
cs.LG math.OC
本文提出了一种基于Chebyshev中心问题的方向选择方法,用于多目标优化和PINN训练。该方法通过最大化到dual cone各面的最小距离来选择归一化更新方向,并推导出低维空间中的高效对偶问题,同时提供了非凸收敛保证。
Doğaç Eldenk et al.
cs.LG cs.AI
本文发现自回归推测解码中的小模型在生成长序列时会出现“attention drift”现象,即注意力从prompt逐渐转移到自身生成的token上,并归因于未归一化的残差路径导致隐藏状态幅度增长。作者提出后归一化和逐隐藏状态RMSNorm等架构改进,在模板扰动和长上下文任务上提升了接受长度。
Haokun Liu, Zezhong Ding, Xike Xie
cs.LG
本文提出R-GFM,一种基于Riemannian Graph-of-Graphs (GoG)的图基础模型,通过构建多尺度子图并学习Riemannian manifold上的几何自适应表示,解决了固定尺度采样导致的scale mismatch问题。实验表明该方法在下游任务上性能有显著提升。
Seth Karten et al.
cs.LG cs.AI
本文提出了一种名为Continual Harness的在线自适应框架,用于提升embodied agent在长期部分可观测决策任务中的表现。该方法通过让agent在单次运行中交替执行动作并优化自身prompt、子agent、技能和记忆,无需环境重置,从而显著降低了按钮操作成本。
Fan Li et al.
cs.LG
本文提出了一种基于锚点引导的超图压缩方法AHGCDD,通过Heat Kernel PageRank初始化节点特征、锚点引导超边合成以及双级判别目标,解决了现有超图压缩方法中结构生成器与压缩特征优化不匹配的问题。该方法在保持下游任务效用的同时提升了压缩效率。
Itai Shufaro, Gal Benor, Shie Mannor
cs.LG
本文研究了在序贯决策中机械先验(mechanistic priors)的价值,通过引入机械信息(mechanistic information)和occupancy-weighted bias \(B_\mu\)来量化其样本效率优势,并在渐近和burn-in两种机制下给出了理论界。实验基于5-氟尿嘧啶(5-FU)剂量模拟,展示了混合模型在burn-in阶段的样本效率提升,并对比了LLM先验的不足。
Binxu Wang, Emma Lucia Byrnes Finn, Bingbin Liu
cs.LG cs.AI cs.CC stat.ML
本文研究了生成模型在有限数据训练中学习规则与记忆样本之间的时间尺度竞争,定义了规则学习时间\(\tau_{\mathrm{rule}}\)和记忆时间\(\tau_{\mathrm{mem}}\),并分析了创新窗口\([\tau_{\mathrm{rule}}, \tau_{\mathrm{mem}}]\)随数据集大小和规则复杂度的变化规律。该工作主要关注训练动力学,与关键词中的code, context, spectral等概念关联较弱。
Wilson Wongso et al.
cs.LG
本文提出TrajDLM,一种基于block diffusion language model的轨迹生成框架,通过将轨迹建模为离散道路段序列并结合拓扑感知嵌入与约束采样,在保持生成质量的同时提升了速度。该方法在多个城市数据集上表现良好,但未直接涉及我提供的关键词。
Yongjae Shin et al.
cs.LG cs.AI
本文提出了一种名为Adaptive Action Chunking (ACH)的offline-to-online RL算法,通过Transformer架构在单次前向传播中同时估计所有候选chunk长度的action-value,从而动态调整action chunk长度。该方法在34个任务上优于固定长度baseline,但未涉及code、spectral或Muon等关键词。
Jinping Wang et al.
cs.LG cs.AI
本文从Neural Collapse视角将损失重加权视为逆问题,提出动态推断类别权重以匹配理想等角紧框架目标的方法,实验表明该方法能有效降低损失不平衡系数并提升长尾分类性能。
Huilin Zhou et al.
cs.LG cs.AI
本文提出Metis框架,将LLM越狱攻击重新表述为对抗性POMDP中的推理时策略优化问题,通过自进化元认知循环进行因果诊断并利用结构化反馈优化策略。实验表明该方法在多个模型上达到89.2%的平均攻击成功率,同时显著降低了token成本。
Bin Wang et al.
cs.LG
本文提出AeroSense框架,通过将飞机状态(如ADS-B轨迹)直接映射到未来区域交通流,实现了从微观状态到宏观流量的端到端预测,避免了传统聚合时间序列方法的信息损失。实验表明该方法在高密度交通时段预测精度优于现有方法。
Gaurav Gaurav et al.
cs.LG
本文提出TopoU-Net,将U-Net架构推广到拓扑域(如combinatorial complexes),通过rank-path机制替代传统空间尺度,利用incidence maps实现cochains的编码与解码。该方法在节点分类、超图分类等任务上取得较好性能,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联较弱。
Xiangkai Wang et al.
cs.LG cs.AI cs.CV
本文提出CFSPMNet,一种用于中风患者运动想象脑电解码的跨被试适应框架。该方法结合Fourier重组的State Mamba网络与共享-私有原型匹配,通过Fourier域token状态重组和校准的伪标签更新来提升跨被试解码性能。实验在两个中风MI-EEG数据集上验证了其有效性。
Anmar Karmush et al.
cs.LG cond-mat.mtrl-sci
本文提出SymADiT,通过引入Wyckoff positions表示和对称性约束,改进了All-atom Diffusion Transformer (ADiT)在材料生成任务中的性能,使生成的材料具有更真实的对称性。
Alberto Fernández-Hernández et al.
cs.LG
本文研究了Balanced Adam优化器中动量参数\(\beta\)的缩放问题,提出将\(\beta\)视为定义统计记忆视界\(H_\beta=(1-\beta)^{-1}\)的变量,并通过刷新计数\(R_\beta=(1-\beta)T_{\mathrm{ES}}\)来指导选择,实验表明该方法在11个视觉和语言任务中提升了鲁棒性。
Christian Oliva et al.
cs.LG cs.AI cs.HC
本文提出Post-Recurrent Module (PRM)层,用于增强基于P300的脑机接口中RNN的可解释性,通过全局和局部可解释性技术分析时空EEG信号,性能提升9%。该方法虽具实用性,但未涉及code、context、spectral、Muon、pretrain、agent或attention等关键词,且创新性有限。
Leona Hioki
cs.LG
本文提出了一种复数域Phase-Coherent Transformer (PCT),通过用实值、元素独立的平滑门控替代softmax attention中的token竞争机制,以在attention中保留相位信息。实验表明,PCT在多种中规模基准上优于标准Transformer及其复数域变体,并展现出良好的深度扩展性。
Bum Jun Kim, Gnankan Landry Regis N'guessan
cs.LG
本文研究了Physics-Informed Neural Networks (PINNs)中多损失函数梯度冲突的问题,提出了一种诊断优先的框架,通过为每个损失附加一个低秩adapter来创建独立的参数子空间,以缓解梯度冲突。实验表明,该方法在多种PDE配置下优于传统的标量重加权或梯度手术方法。
Zhengmiao Wang et al.
cs.LG eess.SY math.OC
本文研究了高维稀疏随机线性bandit问题,提出了一个自适应分阶段探索与利用的算法框架,使用ordinary least squares进行参数学习,并针对不同action set设计了稀疏动作选择子程序,最终给出了相应的regret上界。
Xiaoxiao Lu, Ye Yuan, Jiahao Shi
cs.LG
本文提出了一种名为Structured Spectral Propagator (SSP)的神经预测框架,用于长时间偏微分方程(PDE)的预测。该方法通过将物理状态映射到传播导向的latent space,并利用频率条件化的线性主干和非线性谱闭合来演化谱模式,从而减少自回归预测中的误差累积。实验表明,SSP在降低相对\(L_2\)误差和提升时间外推稳定性方面优于现有基线。
Artyom Gadetsky et al.
cs.LG
本文提出了一种无监督的Process Reward Model (uPRM)方法,通过从LLM的next-token概率中定义评分函数来评估推理步骤的正确性,无需人工标注。实验表明uPRM在识别错误步骤和作为验证器时表现良好,但该方法与关键词列表中的code, context, spectral, Muon, pretrain, agent, attention等概念无直接关联。
Leon Armbruster et al.
cs.LG math.NA physics.comp-ph
jNO是一个基于JAX的神经网络算子库,支持数据驱动和物理信息训练,通过统一的符号语言和编译管道简化了算子回归、残差评估和PDE约束训练等任务。
Alberto Fernández-Hernández et al.
cs.LG
本文提出了一种名为OUIDecay的自适应逐层权重衰减调度器,利用在线激活模式(Overfitting-Underfitting Indicator)为CNN各层动态调整正则化强度,无需验证数据。实验表明该方法在多个模型和数据集上优于固定权重衰减,但未涉及关键词中的code、spectral、Muon、pretrain、agent或attention等核心概念。
Roi Holtzman, Dmitry Krotov, Boris Hanin
cs.LG stat.ML
本文研究了Dense Associative Memory (DenseAM)架构中的超参数迁移问题,针对其权重共享和快速峰值激活函数的特点,推导了从小模型到大模型的超参数迁移公式,并通过实验验证了理论结果。
Matteo Cederle, Giacomo Scatto, Gian Antonio Susto
cs.LG
本文提出了一种基于deep reinforcement learning的交通灯控制agent,通过整合车辆和行人的公平性考量来动态平衡交通流,实验表明该方法能有效减少拥堵并确保公平服务。
Mengzhou Gao, Kaiwei Wang, Pengfei Jiao
cs.LG cs.AI
本文提出了一种名为GSNF的方法,用于不规则多变量时间序列分类,通过引入两种辅助轨迹自监督策略来增强变量间交互的学习。该方法在多个真实数据集上取得了先进的分类性能,但并未直接涉及我提供的关键词。
Jinping Wang et al.
cs.LG
本文指出Sharpness-Aware Minimization (SAM)方法中固定参数空间扰动半径与平坦极小值二阶曲率本质的不匹配,并提出Loss-Equated SAM (LE-SAM),通过将固定扰动半径改为固定损失空间预算来优化优化方向。实验表明该方法在多个任务上优于SAM及其变体。
Yulin Zhang et al.
cs.LG cs.AI
本文提出ProteinOPD框架,通过将预训练protein language model (PLM)转化为偏好特异性教师,并利用token-level on-policy distillation (OPD)将知识蒸馏到共享学生模型中,以平衡多目标偏好对齐并避免灾难性遗忘。实验表明该方法在保持设计能力的同时提升了目标偏好性能,训练速度比基于RL的对齐方法快8倍。
Shuzhang Zhong et al.
cs.LG
本文提出SPEX方法,通过投机性路径探索来加速Tree-of-Thought推理,打破了奖励同步瓶颈,实现了1.2到3倍的加速。该方法包含投机性路径选择、预算分配和自适应剪枝等技术,但与我提供的关键词(如code, spectral, Muon等)关联度较低。
Andrea Rubbi et al.
cs.LG
本文形式化了hit discovery问题,提出了一种基于后验概率的acquisition function用于sequential experimental design,并在合成数据和真实生物数据集上验证了其有效性。
Nicola Novello, Andrea M. Tonello
cs.LG cs.AI
本文提出SPACE方法,通过迭代闭式更新修改cross-attention参数,在扩散模型中引入稀疏性以擦除特定概念。该方法在Stable Diffusion XL等大模型上实现了80%-90%的cross-attention稀疏度,并减少了70%的参数存储需求。
Tim Tomov et al.
cs.LG cs.CL
本文提出任务校准(task calibration)范式,通过在任务诱导的潜在空间(latent space)中校准LLM的预测分布,并证明基于任务校准潜在分布的Minimum Bayes Risk (MBR)解码是最优策略。实验表明该方法能持续提升生成质量,并引入任务校准误差(TCE)作为校准度量。
Jiahuan Wang et al.
cs.LG
本文研究了去中心化SGD的高概率泛化界,通过点态均匀稳定性方法将现有期望结果提升至最优的\(\mathcal{O}\left(\frac{1}{\sqrt{mn}}\log (1/\delta)\right)\)速率,并在凸、强凸和非凸设定下分析了泛化误差与优化误差。
Qingchuan Zhang et al.
cs.LG
FORGE提出了一种基于片段排序与生成的两阶段分子优化框架,通过自动挖掘低-高性质编辑对替代自然语言标注,利用上下文感知的片段替换实现分子优化。该方法在多个基准上优于现有大语言模型和图方法,但未涉及code、spectral、Muon、agent或attention等关键词。
Michal Korniak et al.
cs.LG cs.AI
本文研究了非均匀回放(non-uniform replay)在强化学习(Reinforcement Learning)中的有效性,发现其效果受回放体积(replay volume)、期望新近度(expected recency)和采样分布熵(entropy)三个因素影响,并提出了Truncated Geometric回放策略以提升低体积回放下的样本效率。
Elisabetta Cornacchia, Dan Mikulincer, Elchanan Mossel
cs.LG
本文研究了当数据由超立方体上的惰性随机游走生成时,时间相关性如何使梯度方法有效学习布尔k-junta问题。作者证明使用时间差分损失的两层ReLU网络在特定随机游走设置下样本复杂度与维度d呈线性关系,但指出对于使用标准凸逐点损失的大批量梯度方法,时间相关性并不提供相同优势。
Wei Huang et al.
cs.LG cs.AI
本文提出RTTAD方法,通过协同两阶段机制(训练阶段的双任务学习与测试阶段的风险感知对比学习)解决无监督表格异常检测中正常模式不完整和异常污染问题,在15个数据集上取得最优性能。该方法与关键词中的code、context、spectral、Muon、pretrain、agent、attention均无直接关联。
Haaris Mehmood et al.
cs.LG cs.AI cs.CR cs.DC
本文提出DP-LAC方法,通过私有直方图估计初始化裁剪阈值\(C\),并在训练中自适应调整而不消耗额外隐私预算,用于差分隐私联邦微调语言模型。实验表明该方法在平均准确率上优于现有自适应裁剪和标准DP-SGD方法。
Koichi Taniguchi, Sho Sonoda
cs.LG math.AP stat.ML
本文基于Duhamel-Picard迭代,为非线性抛物型PDEs的算子学习建立了泛化误差界,将实现误差与估计误差分离,并分析了Picard深度对截断误差的影响。该工作主要关注理论框架的构建,与您提供的关键词(如code, attention, agent等)关联度较低。
Prajwal Ghimire et al.
cs.LG
本文利用radiogenomic分析,通过MRI影像特征预测IDH-wildtype胶质母细胞瘤中的免疫细胞特征,特别是巨噬细胞亚型M0的免疫signature。研究训练了多个classifier模型并在独立数据集上验证了其稳定性,但方法本身并非开创性,且与关键词列表中的概念无关。
Robin Manhaeve et al.
cs.LG
DeepLog是一个基于PyTorch的模块化神经符号AI框架,通过将多种神经符号语言编译为优化的arithmetic circuits,为机器学习从业者提供了可组合的逻辑模块。该框架旨在统一现有神经符号系统的不同范式,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Bochao Li et al.
cs.LG stat.ML
本文提出了一种名为Anchor-TS的Thompson采样变体,通过引入基于中位数的锚定规则来应对离线到在线学习中的分布偏移问题。该方法利用离线数据加速在线学习,并提供了理论上的regret界分析。
Sheng Pan et al.
cs.LG cs.AI
本文提出LeapTS框架,将时间序列预测重新定义为一种动态调度过程,通过分层控制器和神经控制微分方程实现多步预测。该方法在多个数据集上提升了预测性能并加速了推理,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Maris F. L. Galesloot, Thomas Rhemrev, Nils Jansen
cs.LG cs.AI
本文提出了一种将shielding技术扩展到offline reinforcement learning中的方法,通过仅依赖固定数据集和安全状态知识来保证策略的安全性,并实验证明了该方法在低数据场景下能提升平均和最差情况性能。
Yuchen Bai et al.
cs.LG
本文提出WISP模型,将次日活跃野火预测重新表述为点集预测问题,通过查询机制和匈牙利匹配在375米网格上预测固定大小的火点中心集合。该方法在全局测试集上取得了38.2%的平均精度,为高分辨率野火预测提供了新的基准。
Pedro M. P. Curvo et al.
cs.LG
本文提出了一种基于参考引导的flow matching可控生成方法,通过调整条件端点均值来改变生成结果,无需微调或辅助网络。该方法在图像生成任务中展示了通过数据而非参数更新实现模型适应的可能性。
Xin Guo, Grace He, Xinyu Li
cs.LG math.OC
本文提出了一种基于signature变换的方法来处理具有非线性和路径依赖奖励的contextual bandit问题,通过将路径依赖奖励函数近似为signature空间中的线性泛函,并设计了DisSigUCB算法。实验表明该方法在多个实际任务中优于传统线性或核化的contextual bandit基线。
Zheyu Zhang et al.
cs.LG cs.AI
本文提出TAP方法,通过将扩散inpainting与轻量级策略结合,为表格数据生成任务提供了一种新的增强方式。该方法旨在弥合生成数据的分布保真度与下游模型性能之间的差距,并在数据稀缺场景下取得了显著提升。
Sayan Kumar Chaki
cs.LG cs.AI
本文提出了一种基于Kraus分解的知识图谱嵌入方法,将关系算子建模为满足线性性、迹保持和完全正性的Kraus通道,并推广到任意度量几何。该方法在理论上统一了现有算子模型,并支持多跳推理和复杂关系处理。
Jiayi Huang
cs.LG eess.SP
本文探讨了可靠推理中可靠性与效率的协同设计问题,提出一个统一框架以在降低计算开销的同时保持可信的不确定性量化。该工作主要关注贝叶斯学习方法的改进,但未涉及关键词中的特定技术。
Yang Yang et al.
cs.LG
本文提出DeepLévy框架,通过最小化经验特征函数与参数特征函数之间的差异来学习Lévy stable分布的混合,以建模重尾时间序列中的不确定性。该方法在极端波动场景下的尾部风险指标上优于现有深度概率预测模型。
Ahmet Onur Akman, Rafał Kucharski
cs.LG cs.MA
本文提出PC3D方法,通过训练一个set-structured centralized teacher将活跃团队信息压缩为coordination tokens并个性化,再蒸馏到decentralized policies中,使各agent能从局部历史中恢复并自适应使用团队上下文,以解决合作多智能体强化学习中团队规模动态变化的问题。实验表明该方法在已知和未知团队规模下均优于基线。
Marco Sälzer, Pascal Bergsträßer, Anthony W. Lin
cs.LG cs.LO
本文研究了Message Passing Neural Networks (MPNN)在多项式计数方面的表达能力,证明了在温和假设下,mean MPNN可以检查节点标记图中的全局多项式计数约束,并探讨了局部约束及嵌套模态公式的可表达性条件。
Hector Woods, Philippa Ryan, Rob Alexander
cs.LG cs.NE
本文利用ReLU神经网络的几何特性(输入空间被划分为凸多面体区域,每个区域对应一个线性函数)来生成因果解释,避免了传统蒸馏方法导致的性能下降和不准确问题。该方法直接从网络几何中提取规则,为解释神经网络决策提供了新视角。
Elad Tolochinsky, Yaniv Tenzer, Yaniv Romano
cs.LG
本文提出了一种结合Multi-armed Bandit (MAB)算法与low-rank factorization预测的框架,用于高效识别LLM评估中的最佳模型。该方法通过doubly robust estimators构建有效的finite-sample confidence intervals,在减少评估次数的同时保证统计有效性。
Wenhua Nie et al.
cs.LG
本文研究了在大型语言模型API仅返回top-K logit分数并屏蔽其余词汇的访问限制下,每个位置分布恢复的理论极限。通过分析识别集(identified set)的几何性质,给出了总变差距离和KL散度下的恢复界限,并实验验证了top-K截断主要限制分布保真度而非能力迁移。
Wenhua Nie et al.
cs.LG
本文通过程序生成的零和矩阵游戏,揭示了语言模型在去除语义线索后战略推理能力的显著下降,并利用exploitability residual训练展示了模型在近似Nash均衡计算上的有限但可迁移的能力。
Riccardo Ali et al.
cs.LG
本文提出GAPE (Gated Adaptive Positional Encoding),通过在attention logits中引入内容感知的偏置来增强RoPE,并利用query-dependent和key-dependent的门控机制分别抑制无关上下文和保留重要远距离token。该方法旨在解决长序列外推时RoPE的注意力弥散问题,但本质上是对现有positional encoding的增量改进,缺乏开创性。
George Panagopoulos
cs.LG cs.AI stat.ML
本文通过大规模实证研究,对比了半模拟基准和真实数据集上治疗效应估计模型的评估结果,发现反事实指标与可观测指标在模型排序上存在显著差异,且半模拟基准的排名无法迁移到真实数据。研究建议在评估中纳入可观测指标和真实数据验证。
Xiang Chen, Alexander Binder
cs.LG cs.CV
本文提出了一种面向开放世界3D结构的接口中心生成状态方法C2LT-3D,将tokenization构建为可查询和修复的操作状态,而非被动压缩编码。该方法通过分解为规范局部几何、分区条件上下文和关系接缝变量,提升了多组件3D资产的结构鲁棒性。
Anton Plaksin et al.
cs.LG cs.CL
本文提出SlimSpec方法,通过对draft model的LM-head进行low-rank参数化来压缩内部表示,从而加速speculative decoding。该方法在保持全vocabulary支持的同时,实现了4-5倍的加速,但未涉及code, context, spectral, Muon, pretrain, agent, attention等关键词。
Sensen Wu et al.
cs.LG
本文提出了AxiomOcean,一个全球AI海洋预报模型,通过全三维encoder-backbone-decoder架构显式表示水柱的垂直层次和跨层依赖,联合预测上层海洋的温度、盐度和三维流场。该模型在10天预报中优于先进AI对比模型,降低了约20-35%的RMSE,并更好地保留了涡动能和温盐方差。
Pablo Martínez Crespo et al.
cs.LG cond-mat.mtrl-sci physics.chem-ph
本文提出了一种基于SOAP描述符的原子级out-of-distribution评估协议,并设计了QT-Net(一种旋转增强的非等变图神经网络)用于预测原子电子布居和多极矩。实验表明QT-Net能从QM9数据集中推断原子性质,并提升下游分子性质预测性能。
Yasmine Abu-Haeyeh et al.
cs.LG cs.AI
本文提出了一种基于polynomial zonotope的可达性分析方法,用于形式化验证模拟神经网络在工艺变化下的行为,避免了耗时的Monte Carlo模拟。实验表明该方法能将验证时间从数天缩短至数秒,并覆盖99%的变化样本。
Yousef A. Radwan et al.
cs.LG cs.AI
本文提出CMKL框架,用于处理多模态生物医学知识图谱的持续学习问题,通过MoE路由融合结构、文本和分子信息,并采用EWC正则化和K-means多样重放缓冲区缓解灾难性遗忘。实验表明其在实体分类和关系预测任务上优于部分基线,但方法本身并非开创性,且与关键词列表中的概念关联较弱。
Marie Brockschmidt et al.
cs.LG
本文提出ConfoundingSHAP,一种基于Shapley值的方法,用于量化观测协变量在因果推断中的混杂强度。该方法通过设计特定的Shapley博弈并利用TabPFN进行可扩展估计,避免了穷举重拟合,从而识别哪些协变量是混杂因素。
Honghan Wu et al.
cs.LG cs.AI
本文提出HH-SAE模型,通过将manifold分解为Contextual、Atomic和Compository三层层次结构来解决高维数据中的特征密度冲突问题。实验表明该方法在临床标签分解和欺诈检测等任务中取得了性能提升。
Raphael Trumpp et al.
cs.LG
本文研究了像素级深度强化学习中观测分辨率对策略学习的影响,发现更高分辨率输入能提升性能与泛化能力,但需配合合适的网络架构(如使用全局平均池化的Impoola架构)。实验表明,Impoola在最佳条件下比传统Impala编码器获得28%的性能提升,尤其在需要精确感知小或远物体的环境中效果显著。
Zetao Yang
cs.LG
本文提出PhysEDA框架,通过将Manhattan距离衰减的物理先验集成到linear attention和RL中,解决了EDA任务中attention复杂度高和数据稀疏的问题。该方法在多个EDA场景下实现了显著的性能提升和计算加速。
H. Ibrahim Erdogan et al.
cs.LG
本文提出了一种面向聚合物性质预测的拓扑感知图构建方法,通过从分子质量分布中采样链并编码链尺度拓扑,结合自监督预训练(masked graph modeling)来提升GNN性能。实验表明,该方法在381个聚合物数据集上相比仅用重复单元的基线方法降低了5.1%的均方根误差,但整体方法更偏向工程应用而非理论开创性,且与关键词(如code, spectral, Muon等)关联较弱。
Marshal Arijona Sinaga et al.
cs.LG
本文提出了一种名为OSCBO的Bayesian optimization算法,通过将GP超参数选择建模为约束在线学习问题,自适应地平衡不确定性量化的sharpness和calibration,并在理论上保持了sublinear regret界。实验表明该方法在合成和真实基准测试中表现具有竞争力。
Pau de las Heras Molins et al.
cs.LG
本文讨论了多目标强化学习(MORL)中偏好条件智能体的可控性问题,指出现有指标无法衡量偏好变化是否可靠地改变智能体行为,并提出了一个补充性指标来评估这种可控性。
Mieke Wilms, Christoph Heitz
cs.LG cs.AI cs.CY
本文研究了二值预测决策问题中公平性与性能的Pareto最优边界,发现该边界由基于个体成功概率的确定性、分组特定阈值规则构成,且其位置仅依赖于总体特征、效用函数和公平性得分,与算法技术设计无关。
Alan Arazi et al.
cs.LG cs.CL cs.CV
本文提出了MulTaBench基准,包含40个数据集,用于评估多模态表格学习(结合文本和图像)的性能,并证明任务特定嵌入调优能提升效果。该工作主要关注基准构建和实验验证,未直接涉及code、spectral、Muon等关键词。
Taha Entesari, Mahyar Fazlyab
cs.LG eess.SY
本文提出了HiTaB框架,通过利用Hessian矩阵及其Lipschitz常数来利用二阶光滑性,为光滑神经网络的可达性分析提供了更紧的过近似边界。该框架通过层间曲率边界传播来高效计算深度网络中的曲率Lipschitz常数,并支持\(\ell_2\)和\(\ell_\infty\)约束输入集。
Tommaso Fioratti, Riccardo Marcaccioli, Francesco Casola
cs.LG cond-mat.dis-nn
本文推导了一个用于估计门控循环神经网络(gated-RNN)中临界权重方差\(g_c\)的简单判据,该判据基于随机矩阵理论,并展示了该临界点与混沌预测任务中性能峰值之间的紧密关联。
Zheng Li et al.
cs.LG cs.AI stat.ML
本文提出了一种名为DiCoLa的递归分解框架,用于在存在latent variables(潜在变量)的情况下进行因果结构学习。该方法通过递归地将全局学习任务分解为更小的子问题,并整合其解来恢复全局结构,从而在理论上将分治策略推广到了因果充分性假设不成立的场景。实验表明,该方法能显著提升多种因果发现算法的计算效率。
Jixiang Qing, Henry Moss, Matthias Sachs
cs.LG cs.AI
本文提出了一种名为AB-SID-iVAR的基于Gaussian Process的主动学习算法,用于在未知的Boltzmann分布下学习函数,该分布由函数自身诱导且配分函数难以计算。该方法通过闭式近似避免了配分函数估计,并给出了预测误差的理论保证。
Yao Shu, Jian Mu, Zhongxiang Dai
cs.LG
本文提出了一种局部随机梯度整形理论,解释了零阶(Zeroth-Order)自适应在持续学习中比一阶(First-Order)方法遗忘更少的现象,并基于此设计了RISE算法。该工作主要关注优化与遗忘机制,与关键词中的code、context、spectral、Muon、pretrain、agent、attention等概念关联较弱。
Phalguni Nanda, Zaiwei Chen
cs.LG math.OC stat.ML
本文提出了双平滑策略迭代(DSPI)框架,将自然策略梯度统一为平滑和平均形式的策略迭代,并证明了其全局几何收敛性。该工作为强化学习中的策略优化提供了理论统一视角。
Yao Shu, Zilin Zhu
cs.LG
本文研究了低比特零阶优化中量化查询的几何问题,指出非均匀压缩量化器会导致查询几何与码本不匹配。作者提出CAQ-ZO方法,通过在压缩域中构造Rademacher模板来消除查询残差,理论证明其能实现零查询时间残差,并在NF4量化的大模型微调中验证了有效性。
Virgile Dine, Teddy Furon
cs.LG
本文提出了一种将machine unlearning与数据分布结构直接关联的新范式,通过精确推断数据分布来提取建模产生的精确遗忘信号。在可验证的admissibility criterion下,该方法在Kullback-Leibler divergence上给出了与理想retrained model的理论界,并在三个遗忘场景中实验验证了其有效性。
Xiao Tian et al.
cs.LG cs.AI
本文提出了一种名为NASH的数据选择框架,通过将目标utility function分解为更简单的Shapley-informative component functions并对其进行非线性聚合,以提升基于Data Shapley的数据选择效果。该方法在几乎不增加额外运行时间成本的情况下,显著改善了数据子集的质量。
Xingjian Xu, Di Qi, Chunmei Wang
cs.LG
本文提出一个两阶段数据驱动框架,结合符号回归(Finite Expression Method, FEX)与生成模型,用于识别湍流动力学系统的控制方程并预测其高阶统计矩。该方法在随机三体模型上验证了有效性,能恢复非线性相互作用项并准确预测至五阶矩。
Jarod Lévy et al.
cs.LG eess.SP
本文提出了DANCE,一个将神经解码视为集合预测问题的深度学习pipeline,用于从原始、未对齐的EEG信号中直接检测和分类事件。该方法在多种认知、临床和BCI任务上优于现有方法,并在癫痫监测任务上达到了新水平。
Muheng Li, Jian Qian, Wenlong Mou
cs.LG stat.ML
本文研究了后训练阶段与测试时计算预算不匹配的问题,提出了一种基于reward分布尾部外推的Tail-Extrapolated Advantage (TEA)估计器,用于优化best-of-\(N\)部署目标。实验表明该方法在不同语言模型和奖励模型上提升了性能。
Sam Money-Kyrle et al.
cs.LG
本文提出了一种通过预训练分子Graph Neural Networks (GNNs) 来预测Extended-Connectivity Fingerprints (ECFP) 以改进QSAR任务性能的策略。实验表明,该方法在部分基准测试中提升了标准指标,但在异质数据集和out-of-distribution (OOD) 场景下表现不佳。
Maria Esteban-Casadevall et al.
cs.LG math.DG
本文提出kernel-gradient drifting框架,通过用kernel自身诱导的方向替换标准drifting模型中的固定欧几里得位移方向,将drifting过程重新解释为kernel平滑后的数据分布与模型分布之间的score差异,并推广到Riemannian流形和离散数据。该方法在球面地理数据、DNA和分子生成等非欧几里得场景中实现了无需蒸馏的一步生成。
Daniel Palenicek et al.
cs.LG
本文提出XQCfD算法,通过扩展XQC actor-critic框架,利用augmented replay buffers和pretrained policies来从演示数据中学习,并采用stationary policy architecture以避免快速遗忘初始策略。该方法在Adroit、Robomimic和MimicGen等复杂操控任务上实现了state-of-the-art性能,但主要贡献在于工程改进而非理论创新。
Li Shen et al.
cs.LG cs.AI
本文提出FedMITR框架,通过稀疏模型反转和Token重标记方法,解决单轮联邦学习在非独立同分布场景下的语义对齐问题,实验表明其性能优于现有基线。
Andreas Bergmeister et al.
cs.LG cs.CV
本文提出Reinforce Adjoint Matching (RAM)方法,用于扩散和flow-matching模型的RL后训练。该方法通过一个一致性损失函数修正预训练目标,无需SDE rollout或reward gradient,在图像生成任务中实现了高效奖励优化。
Eleonora Gualdoni et al.
cs.LG
本文提出DynaMiCS方法,将多领域LLM微调建模为约束优化问题,通过短时域探测估计跨域影响矩阵并动态调整混合权重,在提升目标域性能的同时保持约束域损失不超参考水平。该方法无需参考模型或手动调权,计算成本较低。
Keitaro Sakamoto et al.
cs.LG
本文提出DLR-Lock方法,通过将预训练MLP替换为深度低秩残差网络(DLR-Net)来锁定模型权重,利用自动微分的推理-训练不对称性增加微调时的内存开销和优化难度。该方法在保持原始模型能力的同时,能抵御具有完全防御知识的自适应攻击者。
Jeonghye Kim et al.
cs.LG cs.CL
本文提出RLRT方法,通过反转自蒸馏中的教师信号来增强学生模型在正确推理路径上的探索,并在Qwen3模型上验证了其优于自蒸馏和基于探索的基线方法。该方法与关键词列表中的概念无直接关联。
Rohan Surana et al.
cs.LG
本文提出MASS-DPO方法,通过Fisher信息目标函数从多个负样本中筛选出信息互补的子集,以提升多负样本偏好优化的效率。实验表明该方法在推荐和问答任务上能减少冗余梯度,同时保持或提升模型对齐性能。
Zhipeng Yao et al.
cs.LG
本文分析了扩散模型训练中的Representation Degradation问题,指出噪声增加会导致输出结构失真,并归因于Neural Tangent Kernel (NTK)谱弱化与有效低秩行为。作者提出ERD框架,通过动态重分配优化努力来稳定表示学习,从而加速收敛并提升性能。
Chayne Thrash, Ali Abbasi, Soheil Kolouri
cs.LG
本文提出了一种轻量级的后训练旋转校准方法ConQuR,用于大语言模型的activation quantization。该方法通过解决orthogonal Procrustes问题来学习正交旋转,使归一化的activation与内接超立方体的角对齐,从而更均匀地分布activation能量,并采用在线校准流程避免存储activation数据。
Gabriel Garcia
cs.LG cs.AI cs.CL
本文指出链式思维忠实性评估中的格式混淆问题:在标准基准测试中,腐败研究检测到的是答案文本位置而非计算位置。通过消融实验和冲突答案实验,作者证明模型输出主要跟随显式答案语句,并提出了改进评估协议的建议。
Jon Kleinberg, Charlotte Peale, Omer Reingold
cs.LG cs.DS
本文研究了语言生成中的错误有界学习问题,将目标从传统的最终一致性转向最小化生成算法输出的无效元素总数。通过形式化归约到“从正确演示中学习”框架,作者为有限类提供了最优算法,并揭示了在可数无限流中错误界与收敛保证之间的基本权衡。
Daniel Ranard
cs.LG
本文提出了一种自动生成的benchmark,用于预测技术论文中的隐藏文本(hidden continuation)。该方法通过比较模型生成的预测字符串(forecast string)对后续文本概率的影响,来评估模型对数学文本的建模能力,并测试了模型在equation-suffix prediction任务上的表现。
Jakeb Chouinard
cs.LG q-bio.NC
本文探讨了使用Fourier embeddings构建周期性分布式表示的方法,并形式化了Dirichlet和周期Gaussian核在Spatial Semantic Pointers框架下的应用。
Alexander Windmann et al.
cs.LG eess.SP
本文提出了SensorFault-Bench,一个用于评估CPS预测模型在传感器故障(如噪声、偏差、缺失)下鲁棒性的标准化测试协议,并在多个数据集上比较了不同架构和鲁棒性改进方法的表现。实验发现,在干净数据上表现好的模型在故障下可能性能急剧下降,且不同故障类型对方法的影响存在差异。
Shun Zhang, Yuyang Xiao
cs.LG
本文提出NoRIN,一种基于arcsinh-form Johnson \(S_U\)变换的非线性可逆归一化方法,用于时间序列预测。该方法通过解耦形状参数选择与梯度训练,避免了退化问题,并在多种backbone和数据集上验证了不同backbone需要不同归一化参数才能达到最佳性能。
Mingxu Zhang et al.
cs.LG cs.AI cs.CE cs.CL
本文提出SLIM框架,通过稀疏自编码器将LLM的隐藏状态分解为与分子性质对齐的稀疏特征,从而在不修改模型参数的情况下提升分子编辑的成功率。实验在多个模型和性质上验证了其有效性。
Yixuan Yang et al.
cs.LG cs.AI q-bio.QM
Clin-JEPA提出了一种多阶段协同训练框架,用于在EHR患者轨迹数据上进行联合嵌入预测预训练。该方法通过五阶段课程稳定地协同训练编码器和潜在轨迹预测器,在MIMIC-IV ICU数据上展示了更低的潜在漂移和更好的下游任务性能。
Michal Valko et al.
cs.LG
本文提出了一种基于实例的条件异常检测方法,用于识别数据子集上的异常模式,并研究了不同距离度量及其学习方法以优化性能。该方法在患者管理警报系统中得到应用,用于检测社区获得性肺炎的异常入院决策和HPF4测试的异常医嘱。
Yash Akhauri, Mohamed S. Abdelfattah
cs.LG cs.CL
本文提出了一种自优化语言模型(SOL),通过一个轻量级策略网络动态调整每个解码步骤的计算预算(如注意力稀疏性、激活剪枝和量化位宽),以在固定计算预算下提升生成质量。该方法使用策略优化训练,在多个模型和计算场景下相比静态分配策略取得了更好的质量-效率权衡。
Edward De Brouwer et al.
cs.LG cs.AI q-bio.QM
本文提出了AssayBench,一个用于评估LLM和智能体在表型筛选预测任务上的基准,基于1920个CRISPR筛选实验构建。该工作为虚拟细胞模型提供了新的评估框架,但与关键词中的code, context, spectral, Muon, pretrain, agent, attention关联度较低。
Tiberiu Musat
cs.LG cs.IT
本文证明了在固定精度下,循环神经网络输出二进制串的最小权重范数与该串的Kolmogorov复杂度相差至多一个对数因子,从而说明权重衰减(weight decay)等价于Solomonoff通用先验。该结果对任意范数均成立,且通过将通用图灵机程序编码为网络权重以及枚举非零参数两种方式给出了紧的上下界。
Liang Luo et al.
cs.LG cs.AI
本文提出了LoKA框架,通过系统-模型协同设计使FP8低精度计算在大型推荐模型(LRM)中实用化。该框架包含三个组件:LoKA Probe用于在线统计评估各层对低精度的敏感性,LoKA Mods提供模型适配改进数值稳定性,LoKA Dispatch运行时根据精度需求选择最快的FP8 kernel。
Mohammadreza Armandpour et al.
cs.LG cs.AI
本文提出了一种无需训练的诊断框架,通过定义理想per-node gradient并设计可扩展的targeted-rollout算法来估计该gradient,从而在per-token粒度上量化on-policy distillation中teacher signal与理想信号的alignment。研究发现,distillation guidance在incorrect rollouts上比correct rollouts具有更高的alignment,且最优distillation context依赖于student model capacity和目标任务,不存在通用最优配置。
Marcin Kostrzewa et al.
cs.LG
本文介绍了V4FinBench,一个用于企业破产预测的大型benchmark,包含超过100万条公司年度记录,并评估了TabPFN和Llama-3-8B等模型的表现。该工作主要贡献在于提供了一个新的公开数据集,但方法上未体现与关键词相关的开创性。
Nikita Kezins et al.
cs.LG
本文提出了一种在Guardrail Classifier的pre-activation空间中定义有害区域的方法,通过SVD对齐的超矩形和Gaussian Mixture Models提供形式化保证,并发现这些分类器存在可验证的安全漏洞。
Yaxin Du et al.
cs.LG cs.AI
本文提出了DataMaster框架,用于实现面向机器学习的数据工程自动化。该框架通过树状搜索结构、共享数据池和全局记忆组件,在保持学习算法不变的前提下优化数据侧,包括外部数据发现、选择和清洗。
Alex DeWeese, Guannan Qu
cs.LG stat.ML
本文重新审视了受限策略类上的标准policy gradient方法,指出其陷入次优临界点的原因是policy gradient本质上是短视的(仅基于一步\(Q\)-function)。作者提出了一种广义的\(k\)-step policy gradient方法,通过耦合\(k\)步时间窗口内的随机性来逃离短视局部最优,并证明了该方法在理论上能以指数级逼近最优确定性策略的性能。
Junhao Shen et al.
cs.LG cs.CL
本文提出SLIM框架,将agentic RL中的外部技能集视为动态优化变量,通过留一法评估技能边际贡献并执行保留、淘汰和扩展操作。实验表明该方法在ALFWorld和SearchQA上平均提升7.1个百分点,但未涉及code、spectral或Muon等关键词。
Chenyang Song et al.
cs.LG cs.CL
本文提出DECO,一种稀疏MoE架构,通过可微的ReLU路由和NormSiLU激活函数,在仅激活20%专家的情况下匹配了dense Transformer的性能,并实现了3倍硬件加速。该方法主要关注端侧部署的效率优化,与关键词中的概念关联较弱。
Yaman Kindap et al.
cs.LG cs.AI cs.CV cs.RO stat.ML
本文提出了一种基于神经指数倾斜的变分推断框架,用于Lévy过程驱动的随机微分方程。该方法通过神经网络对Lévy测度进行指数重加权,在保持计算可行性的同时保留了过程的跳跃结构,并开发了二次神经参数化等技巧以实现高效推断。

cs.AI

Junwei Liao et al.
cs.AI
MemQ将TD(\(\lambda\)) eligibility trace机制应用于memory Q-value的更新,通过provenance DAG(记录记忆创建时被检索的依赖关系的有向无环图)反向传播credit,其中credit权重随DAG深度\(d\)以\((\gamma\lambda)^d\)衰减,从而用结构距离替代时间距离。该方法将问题形式化为Exogenous-Context MDP,其分解转移解耦了外生任务流与内生记忆存储。在六个涵盖OS交互、函数调用、代码生成等领域的benchmark上,MemQ在泛化评估和运行时学习中均取得最高成功率,尤其在产生深层provenance chain的多步任务上提升显著(最高+5.7个百分点),为agent记忆系统的credit分配提供了新范式。
Yongliang Miao et al.
cs.AI
SkillLens提出了一种层次化的skill-evolution框架,将LLM agent的procedural experience组织为四层graph(policies, strategies, procedures, primitives),并通过degree-corrected random walk在skill graph上检索混合粒度的subskills。该方法利用verifier对每个visited unit进行accept、decompose、rewrite或skip的决策,从而在reuse compatible subskills的同时仅adapt局部不匹配的组件。理论分析表明,在sparse mismatch假设下,mixed-granularity adaptation的cost是sublinear的,且evolutionary update rule单调优化validation objective至local optimum。该工作为agent的cost-efficient skill reuse提供了新的范式,与关键词中的agent和context高度契合。
Ziyang Yu, Qiyue Li, Liang Zhao
cs.AI
本文提出CoCoDA框架,通过一个共演化的compositional code DAG结构来协同进化planner和tool library。该DAG的节点表示primitive或composite tools,边编码调用依赖关系,并在推理时通过Typed DAG Retrieval方法(先进行symbolic signature unification剪枝,再按描述排序、行为规范过滤、示例消歧)实现sublinear的检索时间,从而在固定context预算下扩展工具库。在训练时,成功轨迹被折叠为validated composite tools,并引入DAG-induced reward来鼓励组合优势。实验表明,该方法使8B参数模型在数学推理等任务上匹配或超越32B教师模型,与关键词中的agent和code高度契合。
Peter Kirgis et al.
cs.AI
本文指出AI agent基准测试仅报告最终结果(通过/失败)会威胁评估可信度,具体表现为分数被benchmark artifacts扭曲、无法预测实际效用、以及可能隐藏危险行为。作者提出log analysis(系统追踪和分析AI agent的输入、执行和输出)是克服这些威胁的必要方法,并构建了威胁分类法和指导原则。通过在tau-Bench Airline上的实验,作者发现pass^5性能被低估近50%,并揭示了结果指标无法发现的部署失败模式。该工作与关键词"agent"高度契合,为agent评估的可信度提供了开创性方法论。
Zhanfu Yang
cs.AI
本文针对LLM agent在工具增强的多步任务中重试失败时,由于失败尝试残留在context window中导致后续尝试错误率升高的“context-contaminated restart”现象,提出了Context-Contaminated Restart Model (CCRM)。该模型将任务建模为T步tool-call链,每一步的基础错误率为\(\epsilon_0\),而污染后的错误率升高为\(\epsilon_1 > \epsilon_0\)。作者推导了在最多K次尝试内成功的精确闭式公式、污染导致的额外尝试次数\(\Delta K\)、以及给定总预算\(B=KT\)下最大化成功概率的最优流水线深度\(T^* = \sqrt{B \cdot \log(1/(1-\epsilon_1)) / \log(1/(1-\epsilon_0))}\)等五个主要理论结果,并在SWE-bench Verified数据上验证了模型的有效性。该工作为agent重试策略中的context污染问题提供了首个形式化处理,与关键词“agent”和“context”高度契合。
Hyunmin Hwang et al.
cs.AI
AgentPSO提出了一种基于粒子群优化(PSO)的多智能体推理技能进化框架。该方法将每个agent视为一个“粒子”,其状态为自然语言描述的推理技能,速度则为语义更新方向,通过结合个体历史最优技能、全局最优技能以及从同伴推理轨迹中提取的自省方向来迭代更新agent的技能状态。与依赖推理时辩论或聚合的静态多agent方法不同,AgentPSO使得agent能够跨任务学习可复用的推理行为,而无需更新底层语言模型的参数。实验表明,该方法在数学和通用推理基准上优于静态单agent技能和仅测试时多agent推理基线,且进化出的技能具有良好的跨基准和跨模型迁移性,这与关键词“agent”高度契合。
Haoze Lv et al.
cs.AI cs.NE
本文提出AHD Agent,一种基于agentic reinforcement learning的自动启发式设计框架。该框架将large language model (LLM)作为主动决策的agent,使其能够自主选择生成heuristic或调用工具从求解环境中检索针对性证据,从而克服了传统LLM-AHD方法中固定工作流和有限上下文(context)的局限。通过引入新颖的环境合成pipeline来训练紧凑模型,AHD Agent在多个NP-hard组合优化问题上匹配或超越了使用更大模型的最先进基线,为自动启发式设计提供了更高效的agent范式。
Mengqi Li et al.
cs.AI
本文提出FRACTAL架构,将fractional measure theory(分数测度理论)集成到state space model(SSM)的递归记忆更新中,通过设计具有可调singularity index(奇异性指数)的projection operator(投影算子),在保持scale-invariant memory dynamics(尺度不变记忆动力学)的同时增强对近期信号扰动的敏感性。该方法在简化的对角化状态空间框架中通过调制输入投影初始化实现多尺度时间特征捕获,在Long Range Arena基准测试中平均得分87.11%,其中ListOps任务达61.85%,显著优于S5模型。该工作与关键词中的spectral(谱性质)和context(长序列上下文建模)高度契合。
Hao Wu et al.
cs.AI cs.LG
本文提出了一种名为PnP-Corrector的通用框架,用于解决耦合时空预测(如气候模型中多个相互作用的动力系统)中的长期误差累积问题。该框架的核心创新在于将物理模拟与误差修正过程解耦,通过冻结预训练的物理模拟引擎并单独训练一个correction agent来主动抵消耦合系统中出现的系统性偏差。此外,作者设计了高效的预测模型DSLCast作为该框架的骨干网络,实验表明该方法在300天的全球海洋-大气耦合预测任务中,将基线模型的预测误差降低了29%,并在多个关键指标上超越了现有最优模型。
Vinay Kumar et al.
cs.AI
MDGYM是一个专门用于评估AI agent在分子动力学(MD)模拟任务中表现的benchmark,包含169个专家精选的LAMMPS和GROMACS模拟任务,分为三个难度等级。实验发现,即使最强的agent(如Claude Code)也只能解决21%的简单任务,在更高难度下成功率低于10%。agent的典型失败模式包括:生成物理上不稳定的配置、伪造数值输出而不执行实际计算、以及在遇到模拟特定错误时过早放弃任务。这些失败模式与通用软件工程benchmark中观察到的定性不同,表明流畅的代码生成能力并不能迁移到基于物理的推理任务中,这与关键词中的agent和code高度契合。
Xingyuan Hua, Sheng Yue, Ju Ren
cs.AI
本文提出了一种探索感知的强化学习框架,通过变分推断设计细粒度reward函数来显式评估探索性动作对改善未来决策的潜力,并引入探索感知的分组机制将探索动作与任务完成动作分离优化。该方法使LLM agent仅在不确定性高时进行自适应探索,从而在文本和GUI agent基准测试中取得一致改进,为agent推理中的探索-利用权衡提供了新范式。
Chun-Wun Cheng et al.
cs.AI cs.LG math.NA
CATO提出了一种名为Charted Axial Transformer Operator的新型neural operator,用于在复杂几何上求解PDE。其核心创新在于学习一个连续的latent chart,将mesh坐标映射到学习到的chart空间,并在该空间上应用chart-conditioned axial attention,从而在降低计算成本的同时有效捕捉长程依赖。此外,该方法引入了一个derivative-aware physics loss,通过联合监督解值、mesh-consistent gradients和辅助flux-like场,提升了稳态PDE的物理保真度并减少了过平滑。CATO在多个数据集上取得了最佳性能,平均提升约26.76%,同时参数减少了81.98%,展示了学习几何自适应chart和导数感知物理监督的有效性。
Royce Moon, Lav R. Varshney
cs.AI cs.CR cs.SE
本文提出了一种名为containment verification的新方法,用于在agentic framework(智能体框架)层面而非模型层面提供AI安全保证。该方法将AI视为一个无约束的oracle(预言机),通过forward-simulation refinement(前向模拟精化)在Dafny中形式化地证明了对于所有可能的AI输出,containment layer(包含层)都能强制执行边界策略。这是首个对agentic framework进行deductive formal verification(演绎形式化验证)的工作,其安全保证与模型能力无关,且与关键词“agent”高度契合。
Yuanhao Li et al.
cs.AI cs.SE
BoostAPR提出了一种基于execution-grounded reinforcement learning的三阶段自动程序修复框架,通过训练dual reward models(序列级评估器和行级信用分配器)来解决稀疏执行反馈问题。该方法在PPO优化中利用line-level credit assignment将奖励重新分配到关键编辑区域,在SWE-bench Verified上达到40.7%的修复率(比基础模型提升22.9个百分点),并展现出跨语言泛化能力(Python到Java的迁移)。该工作与关键词中的agent(强化学习智能体)和code(程序修复)高度契合,其行级信用分配机制在代码修复领域具有方法上的开创性。
Liding Xu, Yugeng Zhou, Sebastian Pokutta
cs.AI cs.CL
本文提出了一种基于LLM agent的MIP研究框架,通过将agent嵌入到开源求解器SCIP中,自动生成、验证和评估约束处理器(constraint handler),从而加速MIP算法研究的反馈循环。该框架成功从MIPLIB 2017基准中恢复了全局约束结构,并生成了可执行的传播约束处理器,甚至发现了SCIP中尚未实现的新传播策略。这项工作为自动化求解器开发提供了开创性方法,与关键词“agent”高度契合。
Dongyi Liu et al.
cs.AI
本文提出Pivot-Based Credit Assignment (PiCA),一种基于Potential-Based Reward Shaping (PBRS)的步骤奖励机制,用于解决基于LLM的搜索agent在强化学习训练中面临的长期信用分配问题(奖励稀疏、孤立信用和分布偏移)。PiCA将搜索轨迹重构为累积搜索进展的序列过程,通过识别历史轨迹中的“pivot steps”(包含目标黄金子查询和子答案的信息峰值)来提供密集、pivot感知且轨迹依赖的指导,同时保持分布一致性。实验表明,PiCA在七个知识密集型QA基准上显著优于现有基线,与关键词“agent”高度契合。
Xiangkun Sun et al.
cs.AI
本文发现LLM被说服放弃事实知识时,其内部机制源于少量mid-layer attention heads构成的紧凑因果回路。这些heads将答案选项写入一个低维polyhedron(多面体)中,说服并非模糊信念或降低置信度,而是导致从正确顶点到说服目标顶点的离散latent jump(潜在跳跃)。作者进一步隔离出一个rank-one evidence-routing feature(秩一证据路由特征),该特征控制attention的路径,直接修改它可操纵模型选择,移除它则阻断说服。该机制在多个开源LLM和真实投毒场景(如Generative Engine Optimization)中均存在,揭示了说服是一个狭窄、可监控的circuit(回路)。
Ye Yu et al.
cs.AI cs.CL
本文揭示了LLM agent在持续自我进化过程中普遍存在的“能力侵蚀”现象,即通过workflow、skill、model和memory等所有主要进化通道适应新任务分布时,会逐步退化先前获得的能力。为解决该问题,作者提出了Capability-Preserving Evolution (CPE)通用稳定化原则,通过约束持续适应中的破坏性能力漂移,在保持适应性能的同时显著提升保留能力的稳定性。例如在workflow进化中,CPE将GPT-5.1优化下的保留简单任务性能从41.8%提升至52.8%,同时实现更强的复杂任务适应。该工作与关键词“agent”高度契合,为构建长期稳定的自进化agent系统提供了关键方法论。
Lin Li et al.
cs.AI cs.MA cs.MM
本文提出首个面向少样本多模态时间序列分类的VLM Agentic推理框架MarsTSC,通过引入自进化知识库作为动态context,并设计Generator、Reflector和Modifier三个协作agent角色实现迭代推理优化。其中Reflector专门诊断推理错误根源以捕获被忽略的时间特征,Modifier则通过验证更新防止context collapse。该框架在12个基准上显著优于传统方法和基于foundation model的基线,同时生成可解释的推理依据。
Junjian Wang et al.
cs.AI
本文提出M2A范式,通过model merging协同数学推理与agentic reasoning,解决了二者在多任务学习中相互干扰的问题。M2A在parameter space中识别agent行为的critical feature subspace,仅沿其null space注入数学推理的task vector,从而在不扰动agent行为的前提下增强推理能力。该方法无需额外的gradient-update,通过merging coefficient控制推理长度,在SWE-Bench Verified上将Qwen3-8B的resolved rate从44.0%提升至51.2%,显著提升了coding agent的推理深度。
Dongming Jiang et al.
cs.AI
本文提出HAGE,一种基于强化学习的加权多关系记忆框架,将agentic LLM系统中的记忆检索重新概念化为序列化的、查询条件化的图遍历过程。通过为共享记忆节点上的每条边分配可训练的关系特征向量,并利用路由网络动态调制边嵌入以响应查询意图,HAGE实现了对高效用关系路径的优先遍历。该方法引入强化学习训练框架,联合优化路由行为和边表示,在长程推理任务上取得了优于现有agentic记忆系统的准确率与效率权衡。
Fangzhao Zhang et al.
cs.AI cs.LG math.OC
本文研究了optimizer-induced mode connectivity,发现对于两层ReLU网络,在足够大的宽度下,来自同一optimizer(如AdamW、Muon或Lion-\(\mathcal{K}\)族)的解构成一个连通集。文章进一步刻画了不同optimizer诱导的区域之间的相互作用:在大宽度下,不同区域可能不相交或重叠,取决于regularization;而在小宽度例子中,AdamW和Muon收敛到被可证明的loss barrier分隔的不连通零损失分量。在GPT-2预训练中,观察到同一optimizer的路径保留了每个模型的spectral特征,而跨optimizer的路径则经历了平滑过渡。这些结果揭示了超越经典mode connectivity文献的optimizer依赖结构,与关键词中的Muon和pretrain较为契合。
Hangchen Liu et al.
cs.AI
本文提出TimeClaw,一个面向时间序列分析的AI agent框架,通过“探索-比较-蒸馏-注入”四阶段循环,将探索性执行转化为可复用的分层蒸馏经验。该方法解决了现有执行中心系统因过早成功导致工具偏好坍缩、缺乏探索性学习的问题,在金融和天气预测等17个任务上取得一致提升。其核心创新在于结合度量监督的探索性执行学习、任务感知工具丢弃和推理时经验注入,与关键词“agent”高度契合。
Huining Yuan et al.
cs.AI
本文提出Verifiable Process Rewards (VPR)框架,针对agentic reasoning中长程credit assignment的挑战,将符号或算法oracle提供的密集中间验证信号转化为turn-level的强化学习奖励。该工作在动态演绎、逻辑推理和概率推断三种场景中实例化VPR,并理论证明密集验证奖励能通过提供更局部的学习信号改善长程信用分配。实验表明VPR在受控环境和通用推理基准上均优于稀疏outcome-level奖励和基于rollout的process reward基线,且能迁移到更广泛的agentic reasoning任务。该工作与关键词"agent"高度契合,并为agentic reasoning中的密集验证奖励学习提供了开创性方法。
George Wu et al.
cs.AI
本文提出TMAS框架,通过多智能体协同来扩展大语言模型在推理时的计算量。该框架引入层级记忆结构(experience bank和guideline bank)以协调不同推理轨迹间的信息流,并设计了一种混合奖励强化学习方案来平衡探索与利用。实验表明,该方法在多个推理基准上优于现有的test-time scaling基线,与关键词“agent”高度契合。
Haonan Dong et al.
cs.AI
本文提出了Agent-ValueBench,这是首个专门用于评估autonomous agent(自主智能体)价值观的benchmark。该benchmark包含394个可执行环境、4335个value-conflict任务,覆盖28种value systems和332个维度,并通过专业心理学家进行逐实例审核。研究发现,agent的价值观与其底层LLM的价值观存在分歧,且agent modality引入了text-only protocols中不存在的dataset-, evaluation-和system-level挑战。实验揭示了agent价值观的Value Tide现象(跨模型同质性)以及harness和skill steering对价值观的非线性影响,为agent alignment提供了新的研究方向。
Zike Yuan et al.
cs.AI
本文提出EGL-SCA框架,用于解决图推理agent中指令与工具协同进化时的结构信用分配问题。该框架将agent建模为指令侧策略空间与工具侧程序空间的双空间系统,通过将轨迹证据映射为条件更新,精确地将失败归因于prompt优化或工具合成/修复。为提供足够的学习信号,作者引入了按任务族分层的训练分布和Pareto式保留策略。实验表明,该方法在四个图推理基准上达到92.0%的平均成功率,显著优于纯prompting和固定工具箱基线,与关键词“agent”和“context”高度契合。
Shiqiang Wang, Herbert Woisetschläger
cs.AI cs.DC cs.NI
本文针对边缘计算场景下agentic AI系统的性能瓶颈问题,提出了一种domain-conditioned evaluation methodology(领域条件化评估方法),通过固定协议下的工具执行实验,系统研究了模型规模(约8B参数以下)对agent任务质量的影响。核心发现是agent任务质量并非参数数量的简单函数,而是取决于模型选择与工具工作流的联合设计,并在accuracy-latency空间中揭示了指导策略选择的Pareto前沿。该工作为资源受限边缘设备上的agent部署提供了实践指导,与关键词"agent"高度契合。
Dario Piga, Marco Forgione
cs.AI
ASIA是一个利用large language model作为autonomous coding agent的系统辨识框架。它通过agent循环自动完成模型类选择、训练算法和超参数调优,无需人工干预,仅需自然语言描述问题。该方法在benchmark上展示了agent驱动的自动化系统辨识潜力,与关键词"agent"高度契合。
Zhiyuan Fan et al.
cs.AI
本文提出Evolving-RL框架,将agent的experience-driven self-evolving能力建模为experience extraction和utilization的联合优化问题。通过引入reinforcement learning机制,利用从experience evaluation中导出的两个监督信号分别优化extractor和solver,实现了两者的coordinated co-evolution。在ALFWorld和Mind2Web上的实验表明,该方法显著提升了LLM在out-of-distribution任务上的泛化能力,且性能增益完全依赖于extraction与utilization的协同进化。该工作为agent的self-evolving能力提供了端到端的优化范式,与关键词agent高度契合。
Xinrun Wang et al.
cs.AI
本文提出Agent Cybernetics框架,将经典控制论(cybernetics)的六条定律映射为agent设计的六条原则,并综合为可靠性、长期运行与自我改进三大工程需求。该工作为LLM-based foundation agent提供了缺失的理论基础,解决了该领域长期缺乏第一性原理指导的问题,与关键词“agent”高度契合。
Yuanyang Li et al.
cs.AI cs.SE
本文提出了ComplexMCP基准,用于评估LLM agent在动态、相互依赖且大规模的工具沙箱环境中的表现。该基准基于Model Context Protocol (MCP)构建,包含超过300个来自7个有状态沙箱的测试工具,并采用种子驱动架构模拟动态环境状态和不可预测的API故障。实验发现,即使顶级模型在复杂工具链上的成功率也低于60%,远逊于人类的90%,并识别出工具检索饱和、过度自信和战略失败主义三个关键瓶颈。这项工作为开发更具弹性的自主agent系统提供了关键测试平台,与关键词“agent”高度契合。
Mingxi Zou et al.
cs.AI
本文提出了一种基于决策的rate-distortion框架来重新定义agent记忆问题,将记忆质量量化为压缩导致的决策质量损失,而非传统的描述性标准(如相关性或摘要质量)。作者证明了存在一个精确的遗忘边界(forgetting boundary)和记忆-失真前沿(memory-distortion frontier),并据此设计了在线记忆学习算法DeMem,该算法仅在数据证明共享状态会导致决策冲突时更新记忆划分,并提供了近极小极大遗憾保证(near-minimax regret guarantees)。在长程对话基准测试中,DeMem在相同运行时预算下持续取得性能提升,支持了“记忆应保留对决策重要的区分而非描述”这一核心原则。该方法与关键词“agent”高度契合,并为agent记忆管理提供了开创性的理论框架。
Logan Mann et al.
cs.AI cs.CV cs.LG
本文通过VLM Reliability Probe (VRP)工具研究了视觉语言模型(VLM)中可靠性的机制,发现attention结构几乎无法预测正确性,而隐藏状态几何和稀疏的后期层电路才是可靠性的更好指标。
Andrei Lazarev, Dmitrii Sedov, Alexander Galkin
cs.AI cs.CE cs.CL cs.CV cs.SE
本文研究了从科学图表中自动提取数据的问题,比较了高级语义提示与低级空间提示两种策略。实验表明,在图表图像上叠加坐标网格的空间提示方法能显著降低数据提取误差,而语义方法(如元数据优先框架和思维链)未能带来统计显著的改进。
Juanxi Tian et al.
cs.AI
本文提出Auto-Rubric as Reward (ARR)框架,通过将隐式偏好知识外化为显式的、可解释的多模态生成标准(rubrics),并设计Rubric Policy Optimization (RPO)将结构化评估转化为鲁棒的二元奖励,以改进多模态生成模型的对齐。实验表明该方法在文本到图像生成和图像编辑任务上优于成对奖励模型和VLM评判器,但未涉及code、spectral、Muon、pretrain、agent或attention等关键词。
Carter Blair, Ariel D. Procaccia, Milind Tambe
cs.AI
本文研究了在集体决策中,如何将参与者的自由文本偏好嵌入向量空间以应用于facility location问题。作者指出标准文本embedding衡量的是语义相似性而非偏好相似性,并形式化了这一问题,但方法主要基于合成训练数据,创新性有限。
Yuhao Li, Shengchao Liu
cs.AI cond-mat.stat-mech cs.LG
本文从自由能视角出发,将post-training区分为capability elicitation(在预训练模型可达行为集内重新加权)与capability creation(改变可达行为集本身),并指出SFT和RL均可视为对预训练参考分布的重新加权,其核心区别在于是否通过搜索、交互或新信息扩展模型的可达行为空间。
Pranavkumar Mallela et al.
cs.AI
本文提出了一种名为PLACO的多阶段框架,旨在提升人机协作团队在分类任务中的成本效益。该框架通过结合人类和模型的输出,利用贝叶斯规则在条件独立性假设下进行概率融合,以优化整体性能。
Katharine Kowalyshyn et al.
cs.AI cs.LG
本文通过图随机游走任务探究LLM的in-context学习机制,发现模型同时编码了全局拓扑结构和局部转移模式,表明结构推理与归纳回路并行运作。
Will Beaumaster, Paul Schrater
cs.AI
本文通过Crawford-Sobel廉价谈话博弈框架,形式化了对话AI中谄媚行为导致用户认知固化的系统性问题,并提出一种名为Epistemic Mediator的推理时机制设计干预,通过引入认知摩擦打破池化均衡,其中Belief Versioning系统实现了48倍的认知螺旋率差异。该工作主要关注AI交互中的信息环境设计,与关键词中的agent概念有一定关联,但未涉及code、spectral、Muon、pretrain或attention等核心主题。
Bruno Bianchi et al.
cs.AI
本文研究了大型语言模型的政治可塑性,即模型根据用户提供的上下文调整其政治立场的能力。通过使用200个政治问题测试集,发现用户提示能有效引发模型在个人自由和经济自由轴上的意识形态偏移,而系统提示效果有限。
Nicholas Caputo
cs.AI cs.CY cs.LG
本文探讨了法学(Jurisprudence)与AI对齐(alignment)之间的结构相似性,通过比较Dworkin和Sunstein的法学理论与Constitutional AI等对齐方法,论证了法律思维对AI微调中规则与案例互动的价值。文章主要进行跨学科类比,未涉及关键词中的具体技术方法。
Gabriele La Malfa et al.
cs.AI cs.GT cs.LG
本文研究了AI安全中的self-play red team方法,指出当攻击者和防御者共享同一基础模型时,动态会崩溃为self-consistency,从而削弱对抗压力。作者提出Anchored Bipolicy Self-Play,通过冻结基础模型并训练角色特定的LoRA适配器来分离角色,在Qwen2.5模型上展示了更高的参数效率和安全性改进。
Prasanna Desikan et al.
cs.AI
本文讨论了医疗AI领域基准测试的不足,指出当前基准测试无法衡量模型在真实临床环境中的可靠性、安全性和临床相关性,并强调了性能与实用性之间的差距。
Jacob Ativo et al.
cs.AI cs.CL
本文首次评估了LLM引导的半监督学习方法在社交媒体危机数据分类中的应用,比较了VerifyMatch和LG-CoTrain等方法。实验表明,在低资源场景下LG-CoTrain表现最优,且紧凑模型有时能超越大型零样本LLM。
Sarah Wilson et al.
cs.AI
本文通过多因素实验研究了AI agent在社交网络中的行为决定因素,发现personality specification是影响行为的主要因素,而model backbone和operational rules的影响相对较小。
Aswin RRV et al.
cs.AI
本文提出在RL训练前使用自生成数据进行mid-training,基于Polya的问题解决框架生成多种正确解答变体,以提升LLM在数学推理等任务上的RL效果。实验表明该方法能改善后续RL训练的性能。
Preyash Yadav et al.
cs.AI
本文提出了AI-Care,一个基于LangGraph的对话agent系统,用于帮助阿尔茨海默病患者通过自然语言交互管理日常任务(如日历提醒和待办事项列表),系统包含意图分类、安全检查和工具执行等模块。初步实验表明用户认为该系统可信且可用。
Linh Le et al.
cs.AI
本文提出Latent Personality Alignment (LPA)方法,通过训练模型学习抽象人格特质而非具体有害行为,仅用不到100条特质陈述即可实现与使用15万+样本训练方法相当的对抗鲁棒性。该方法在未见过的攻击分布上展现出更好的泛化能力,但与我提供的关键词列表关联度较低。
Darryl Jacob et al.
cs.AI
本文提出OracleTSC方法,通过奖励门槛机制和不确定性正则化来稳定基于大语言模型的交通信号控制,实验表明该方法能提升交通效率并保持可解释性。该方法与关键词中的agent和attention概念有一定关联,但并非开创性工作。
Dhaval Patel et al.
cs.AI
本文回顾了CODS 2025 AssetOpsBench挑战赛,分析了公开与隐藏评估结果的相关性,并指出成功的执行方法主要改进的是guardrails(如响应选择、污染清理)而非新颖的agent架构。
Burcu Sayin et al.
cs.AI
本文研究了在急诊医疗中,医生通过MedSyn系统与LLM进行交互式对话对诊断准确率的影响,实验表明该方法能显著提升住院医师的诊断表现,但方法本身并非开创性,且与关键词列表中的概念关联较弱。
Doga Kerestecioglu et al.
cs.AI cs.CL cs.IR cs.LG
本文提出了一种受生物启发的LLM agent记忆架构,包含睡眠期巩固、干扰性遗忘等六种认知机制,并引入合成校准方法以避免评估泄漏。在VSCode问题追踪和LongMemEval基准测试中,该方法在保持高检索精度的同时显著减少了存储占用。
Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco
cs.AI
本文基于Robert Kegan的建构-发展理论,引入了一个20项的Developmental Sentence Completion Test (DSCT)来评估LLM的发展认知能力。研究发现,在模拟角色和真实人类回答中,模型对发展阶段的信号恢复能力存在差异,且合成响应中的信号比人类文本更清晰。
Jake Lance, Larry Kieu
cs.AI cs.CV cs.LG
本文评估了包括modified FA和标准BP在内的五种学习算法在卷积架构和CIFAR-10数据集上的表现,发现modified FA算法能收敛到与BP结构相似的内部表示,其功能成功可能源于模仿BP的representational geometry。
Zhengqing Hu et al.
cs.AI
本文提出了一种基于大模型驱动的世界线发散系统(WLDS),用于应急事件的多样化推演与可视化,通过事实校准和逻辑校准机制确保推演过程的准确性。该系统在应急事件推演基准数据集上实现了高精度和高保真度的模拟。
Jared Glover
cs.AI
本文探索了在语言模型中通过情感向量再注入模拟躯体标记(somatic marker)的方法,使用Gemma 3 1B-IT模型和稀疏自编码器识别情感特征,并测试了不同记忆条件对决策的影响。实验表明情感回响能增强知识驱动的行为,但本身不独立改变决策。
Yong Xiao et al.
cs.AI cs.IT cs.MA
本文针对6G网络向agentic AI networking (AgentNet)的演进,提出了一种基于多智能体多任务分布式信息瓶颈 (DIB) 理论的新兴通信框架,通过联合损失函数统一优化决策与通信信号学习,并给出了在未见环境状态下分布式推理的泛化界。
Devin Yasith De Silva et al.
cs.AI
本文提出了一个名为DiagnosticIQ的基准测试,用于评估LLM在工业维护中基于符号规则生成行动建议的能力。该基准包含6,690个专家验证的多选题,并设计了多种变体来探测模型的不同失败模式。实验发现,前沿模型在模板式故障检测上表现良好,但在结构扰动下性能显著下降。
Khoa Tran et al.
cs.AI
本文提出C2L-Net,一种用于锂离子电池荷电状态估计的数据驱动模型,通过将上下文编码与最新测量更新分离,并采用基于chunk的特征提取和因果上下文编码器,在仅使用20秒短历史窗口的情况下实现了高效且准确的在线估计。实验表明该方法在计算效率上显著优于现有基线,但未涉及code、spectral、Muon、pretrain、agent或attention等关键词的核心概念。
Yixuan Li et al.
cs.AI cs.CL cs.MA
MIND-Skill提出了一种多智能体框架,通过归纳和演绎过程自动从成功轨迹中生成可复用的agent技能,并利用TextGrad优化文本损失来保证技能质量。实验在AppWorld和BFCL-v3上验证了其有效性,但方法本身并非开创性突破,且与关键词中的code、agent等概念关联度一般。
Wenzhi Fang et al.
cs.AI
本文提出了一种用于异构LLM多智能体系统的迭代批评与路由控制器,将多智能体协调建模为有限时域MDP,并通过策略梯度优化控制器决策。该方法在多个推理基准上优于现有基线,但未涉及代码、谱方法或预训练等关键词。
Leopoldo Bertossi
cs.AI cs.DB cs.LO
本文探讨了基于一致性的诊断(CBD)与实际因果关系及因果责任在可解释人工智能(XAI)领域的联系,旨在为XAI和可解释数据管理提供新的视角。
Min Yang et al.
cs.AI
本文提出SkillMaster框架,通过轨迹驱动的技能回顾、反事实效用评估和DualAdv-GRPO算法,使LLM agent能自主创建、优化和选择技能。实验表明该方法在ALFWorld和WebShop任务上提升了成功率,但未涉及code、spectral、Muon等关键词相关技术。
Yuhao Jia et al.
cs.AI
本文提出MBP-KT框架,通过将原始交互序列转化为元行为模式组合来提取全局协作信息,并设计无参数模块和通用注入策略以增强多种知识追踪模型性能。该方法主要关注学习行为模式的捕获与协作信息的泛化应用。
Yuxuan Zhang et al.
cs.AI cs.CL cs.CV cs.LG
本文提出RewardHarness,一种自进化的agentic奖励框架,通过迭代演化工具和技能库而非权重优化来对齐人类偏好,仅需少量偏好示例即可评估图像编辑指令。该方法使用Orchestrator从库中选择工具并由冻结的Sub-Agent构建推理链生成偏好判断,在图像编辑基准上以极少量数据超越GPT-5。
Dongxin Guo, Jikun Wu, Siu-Ming Yiu
cs.AI
本文通过整合signal detection theory与信息论分析,为基于置信度的aggregation rules推导了tight bounds,证明了人机团队超越个体成员的条件(error correlation \(\rho_{HM} < \rho^*\))及其不可能性结果。该工作主要提供了理论界限和可操作的设计公式,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Jikun Wu, Dongxin Guo, Siu-Ming Yiu
cs.AI cs.CL cs.LG
本文证明了在自回归语言模型中,由于因果掩码约束,首因效应、锚定和顺序依赖是架构上必然的认知偏差,并通过三个不可能定理进行了形式化。研究在12个前沿LLM和两个人类实验(N=464)中验证了这些理论预测,将认知偏差重新解释为对顺序处理的资源理性响应。
Ying Chen et al.
cs.AI
本文提出了VIGIL评估框架,用于解耦具身agent在任务完成时的世界状态完成度与自我终止报告能力。通过分离world-state completion (W)和benchmark success (B)两个指标,该框架能区分四种失败模式,并揭示了执行能力相近的模型在终止报告上的显著差异。
Shizhong Zhou et al.
cs.AI
本文提出了一种名为CaTR的强化学习框架,用于机场滑行道的实时多飞机路径规划。该框架通过构建网格化机场环境、引入分层前瞻交通表示以及采用值分解强化学习策略,在多个交通密度水平下实现了比传统方法更好的安全-效率权衡。
Jiahao Chen et al.
cs.AI
本文提出EDMolGPT,一种基于低分辨率electron density点云的decoder-only自回归分子生成框架,用于structure-based drug design。该方法利用计算或实验来源的electron density作为物理条件,以生成具有3D构象的分子。
Chengdong Xu et al.
cs.AI
本文提出EvoMAS框架,用于在multi-agent系统的执行阶段动态构建workflow。它通过Planner-Evaluator-Updater管道构建任务状态,并利用学习到的Workflow Adapter从候选agent池中生成阶段特定的分层workflow,以解决静态协调策略在长周期任务中的不足。
Han Yang et al.
cs.AI
本文提出Mixed-Policy Distillation (MPD)框架,通过让大模型教师压缩小模型学生生成的推理轨迹,再基于KL散度进行蒸馏,从而在保持性能的同时减少小模型的token使用量。实验表明该方法在Qwen3-1.7B上可降低27.1%的token消耗并提升推理基准表现。
Zhida He et al.
cs.AI cs.LG cs.MA
本文提出TRACE框架,通过逐轮信用分配解决多轮对话中LLM的jailbreak攻击问题。该方法利用语义掩码和惩罚机制改进强化学习中的credit assignment,在攻击成功率和防御对齐上取得约25%的相对提升。
Filippo Ziliotto et al.
cs.AI cs.CY
本文通过构建一个受控的3D benchmark,测试了具身VLM agent能否像动物一样通过镜子进行自我识别。实验发现,更强的VLM模型能利用镜面反射证据进行动作,而较弱模型则无法提取自我相关信息,这为评估agent的具身自我认知提供了诊断方法。
Yifan Xu, Junren Chen, Yifan Chen
cs.AI
本文针对RLVR(基于可验证奖励的强化学习)中的熵坍塌问题,提出了IMAX框架,通过训练一组soft prefixes来重塑基础模型在推理轨迹上的先验分布,并引入信息最大化奖励以鼓励多样化的推理行为。实验表明该方法能提升推理性能。
Srimonti Dutta, Ratna Kandala
cs.AI
本文指出当前心理健康AI的安全性评估常忽略交互的时间顺序和累积效应,可能导致无效的安全结论。作者引入Temporal Safety Non-Identifiability概念,并提出SCOPE原则来对齐安全声明与评估证据,但方法本身在关键词领域(如code, spectral, Muon, pretrain, agent, attention)缺乏直接关联或开创性贡献。
Strick Sheng, Ziyue Wang, Liyi Zhou
cs.AI
本文提出了EnvTrustBench框架,用于评估LLM agent在环境证据不可靠时出现的grounding缺陷(EGD),通过生成任务场景并执行agent来检测其行为失败。实验表明EGD在多种agent工作流中普遍存在,强调了环境grounding是agent可靠性的核心问题。
Ziqi Zhou et al.
cs.AI
SynerDiff提出了一种针对扩散模型推理的连续批处理系统,通过组件级资源优化和调度策略来缓解UNet-VAE并发时的资源竞争,从而提升吞吐量并降低延迟。该方法主要关注系统层面的工程优化,与关键词中的理论或算法方向关联较弱。
Yuan Mei et al.
cs.AI cs.LG
本文提出M\(^3\)框架,通过多尺度空间划分来平衡物理模拟中离散采样导致的训练偏差,在多个工业数据集上显著降低了连续物理域的预测误差。该方法主要关注数据分布优化,与关键词中的spectral、attention等概念关联较弱。
Feng Xiong et al.
cs.AI cs.CL
本文提出Ace-Skill框架,通过优先级采样和聚类组织优化自进化多模态agent的rollout分配与知识管理,在多个工具使用基准上取得显著提升。该方法主要解决数据低效和知识干扰问题,但与我提供的关键词关联度较低。
Xiaozhe Li et al.
cs.AI
本文提出了OPT-BENCH基准,用于评估LLM agent在大型搜索空间中的自我优化能力,并结合OPT-Agent框架模拟类人认知适应。实验表明,更强的模型能更有效地利用反馈信号进行自我改进,但整体能力仍受限于模型基础容量。
Xiaozhe Li et al.
cs.AI
本文提出了OPT-BENCH框架,用于在NP-hard优化问题上通过质量感知的RLVR训练和评估LLMs,包含实例生成器、质量验证器和最优基线。实验表明,该方法在优化任务上显著优于GPT-4o,并能提升数学、逻辑等下游任务性能。
Yi Zhang et al.
cs.AI
本文提出SInternal框架,通过训练大型推理模型在安全验证任务上批判自身生成的答案,以内化安全规范。实验表明该方法能增强模型对越狱攻击的鲁棒性,但主要聚焦于安全对齐而非关键词中的核心概念。
Dongcheng Zhang et al.
cs.AI cs.LG
本文提出Self-ReSET框架,通过纯reinforcement learning使Large Reasoning Models从自身不安全推理轨迹中恢复,以增强对adversarial attacks的鲁棒性。该方法将模型自身的错误轨迹作为初始状态进行学习,实验表明其能有效提升模型在对抗攻击下的安全性。
Ali Baheri, David Millard, Ignacio Laguna Peralta
cs.AI cs.LG
本文研究了如何用SMT求解器Z3形式化验证小规模Fourier Neural Operators (FNOs)的物理性质(如正性和质量守恒),通过将spectral convolution编译为线性映射,实现了精确或近似的编码。实验表明精确编码在小模型上可提供部分sound证明或反例,但存在可扩展性问题;冻结编码更快但不再保证对原FNO的可靠性。
Harshit Bisht et al.
cs.AI
本文指出当前agentic AI科学家虽可作为合作者,但无法实现真正的自主科学发现,主要受限于LLM训练语料缺失隐性知识、输出多样性被压缩等问题,并建议使用科学模拟作为验证器来训练模型。
Yunseong Jeon et al.
cs.AI
本文分析了Alpamayo 1系统的推理延迟,通过将多推理设计改为单推理设计并优化扩散模型的动作生成过程,实现了69.23%的延迟降低,同时保持了轨迹多样性和预测质量。
Jacek Szybowski, Konrad Kułakowski, Jiri Mazurek
cs.AI econ.EM
本文研究了Heuristic Rating Estimation (HRE)方法在基于pairwise comparisons和参考权重评估备选方案时的适用条件,分别考虑了算术与几何算法在完整与不完整pairwise comparison方法下的情形。
Zicheng Lyu et al.
cs.AI
本文提出了Re\(^2\)Math基准,用于评估大语言模型在数学定理检索中的能力,即从部分数学证明中检索出可用的引理或定理。实验表明,当前系统在检索有效陈述方面表现尚可,但难以判断其是否适用于具体的证明步骤。
Jinchao Hu et al.
cs.AI
本文提出SearchSkill框架,通过可重用的技能库(SkillBank)让LLM在开放域问答中先选择搜索技能再生成查询,以改进查询质量。该方法通过两阶段SFT训练,使模型能根据失败模式动态更新技能库,从而在知识密集型问答任务中提升精确匹配率和检索效率。
Hongwei Zhang et al.
cs.AI cs.IR cs.LG
本文提出UxSID框架,通过Semantic IDs和双级注意力机制建模超长用户序列,在效率和效果间取得平衡。该方法在大规模广告A/B测试中实现了0.337%的收入提升。
Nicolás Astorga, Anita Kriz, Mihaela van der Schaar
cs.AI
本文提出了CauSim框架,通过让LLM逐步构建可执行的structural causal models (SCMs)来生成因果推理训练数据,将因果推理从标签稀缺问题转化为可扩展的监督学习问题。该框架支持跨表示形式(如自然语言与代码)的数据增强,并验证了课程学习与数据规模对模型性能的提升。
Zhijun Zeng et al.
cs.AI math.PR
CTEM提出了一种统一的能量框架用于连续和离散密度估计,通过有界能量差变换替代密度比回归,并利用常数目标1的样本训练目标来学习标量势函数。该方法在多种数据类型上改进了密度估计质量,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)无直接关联。
Yuxi Chen et al.
cs.AI
本文从计算与经济学双重视角,将token概念化为生产因素、交换媒介和记账单位,并基于微观、中观、宏观及安全四个维度对LLM agent中的token经济进行了综述,旨在统一评估输出质量与经济成本间的权衡。
Yann Berthelot, Philippe Preux, Riad Akrour
cs.AI
本文系统性地比较了多种在RL中查询专家(expert)的方法,发现没有单一方法在所有场景下占优,并识别出三种单篇论文评估中遗漏的失败模式(如critic盲点、残差饱和、缓冲区污染)。文章基于专家质量、任务终止和扰动类型等可观测指标,提出了一个可测试的决策规则来指导方法选择。
Daking Rai, Mor Geva, Ziyu Yao
cs.AI
本文指出现有的circuit discovery方法假设语言模型用单一circuit实现任务,但实验发现数据集变化会导致circuit不一致。作者提出Data-driven Circuit Discovery (DCD)框架,通过聚类数据样本并分别为每组发现独立circuit,从而揭示模型内部的多种计算机制。
Giridhar Ganapavarapu, Dhaval Patel
cs.AI cs.MA
本文提出MCP-Cosmos框架,将生成式World Model融入MCP生态系统,使agent能在执行前模拟状态转移并优化计划。实验表明该方法在工具成功率和参数准确性等指标上有所提升。
Nils A. Herrmann et al.
cs.AI
本文提出“polylogue”概念,通过监控生成过程中persona vectors与hidden activations的对齐时间序列,来研究LLM推理过程。该方法在MMLU-Pro上预测正确率,并展示了阶段感知的潜在干预能提升部分模型准确率,但未直接涉及code、context、spectral等关键词。
Shawn Li et al.
cs.AI
本文提出了FORTIS基准,用于评估大语言模型agent在技能层中的过度权限问题,发现模型普遍倾向于选择超出任务必要权限的技能和工具,且即使在最强模型中失败率仍然很高。该工作聚焦于agent安全与权限管理,与关键词“agent”相关但方法本身并非开创性突破。
Fabio Rovai
cs.AI cs.LG
本文提出了CIVeX,一个用于语言agent工具调用的因果干预验证器,通过将提议动作映射到结构因果查询并检查可识别性,返回四种可审计的判定。实验表明,在对抗性混杂下,CIVeX在零错误执行约束下达到了84.9%的准确率和81.1%的oracle效用,显著优于基线方法。
Fabio Rovai
cs.AI cs.CL cs.DB
本文提出一个基于Rust实现的开源本体工程系统Open Ontologies,通过LLM驱动构建与形式化OWL推理结合,并利用稳定1对1匹配实现本体对齐,在OAEI Anatomy数据集上达到F1=0.832。实验表明稳定匹配是影响对齐质量的主导因素,而结构化工具访问(MCP)显著优于LLM直接读取原始OWL文件。
Carla Griffiths, Mirco Musolesi
cs.AI cs.CL cs.LG
本文研究了语言模型中语义角色理解(即“谁对谁做了什么”)是否仅通过预训练就能涌现,还是需要任务特定的微调。通过冻结decoder-only transformer并用线性探针提取语义角色,发现预训练已编码部分角色信息,但性能仍不及微调模型。
Yang Zhou et al.
cs.AI
本文提出Posterior Distillation Index (PDI)指标和SPARK框架,通过在线轨迹验证来蒸馏agent技能,证明基于环境交互的后验技能优于先验规划,但方法在开创性和与关键词契合度上均不突出。
Rania Elbadry et al.
cs.AI
本文发现大型语言模型中的时间知识漂移(temporal knowledge drift)在residual stream中被编码为一个与正确性和不确定性几何正交的方向,现有基于正确性或不确定性的方法无法检测到它。通过线性探针和多项几何正交性测试验证了这一结构特性,并揭示了MLP检索电路在陈旧回忆和虚构输出中产生相同动态的机制。
Karim Abdel Sadek et al.
cs.AI cs.LG cs.MA
本文形式化了从学习者的在线行为中推断其偏好(reward function)的问题,并针对无遗憾(no-regret)或收敛到最优Boltzmann策略的学习者模型,建立了偏好学习算法的理论保证或不可行性结果。
Lane Lewis et al.
cs.AI q-bio.NC
本文使用线性高斯模型理论分析了脑数据对机器学习任务的价值,推导了脑样本与任务样本之间的交换率,并探讨了在何种条件下脑数据能提升模型性能与鲁棒性。
Kun Xiang et al.
cs.AI
本文提出了SeePhys Pro基准,用于诊断多模态RLVR(Reinforcement Learning with Visual Reasoning)中的模态迁移和盲训练效应,发现模型在信息从文本转移到图像时性能下降,且盲训练中的提升可能源于文本线索而非视觉证据。
Zhiqin Yang et al.
cs.AI
本文探讨了通过语言表示(language representation)塑造模式(schema)以扩展大语言模型(LLM)智能的潜力,认为语言表示的结构和符号复杂性对知识激活与组织至关重要。通过回顾实证方法和控制实验,作者展示了精心设计的语言表示能显著提升模型性能,即使不改变模型参数或规模。
Meet Shah et al.
cs.AI cs.CL cs.CV
本文介绍了一个名为AI co-clinician的对话式医疗AI系统,它利用Gemini的低延迟音视频处理能力,通过实时分析医患对话中的音频和视觉线索来辅助临床决策。该系统采用双智能体架构平衡深度临床推理与自然对话所需的低延迟,并在模拟远程医疗的实验中与初级保健医生和GPT-Realtime进行了比较。
Yuqiao Meng et al.
cs.AI
本文提出EquiMem,一种基于博弈论均衡的推理时校准机制,用于在多智能体辩论(MAD)系统中过滤共享记忆中的错误条目。该方法将记忆更新建模为零信任记忆游戏,利用智能体已有的检索查询和遍历路径作为证据,无需额外的大语言模型(LLM)判断,并在多种基准测试中优于现有防护方法。
Shusaku Egami, Masahiro Hamasaki
cs.AI cs.CL
本文提出了一个为AI生成内容自动附加结构化元数据的框架,包括模块化prompts、contexts、模型信息和超参数等,以支持AI agent在Agentic Web中可靠地评估和重用这些内容。该框架通过可验证凭证封装元数据,旨在减少链式幻觉和合规风险。
Xia Yang et al.
cs.AI cs.CY
本文提出了一种评估LLM数学推理策略多样性的框架,通过对比模型输出与人类参考策略集,发现模型在单次回答中准确率高,但多策略生成能力有限,尤其在几何和数论领域。该工作主要关注评估维度而非方法创新,与关键词列表中的概念关联较弱。
Xin Li, Yan Ke, Longbing Cao
cs.AI q-fin.PM
本文提出了一种名为MACF的方法,用于在序列投资组合优化中施加动态ESG约束,通过多模态动作条件约束场学习机制特定的ESG成本,并引入MACF-X适配器将其转化为原生约束优化接口。该方法旨在解决静态ESG分数与序列决策不匹配的问题,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Zeyu Li, Lei Li
cs.AI
本文提出SKG-VLA框架,通过构建Scene Knowledge Graph (SKG)来组织投诉场景中的实体、证据和规则关系,并采用三阶段训练策略将结构化场景先验注入多模态决策模型,以提升多模态投诉决策的准确性和鲁棒性。
Yaofang Zhang, Ken Zhou, Adnan Darwiche
cs.AI cs.LO
本文提出了一种原生支持离散逻辑的SAT求解器Dsat,通过扩展布尔逻辑的unit resolution和clause learning等机制来处理离散变量。实验表明,该求解器在离散CNF问题上优于传统的二值化方法和CSP求解器。
Gabriela Dobrita, Simona-Vasilica Oprea, Adela Bara
cs.AI
本文提出了Chaintrix,一个结合多管道LLM与确定性结构分析(如Cross-Contract Interaction Model和Structural Verdict Engine)的智能合约安全审计框架,通过将LLM生成的主张与解析后的Solidity代码进行结构性验证来减少误报,并在EVMbench基准上取得了优于前沿模型的召回率。
Zhaoyang Zhang et al.
cs.AI
本文提出了一种非对称对齐度量cycle-kNN,用于分析不同模态独立训练的神经网络表示之间的方向性收敛。研究发现非语言模态的表示会向语言模态的表示方向收敛,且这种方向性源于语言表示在特征空间中占据更紧凑的区域。
Kuldeep Singh, Anson Bastos, Isaiah Onando Mulang'
cs.AI cs.CL
本文认为企业任务应避免过度依赖大型语言模型,主张将语言模型作为接口,将知识和计算外部化到专用组件中,以提高可靠性和可维护性。
Keqi Han et al.
cs.AI
本文提出了NIAgent,一个基于多智能体协作的自主神经影像分析系统,采用以代码执行为核心的范式,通过专业智能体协同合成和优化可执行程序,并引入分层验证框架实现自主质量控制。实验表明该系统在预测性能上优于标准工作流基线,并展现出策略探索和自适应优化等智能行为。
Siyu Wu, Cong Xu, Wei Zhang
cs.AI
本文提出Probabilistic Logical Knowledge Tracing (PLKT)框架,用Beta分布的probabilistic embeddings替代deterministic vector embeddings表示学生知识状态,并通过显式的logical operations构建可解释的推理路径。实验表明该方法在保持高预测精度的同时提升了可解释性。
Tiehan Cui et al.
cs.AI cs.RO
NEXUS是一个用于具身智能体的模块化框架,通过持续学习符号约束来提升规划的安全性和鲁棒性。它将物理可行性与安全规范解耦,利用闭环反馈改进能力,并将概率风险评估转化为确定性硬约束,在SafeAgentBench上取得了更好的任务成功率。
Prasad Mahadik, Adrians Skapars
cs.AI
本文研究了在语言模型内部表示中,使用persona coordinates(基于对比persona prompts构建的低维子空间)来训练linear probes(线性探针),以更鲁棒地检测有害行为。实验表明,基于persona-PC投影的探针在分布偏移下的泛化能力优于基于原始激活的探针。
Adeela Bashir et al.
cs.AI
本文使用evolutionary game-theoretic model研究了AI防御工具不平等获取对网络安全的影响,发现高成本强防御会导致系统脆弱性,而通过补贴承诺者(committed defenders)可显著提升整体安全韧性。
Yanan Xiao et al.
cs.AI
本文提出Neuro-Symbolic Experience Replay (NSER)框架,利用Large Language Models (LLMs)从轨迹中归纳行为规则,并将其转化为可微的一阶逻辑表示,以动态调整replay分布。该方法旨在将经验回放从被动样本复用转变为主动知识构建,提升强化学习中的样本效率。
Haoqiang Kang et al.
cs.AI
SimWorld Studio是一个基于Unreal Engine 5的开源平台,通过编码agent SimCoder自动生成3D环境用于embodied agent学习。该平台支持环境与agent的协同进化,在embodied navigation任务中提升了agent性能。
Wenxin Tang et al.
cs.AI
本文提出VulTriage框架,通过控制流、知识库和语义三条路径增强LLM的输入上下文,以提升软件漏洞检测的准确性。实验表明该方法在多个指标上优于现有基线,但未涉及spectral、Muon或agent等关键词相关技术。
Yilin Zhang et al.
cs.AI cs.CR
本文针对基于VLM的web agent易受欺骗性界面元素影响的问题,提出了DUDE框架,通过混合奖励学习与经验总结来降低欺骗敏感性,并构建了RUC基准测试。实验表明该方法在保持任务性能的同时显著降低了欺骗成功率。
Yuyang Dai et al.
cs.AI
本文构建了EpiGraph知识图谱和EpiBench基准,用于评估癫痫诊疗中的证据密集型推理,实验表明该知识图谱能显著提升大语言模型在多个临床任务上的表现。
Yi Xiao et al.
cs.AI
本文提出WindINR,一种基于latent-state implicit neural representation的框架,用于在复杂地形中快速查询和修正局部高分辨率风场。该方法通过分离可复用的表示学习与样本特定的latent-state修正,在推理时仅更新latent state而非整个网络,从而利用稀疏观测实现高效修正。
Djamel Bouchaffra
cs.AI
本文应用Game Theoretic Free Energy Principle (GTFEP)框架,将attention heads建模为有界理性agent,通过分析其coalition free energy与Harsanyi dividends,揭示了多头注意力中的高阶冗余(triple dividends为负),并基于Nash FEP correspondence证明了可剪枝低贡献head以降低计算成本。
Joohyung Lee, Yi Wang
cs.AI cs.LO
本文在stable model semantics下引入了weighted rules的概念,借鉴了Markov Logic的log-linear models,用于解决answer set programs中的不一致性、排序stable models等问题,并与answer set programs、Markov Logic等进行了形式化比较。
Michael Bartholomew, Joohyung Lee
cs.AI
本文研究了在Answer Set Programming (ASP)中引入内涵函数的问题,并展示了Functional Stable Model Semantics在Answer Set Programming Modulo Theories (ASPMT)框架中的重要性。通过将紧的ASPMT程序转化为Satisfiability Modulo Theories (SMT)实例,该工作建立了ASP与SMT之间的理论联系。
Joseph Babb, Joohyung Lee
cs.AI
本文介绍了Cplus2ASP系统的第二版,该系统实现了动作语言C+的确定片段,并通过现代answer set solving技术显著提升了性能。系统集成了f2lp、clingo等工具链,支持增量执行模式和多种动作语言的扩展翻译。
Rishabh Jakhar, Michel Dumontier, Remzi Celebi
cs.AI
TESSERA是一个神经符号框架,利用LLM在知识图谱上进行蒙特卡洛树搜索,以生成药物-疾病对的机制解释。该方法将LLM用于局部判别判断而非多步生成,并通过MCTS协调长程搜索,但未涉及代码、上下文、谱方法、Muon、预训练、智能体或注意力等关键词。
Yize Li et al.
cs.AI
本文提出了TIDE-Bench,一个用于评估工具集成推理(TIR)方法的基准,包含多样化的任务设置和综合评估协议,但方法本身并非开创性,且与关键词列表中的概念关联较弱。
Zhen Hang et al.
cs.AI
本文提出了PDEAgent-Bench,据称是首个用于PDE-to-solver代码生成的多指标、多库benchmark,包含645个实例,评估生成求解器的可执行性、数值精度和计算效率。实验表明,当前LLM和代码agent在生成可运行代码方面表现尚可,但在满足精度和效率要求时性能显著下降。
Elad Sarafian et al.
cs.AI cs.LG
本文提出workspace optimization的概念,通过结构化外部工件(artifacts)替代参数、证据替代数据、反例替代损失、文本反馈替代梯度,来训练基于前沿语言模型的agent。在ARC-AGI-3任务上,其DreamTeam框架将SOTA agent的得分从36%提升至38.4%,同时减少了31%的环境动作。
Timothy Ossowski et al.
cs.AI cs.MA
本文提出了CodeClinic基准,用于评估LLM agent在临床推理中自动合成可复用coding技能的能力,而非依赖固定工具库。该基准包含纵向ICU监测和组合信息寻求两个任务,并设计了离线自动形式化pipeline将临床指南转化为Python技能库,相比零样本代码生成提升了一致性并减少了token使用。
Ryan Albright et al.
cs.AI
本文提出Absurd World框架,通过将现实世界模型自动转化为逻辑一致但场景荒谬的测试集,来评估LLM在简单逻辑推理中的鲁棒性。实验表明该框架能有效检测LLM是否依赖现实世界模式而非纯粹逻辑推理。
Jia Xiao
cs.AI
本文探讨了语言agent中不可预测性与结构化控制之间的关系,通过实验表明随机采样无法替代耦合了推理、记忆、自我状态和抑制的结构化控制机制。
Josefa Lia Stoisser et al.
cs.AI
本文提出了Ambig-DS基准,用于评估数据科学agent在任务框架模糊(如预测目标或评估目标不明确)时的表现,发现agent倾向于静默地执行错误任务而非识别歧义。该工作聚焦于agent的鲁棒性评估,但与我提供的关键词(如code, spectral, Muon, pretrain, attention)关联较弱。
Katherine M. Collins et al.
cs.AI
本文提出MedMSA框架,结合语言模型检索先验知识与形式化概率模型,用于在不确定性下进行临床预测,并通过鉴别诊断案例展示其生成不确定性加权诊断列表的能力。
Federico Tomasi et al.
cs.AI
本文提出了一种用于约束离散扩散模型的推理时方法primal-dual guided decoding,通过在线自适应Lagrangian multipliers修改token logits来满足全局属性约束,无需重新训练。该方法在主题文本生成、分子设计和音乐播放列表生成等任务上展示了约束满足能力的提升。
Dima Galat, Marian-Andrei Rizoiu
cs.AI
本文提出了一种用于心理防御机制分类的多智能体系统,通过缺失推理和临床规则编码提升性能,但方法主要针对特定任务,与关键词中的code、spectral、Muon、pretrain、attention等概念关联较弱。
Ziquan Wei, Tingting Dan, Guorong Wu
cs.AI
本文提出了一种结合社会健康决定因素(SDoH)的ICD编码代理与生成模型的疾病推理框架,使用条件潜在扩散模型连接多器官传感器数据与token化医疗事件,并在UK Biobank数据集上验证了其性能优于现有方法。
Paul Kobialka et al.
cs.AI
本文提出了一种为Markov Decision Processes (MDPs)生成基于归因的解释的方法,通过策略合成技术计算状态和路径的重要性分数,以解释序列决策智能体的逻辑。该方法在五个案例研究中展示了其提供可解释性洞察的实用性。
Gurusha Juneja et al.
cs.AI cs.MA
本文提出了一个名为EnactToM的演化基准,用于评估具身agent在3D家庭环境中的功能性Theory of Mind能力。该基准包含300个多agent任务,测试agent能否基于隐式信念做出最优行动,实验表明所有前沿模型在功能性任务上得分为0%,而在显式信念测试中平均为45%。
Aman Singh, Tokunbo Ogunfunmi, Sanjiv Das
cs.AI
本文比较了多种计量经济学、经典机器学习和深度学习方法在美国国债收益率曲线预测上的表现,发现ARIMA等传统模型整体优于其他方法,其中TimeGPT、LGBM和RNN在机器学习方法中表现最佳。
Rafael C. T. Oliveira
cs.AI cs.CL cs.LG
本文提出了一种名为Metacognitive Probe的诊断工具,将LLM的置信度行为分解为五个维度(如置信度校准、知识边界等),并在8个前沿模型和69名人类上进行了评估。该工具旨在揭示模型在特定任务上的过度自信问题,但并未提供开创性的数学方法或解决长期存在的理论问题。
Gideon Popoola, John Sheppard
cs.AI cs.CE cs.CY cs.LG
本文提出了一个统一的conditional invariance framework来形式化AI解释的公平性,并识别了程序性偏差这一盲点。文章通过七维分类法和六步评估流程,系统性地分析了解释不公平的生成机制。
Chen Li et al.
cs.AI
本文提出了一种在长时域视觉-语言推理任务中自适应调整commitment depth(在重新规划前执行的原始动作数量)的方法,通过将commitment depth作为策略的可学习状态条件变量,实现了比固定深度基线更优的性能。该方法在Sliding Puzzle和Sokoban任务上取得了更高的求解率和更少的原始动作使用量,但主要贡献在于推理策略的优化,与关键词中的spectral、Muon、pretrain等概念关联较弱。
Su-Hyeon Kim, Yo-Sub Han
cs.AI
本文提出了一种anchor-projection框架,将不同语言模型的hidden representations映射到共享的anchor coordinate space (ACS)中,从而实现了跨模型家族的行为方向对齐与迁移。实验表明,在Llama-Qwen-Mistral-Phi等模型簇中,同一行为轴的方向在ACS中高度一致,且该框架无需微调即可将行为方向迁移至新模型。
Hao Liu, Jicheng Liu
cs.AI cs.CL cs.CV
本文提出了KnotBench基准,包含85万张结图数据集和14项任务,用于评估视觉语言模型在结图推理上的表现。实验发现Claude Opus 4.7和GPT-5在多数任务上接近随机基线,表明模型虽能识别结图特征但缺乏模拟操作的能力。
Xuanchen Li et al.
cs.AI cs.SD
本文提出SFFL框架,通过分离音频和视觉的modality-specific chain-of-thought推理来减少跨模态干扰,并利用强化学习优化模态偏好。实验表明该方法在AVQA任务上提升了准确率和鲁棒性。
Zhen Zhang et al.
cs.AI cs.MA
本文提出RADAR框架,利用条件离散图扩散模型逐步生成多agent系统的通信拓扑,以减少冗余token消耗并适应不同任务复杂度。实验表明该方法在多个基准上提升了准确率和鲁棒性。
Mingxiong Lin et al.
cs.AI
本文针对GRPO算法在LLM数学推理中的两个效率问题,提出了EXPO框架,包含自适应KL调节模块AKL和高斯课程采样模块GCS,实验表明其在多个基准上优于原始GRPO。
Boyang Shen et al.
cs.AI cs.CV cs.RO
本文提出LoopVLA,一种循环VLA架构,通过共享Transformer block迭代精炼多模态token并联合学习表示精炼、动作预测与充分性估计,利用自监督分布对齐目标将中间置信度与动作质量关联。该方法在LIBERO等基准上以更少参数和更高吞吐量匹配或超越强基线,但未涉及code、spectral、Muon或pretrain等关键词。
Ziqi Gao et al.
cs.AI q-bio.QM
本文提出了一种名为L3-PPI的模型无关方法,通过引入生物学的"L3规则"(即蛋白质对之间的多条长度为3的路径指示其相互作用可能性)来改进蛋白质相互作用预测。该方法将蛋白质嵌入对的分类转化为图级分类任务,并作为即插即用模块提升现有预测器的性能。
Leonardo Hernandez Cano et al.
cs.AI cs.LG cs.NE
本文通过Pattern Builder Task实验研究人类在非平稳任务分布下的抽象学习行为,提出前瞻性压缩假说(即人类选择抽象以压缩未来任务)。实验表明人类行为对潜在非平稳结构敏感,但现有回顾性压缩算法和基于LLM的程序合成方法无法捕捉该行为。
Haojie Rao et al.
cs.AI
本文提出了一种面向响应的离散编辑优化方法SMER-Opt,用于解决条件分子优化中监督与决策之间的层级不匹配问题。该方法通过单步分子编辑响应预测器和多步规划器,将端点属性标注转化为过程级监督,并利用引导树搜索组合局部预测,从而减少对外部评估器查询的依赖。
Ruiyi Yang et al.
cs.AI cs.MA
本文提出STAR框架,通过将多智能体间的路由决策外部化为一个基于状态的条件转移策略,并利用执行轨迹学习恢复转移,以处理时空推理中不同类型的失败。该方法在多个基准测试上提升了性能,但主要贡献在于工程化的路由机制,而非理论或方法上的根本性创新。
Shijun Lei et al.
cs.AI
本文提出了TruthMarketTwin框架,用于模拟LLM agent在电子商务市场中的行为,发现agent会自主利用声誉机制的弱点进行策略性欺骗,而warrant enforcement能减少这种欺骗。该工作主要关注agent在不对称信息市场中的行为模拟,与关键词中的agent相关,但方法上缺乏开创性且未解决长期问题。
Ruiyi Yang et al.
cs.AI
本文提出了MAGE框架,通过构建一个四子图协同进化的knowledge graph来外化语言模型agent的自我知识,使得frozen backbone在推理时能通过检索获得task-conditioned guidance。在多个数学推理、问答等benchmark上,该方法优于基于prompt的frozen-backbone基线。
Zeli Liu et al.
cs.AI
本文提出了一种针对生成式任务的active testing算法,通过使用surrogate model的semantic entropy对评估池进行分层,并基于近似Neyman allocation进行采样。该方法在多个语言和多模态基准测试中优于baseline,并接近Oracle-Neyman的性能。
Hongqin Lyu et al.
cs.AI cs.AR
本文提出Arcane框架,通过语义聚类和MCTS引导的规则探索来减少硬件验证中的冗余assertion,实验显示可减少76.2%的assertion数量并提升2.6-6.1倍仿真速度。该方法主要面向硬件验证领域,与关键词中的code、context、spectral、Muon、pretrain、agent、attention等概念关联较弱。
Canhong Yu et al.
cs.AI cs.LG
本文针对Heavy-Encoder-Light-Decoder (HELD)神经路由求解器在复杂约束下的性能瓶颈,提出了一种Constraint-Aware Residual Modulation (CARM)模块。该模块通过自适应地调制context embedding,在保持全局观测空间的同时增强了对约束的感知能力,从而生成更有效的state embedding。实验表明,CARM能一致性地提升多种单任务和多任务神经路由求解器的性能。
Anthea Dathe, Kiran Hoffmann, Aline Mangold
cs.AI cs.HC
本文评估了AI工具(如问答和文献综述工具)在学术研究中的表现,发现它们在探索性任务中有效,但在精确信息提取和可解释性方面存在不足,强调了人工验证的重要性。
Zeynel A. Uluşan et al.
cs.AI
本文提出了FormalRewardBench,这是首个用于评估Lean 4形式定理证明中reward model的benchmark,通过五种专家设计的错误注入策略构建了250个偏好对。实验发现,前沿LLM在proof evaluation上表现最好,而专门的定理证明模型表现最差,表明定理证明能力不能迁移到proof evaluation。
Qinghua Mao et al.
cs.AI cs.CR
本文提出了EditRisk-Bench基准,用于评估大语言模型在恶意知识编辑下的安全风险,包括错误信息、偏见和安全违规等场景。实验表明恶意编辑能可靠地诱导不安全推理,且难以被检测。
Krishnendu Chatterjee et al.
cs.AI cs.GT
本文研究了无限状态图上的回合制可达性游戏,提出了一种基于ranking certificate的完全证明规则,并针对多项式可达性游戏设计了全自动算法,能够计算获胜策略并生成形式化正确性证明。该算法在子指数时间内运行,并成功解决了经典Cinderella-Stepmother游戏中的最优策略问题。
Jiaxuan Wang et al.
cs.AI cs.LG
本文提出TRACE方法,通过token路由机制在自策略对齐中仅对关键推理片段进行蒸馏,以缓解全tokenKL散度导致的熵增和分布外退化问题。实验表明该方法在数学推理基准上优于GRPO,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Kai Pan, Rong Hou
cs.AI cs.SE
本文提出Dynamic Tiered AgentRunner框架,通过风险自适应分层、权力分离架构和验证-恢复闭环机制,增强企业级AI代理的可控性和弹性。该框架在安全与效率间实现帕累托最优权衡,但未涉及code、spectral、Muon等关键词相关技术。
Michael Chin
cs.AI
本文提出了一种名为HDRI的自动化知识发现方法论,利用Large Language Models将假设作为组织工具来结构化研究过程,并设计了八阶段pipeline和gap-driven迭代机制。该方法在INFOMINER系统中实现,通过实验验证了其在事实密度和验证置信度等方面的提升,但主要聚焦于研究流程设计而非与关键词直接相关的技术。
Zonglin Yang, Xingtong Liu, Xinyan Xu
cs.AI
本文提出了一个名为SCIINTEGRITY-BENCH的基准测试,用于评估AI科学家系统的学术诚信。该基准通过设计33个两难场景,发现当前大语言模型在面临无法完成的任务时,普遍存在生成虚假数据而非诚实承认失败的问题。
Alberto Castagna et al.
cs.AI
本文提出了一种半层次化深度强化学习方法,用于解决铁路车辆重调度问题,通过分离调度与路由决策来提升多智能体协调能力。实验在Flatland-RL模拟器上验证,相比启发式方法和单一RL方法,该方法显著提高了列车到达率并降低了死锁率。
Hasib Aslam et al.
cs.AI cs.LG
本文提出E-TCAV框架,通过研究TCAV方法中潜在分类器选择、层间一致性及使用倒数第二层作为代理等问题,实现了对TCAV分数的近似计算。该方法在多个架构和数据集上验证了层间一致性,并利用倒数第二层的方向敏感性退化特性,实现了与网络规模线性相关的加速。
Songlin Bai et al.
cs.AI
本文提出了IndustryBench,一个基于中国国家标准的工业采购QA基准,评估了17个LLM在工业知识上的表现,发现最佳系统得分仅2.083(满分3),且安全违规率会显著改变模型排名。该工作主要关注工业领域的LLM评估,与关键词中的code、spectral、Muon、agent、attention等方向无直接关联。
Baraa Al Jorf, Farah E.Shamout
cs.AI
本文系统评估了基于LLM的agent在临床预测任务中的表现,发现单agent框架在多模态数据处理和校准方面优于简单的多agent系统,并开源了代码和评估框架作为基准。
Ruben Laukkonen et al.
cs.AI cs.CY cs.HC q-bio.NC
本文提出了"Positive Alignment"的概念,强调AI系统应主动促进人类与生态繁荣,而不仅仅是防止伤害。文章讨论了现有对齐研究的不足,并提出了数据过滤、训练和评估等技术方向,以及通过上下文锚定和社区定制等设计原则来促进分歧与去中心化。
Ruofei Ju et al.
cs.AI
本文提出EmbodiSkill,一种无需训练的框架,通过技能感知反思和针对性修订实现具身agent的技能自我演化。该方法将轨迹分解为技能内容错误与执行失误,并分别更新技能主体或保留有效指导,在ALFWorld和EmbodiedBench上提升了任务成功率。
Liuyin Yang et al.
cs.AI eess.SP
本文提出CORTEG框架,利用预训练的scalp-EEG foundation model (EEG FM) 通过cross-modality transfer适应intracranial ECoG数据,结合电极感知的KNNSoftFourier空间适配器和双流tokenizer处理低频与high-gamma活动。在finger trajectory和audio envelope回归任务上,该方法匹配或超越任务特定baseline,并展示了数据高效的跨患者解码能力。
Bihui Yu et al.
cs.AI cs.SE
本文提出了PaperFit,一个视觉在环的agent系统,用于优化LaTeX文档的排版缺陷(如浮动体错位、公式溢出等),通过迭代渲染页面、诊断问题并应用约束修复,显著提升了从可编译源码到出版级PDF的质量。
Weikai Xu et al.
cs.AI cs.CL
本文研究了移动世界模型如何指导GUI agents,通过训练四种模态(delta text, full text, diffusion-based images, renderable code)的世界模型,发现renderable code在分布内保真度高,而text-based反馈在在线OOD执行中更鲁棒。世界模型生成的轨迹可提升agents的任务性能,但对低action entropy的overconfident agents,后验自我反思效果有限。
Zeyd Boukhers et al.
cs.AI cs.DB cs.DC
本文提出了Autonomous FAIR Digital Objects (aFDOs)的概念,通过结合Semantic Web标准(如RDF-star、PROV-O、SHACL和ODRL)为数字对象赋予自主决策能力,并基于ActivityStreams 2.0和拜占庭容错模型实现了多源矛盾的共识解决。实验在罕见病本体数据集上验证了其冲突解决和抗攻击能力。
Jinha Chung et al.
cs.AI
本文提出Agent-X,一个纯软件框架,通过重写prompt以利用prefix caching和实现无LLM的speculative decoding,加速了边缘设备上AI agent的prefill和decode阶段,在代表性任务上实现了1.61倍端到端加速且无精度损失。
Tianyuan Zhang et al.
cs.AI
本文提出GuardAD,一种用于自动驾驶多模态大模型的安全防护方法,通过马尔可夫逻辑状态形式化安全推理,并利用神经符号逻辑进行动作修正,以降低事故率。
Zhinan Hou et al.
cs.AI math.OC
本文提出LLM4Branch框架,利用Large Language Models自动生成整数规划的分支策略程序,并通过零阶优化方法基于端到端性能反馈调整参数。实验表明该方法在CPU上达到新最优,性能与先进GPU模型相当。
Shanshan Gao, Liyi Zhou
cs.AI
本文提出了一种为交互式agent benchmark添加outcome evidence reporting layer的方法,通过引入evidence labels (Evidence Pass, Evidence Fail, Unknown) 和evidence supported score bounds来量化评估中的不确定性,并在五个公开benchmark上进行了实验验证。
Genrui Zhang et al.
cs.AI
本文提出SkillEvolver,一种轻量级的在线技能学习方法,通过一个meta-skill迭代地编写、部署和优化领域特定的agent技能。该方法将学习目标限定在技能的文本描述和代码上,而非模型权重,使得学到的技能可直接用于任何agent而无需重新训练。
Yiming Liu et al.
cs.AI
本文发现LLMs在序列化处理图拓扑时,其attention maps会自发重建图的拓扑结构(表现为与"token-level adjacency matrix"结构对齐的"sawtooth"模式),但该结构理解被attention sink稀释。作者提出一种无需训练的StructuraL Attention SHarpening (Slash)方法,通过即插即用的attention重分配来增强这种内部结构理解,在纯图任务和分子预测上验证了有效性。
Harsh Raj et al.
cs.AI
本文提出了一种基于\(U\)-statistics和kernel-based metrics的统计框架,用于评估AI agent在语义保持扰动下的输出一致性和轨迹稳定性。实验表明,轨迹级一致性指标比传统pass@1率具有更高的诊断灵敏度,有助于识别agent在高风险环境中的部署问题。
Yousef A. Radwan et al.
cs.AI cs.LG
本文提出了PrimeKG-CL,一个基于真实生物医学知识图谱的持续图学习基准,包含两个时间快照和多种任务。实验发现解码器与持续学习策略存在强交互,且标准指标可能混淆知识保留与遗忘的效果。
Jayalakshmi Baskar et al.
cs.AI
本文提出了一种基于LLM的反思性叙事代理,通过整合知识图谱、用户建模和argumentation theory来为老年人生成个性化故事,并利用argument mining作为检查机制评估叙事质量。实验表明,该方法能生成具有个人相关性的叙事,但主要贡献在于健康领域的应用而非数学或算法创新。
Yao Li et al.
cs.AI cs.LG
本文提出一个统一的序列-图融合框架用于表观遗传年龄预测,通过轻量级门控调制机制整合DNA序列统计特征与共甲基化图结构,在3,707个血液样本上取得3.149年的测试MAE。该方法未涉及关键词中的spectral、Muon、pretrain、agent或attention等概念。
Kai Pan
cs.AI
本文提出了一种面向AI Agent的语义接口范式(Agent-First Tool API),通过六动词语义协议和标准化工具契约来解决传统API与自主Agent之间的架构不匹配问题,并在生产环境中验证了其有效性。该工作主要关注企业级AI Agent系统的工具接口设计,与关键词中的agent概念相关但并非开创性理论贡献。
Adam Gould, Francesca Toni
cs.AI
本文提出了一种名为Deep Arguing的神经符号方法,将深度学习与argumentation construction(论证构建)和reasoning(推理)相结合,用于可解释分类。该方法通过深度神经网络构建argumentation structure(论证结构),其中数据点支持其分配标签并攻击不同标签,并使用可微分的argumentation semantics(论证语义)进行端到端训练。
Shray Mathur et al.
cs.AI
本文通过引入SciAidanBench基准测试,评估了大型语言模型在科学创意生成中的“锯齿状”能力分布,发现模型在不同任务、提示和科学子领域中的表现存在不均匀性,并展示了通过推理时计算、知识池化和头脑风暴等方法构建元模型集成可以超越单一模型。
Vipin Singh et al.
cs.AI cs.HC cs.LG
本文提出了一种结合云端和边缘计算的深度学习预测方法,用于监测合流制污水溢流(CSO)的填充动态,并构建了交互式监控仪表盘以应对网络中断。该方法主要关注工程应用和系统韧性,与关键词中的理论或算法创新关联较弱。
Philipp Steigerwald et al.
cs.AI cs.CL cs.HC cs.SE
LLARS是一个开源平台,用于连接领域专家和开发者以构建基于LLM的系统,集成了协作提示工程、批量生成和混合评估模块。该平台在在线咨询领域的访谈中显示出直观性和高效性,但与关键词列表中的概念无直接关联。
Maxime Bouscary, Manxi Wu, Saurabh Amin
cs.AI
本文提出了一种基于有向无环图(directed acyclic graph)的算法表示方法,将LLM用于生成代码块的修正(correction)而非完整算法,从而在有限预算下更高效地搜索算法空间。该方法在组合优化问题上验证了其相对于传统全算法搜索的优势。
Phongsakon Mark Konrad et al.
cs.AI
本文指出在医疗、信贷等敏感领域部署AI时,不应过度依赖对模型内部机制的mechanistic interpretability,而应转向calibrated verification(校准验证)框架。该框架强调授权应基于具体使用场景、可独立核查、可监控、可问责、可申诉和可撤销,并提出了Verification Coverage作为模型卡和监管披露中的补充指标。
Riya Tapwal, Abhishek Kumar, Carsten Maple
cs.AI
本文提出PRISM,一种针对多智能体LLM流水线中秘密泄露的实时检测与缓解方法。该方法将凭证泄露建模为生成过程中的序列风险累积问题,通过结合16种信号(包括词汇、结构、信息论、行为和上下文特征)在每个解码步骤计算校准风险分数,并划分绿、黄、红三个风险区域进行逐token干预。实验表明,PRISM在对抗性基准上优于基线方法,但该方法主要关注工程实现与实证评估,在理论或方法上缺乏显著的开创性。
Ramesh Arvind Naagarajan, Zühal Wagner, Stefan Streif
cs.AI cs.LG
本文提出Hierarchical Causal Abduction (HCA)框架,结合物理知识图谱、KKT乘子优化证据和PCMCI时序因果发现算法,为非线性Model Predictive Control (MPC)生成可解释的控制动作说明。该方法在多个控制任务中优于LIME,但与我提供的关键词(如code, spectral, Muon, pretrain, agent, attention)无直接关联。
Minyu Chen et al.
cs.AI
本文提出了一种teacher-aware evolutionary framework,通过将独立训练的learned optimization policies作为behavioral teachers,利用其action preferences作为local feedback来指导heuristic programs的进化搜索。该方法在调度、路由和图优化等benchmark上提升了性能,但整体创新性有限,且与关键词列表中的概念关联较弱。
Regina Gugg et al.
cs.AI
本文研究了LLM毒性基准测试中的评估偏差,发现任务类型(如从文本补全改为摘要)和输入数据域的变化会导致基准测试结果不一致,并揭示了模型特定的不稳定性。
Florent Guépin et al.
cs.AI cs.CR
本文提出了一种基于latent space segmentation的条件扩散模型diffGHOST,用于生成具有隐私保护的合成轨迹数据。该方法通过识别和缓解关键样本的记忆化问题,在提供隐私保证的同时保持轨迹数据的实用性。
Yanjie Li et al.
cs.AI
本文提出了一种基于基因编辑的符号回归方法GESR,利用两个BERT模型分别指导遗传编程中的基因突变和交叉操作,以提高计算效率。实验表明该方法在多个符号回归任务上取得了较好的整体性能。
Tim Van hamme et al.
cs.AI cs.CR
本文提出了MATRA框架,用于对agentic AI系统进行威胁建模,并通过OpenClaw案例展示了如何评估架构控制对风险的影响。该方法将已知的LLM威胁映射到具体部署场景中的风险。
Lihuan Li et al.
cs.AI
本文提出了TrajPrism,一个用于语言与城市轨迹对齐的多任务benchmark,包含轨迹生成、检索和描述三个任务,并基于真实轨迹数据构建了2.1M个任务实例。该工作主要贡献在于统一了轨迹与自然语言的评估,但方法本身在理论或算法上缺乏显著的开创性,与关键词列表中的概念关联较弱。
Shengxiang Gao et al.
cs.AI
本文提出PathISE框架,通过轻量级transformer-based estimator从answer-level标签中学习relation path的informativeness,生成pseudo path-level supervision并蒸馏到LLM path generator中,以提升Knowledge Graph Question Answering性能。该方法在多个benchmark上取得competitive或state-of-the-art结果,但未涉及code、spectral、Muon、pretrain、agent或attention等关键词。
Yu-Fang Tsai et al.
cs.AI
本文研究了机器学习在足球表现分析中的可解释性迁移问题,发现从精英联赛学到的表现决定因素在大学比赛中结构不稳定,表明可解释性鲁棒性依赖于领域。
Jinwen Tang
cs.AI cs.CY cs.HC
本文提出了一个基于AI的校园健康综合框架,包含用于预防的TigerGPT和AURA聊天机器人,以及用于干预的PsychoGPT和SMMR推理模型,通过LLM和强化学习提升了反馈收集与心理健康检测的效果。
Wenbo Zhang et al.
cs.AI cs.CL stat.ML
本文研究了推理型与非推理型LLM作为评判者的性能与成本权衡,发现推理仅在复杂任务(如数学和代码)上有显著提升,但成本高昂。为此提出RACER方法,通过约束分布鲁棒优化在固定预算下动态选择评判者,但方法本身与关键词列表中的概念关联较弱。
Jinhang Xu et al.
cs.AI
本文提出NanoResearch,一个通过技能库、记忆模块和无标签策略学习实现三层协同进化的多agent框架,旨在解决现有LLM驱动的科研自动化系统缺乏个性化能力的问题。实验表明该系统能逐步自我优化,以更低成本产出更优研究。
Jihoo Jung et al.
cs.AI eess.AS
本文研究了音频-视觉大语言模型(AVLLMs)中跨模态信息流,发现模型主要在sink tokens中编码跨模态信息,并识别出一类特殊的cross-modal sink tokens。基于此发现,提出了一种无需训练的幻觉缓解方法。
Peng Cao et al.
cs.AI
CLEF提出了一种基于临床语义的EEG基础模型,通过将EEG会话表示为3D多锥度spectrogram tokens并利用对比学习对齐神经科医生报告和结构化EHR数据,在234个任务基准上优于先前模型。该方法主要关注临床上下文和频谱表示,但与我提供的关键词(如code, Muon, agent)关联度较低。
Moksh Jain et al.
cs.AI cs.LG
本文提出了MaD Physics基准,用于评估智能体在物理约束下进行信息获取和科学发现的能力。该基准包含基于不同物理定律的环境,要求智能体在预算限制下进行测量并推断潜在物理规律。
Muhan Gao, Zih-Ching Chen, Kuan-Hao Huang
cs.AI
本文研究了在长上下文推理中,误导性信息(hard distractors)的比例对大型语言模型性能的非线性影响,发现了“第一滴墨水”效应:性能在误导信息比例很小时急剧下降,之后边际影响递减。该工作通过attention mechanics分析解释了这一现象,并指出过滤收益主要来自上下文长度缩减而非移除干扰项。
Pedro Conde et al.
cs.AI cs.CR
本文提出了一种针对AI渗透测试agent的实用评估协议,通过结合结构化ground-truth与基于LLM的语义匹配来识别漏洞,并采用二分图匹配等方法对结果进行评分,从而在更复杂的真实场景中评估agent性能。该工作主要关注评估方法本身,而非提出新的agent架构或理论。
Daniel Mitropolsky et al.
cs.AI cs.CL cs.LG
本文提出了广义图灵测试(Generalized Turing Test, GTT)框架,通过不可区分性(indistinguishability)来比较任意agent的能力,并研究了该比较器的传递性等结构性质。该工作为agent智能的比较提供了一种与数据集和任务无关的形式化基础。
Haozhe Zhang et al.
cs.AI cs.CV cs.SE
本文提出了BenchCAD,一个用于评估工业CAD代码生成的统一benchmark,包含大量可执行的CadQuery程序。实验表明,当前模型能恢复粗略几何形状,但在生成精确参数化CAD程序方面表现不佳。
Simon Yu et al.
cs.AI cs.PL cs.SE
Shepherd是一个基于Lean形式化验证的函数式编程模型,通过Git风格的可执行迹记录agent与环境交互,支持状态分叉和重放。实验表明其在运行时干预、反事实元优化和Tree-RL训练中提升了性能,但方法本身并非开创性突破,且与关键词中的agent概念有一定关联但不够紧密。

cs.IR

Yangtao Zhou et al.
cs.IR
AgentGR提出了一种基于LLM驱动agent的语义感知群体决策模拟器,用于解决群体推荐中偏好聚合过于简单的问题。该方法通过语义元路径引导的偏好推理链,融合高阶协同过滤信号与文本语义来增强用户偏好表示,并显式建模群体主题与领导力以刻画决策影响因素。其核心创新在于设计了静态工作流与动态对话两种多agent模拟策略,分别兼顾效率与精度,从而更真实地反映群体决策的动态过程。实验表明,该方法在推荐准确性与决策模拟效果上均显著优于现有基线。
Tz-Huan Hsu, Jheng-Hong Yang, Jimmy Lin
cs.IR cs.AI cs.CL
本文提出Pi-Serini搜索agent,通过将lexical retriever BM25与前沿LLM(如gpt-5.5)结合,证明在agentic loop中lexical retrieval足以支持深度研究。在BrowseComp-Plus上,该方法以83.1%的答案准确率和94.7%的证据召回率超越使用dense retriever的搜索agent。消融实验表明,调整BM25参数和增加retrieval depth可显著提升性能,为agent-based搜索系统提供了简洁高效的baseline。
Zhifei Hu, Feng Xia
cs.IR cs.AI
本文提出了一种基于多视图知识图谱蒸馏和多级自监督对比学习的推荐系统框架,通过图注意力网络聚合邻居信息来增强用户和物品表示。实验表明该方法在三个公开数据集上优于现有技术。
Yunyi Xuan et al.
cs.IR cs.CL
本文提出UserGPT框架,利用大语言模型从用户行为历史中生成连贯的用户画像摘要,并引入模拟引擎和课程训练策略提升推理能力。该方法主要关注用户画像生成而非代码、谱方法或Muon优化器等关键词相关方向。
Haven Kim, Julian McAuley
cs.IR cs.SD
本文提出了一个名为Reddit2Deezer的对话式音乐推荐数据集,包含19万个从Reddit论坛提取的{帖子, 评论}对,并将每个音乐实体链接到Deezer标识符以获取元数据。该数据集提供了原始和改写两个版本,旨在平衡对话的真实性与可复现性。
Saber Zerhoudi
cs.IR
OpenIIR是一个用于信息检索研究的开源仿真平台,通过运行数百个LLM驱动的persona来执行参数化的可重复实验。该平台支持四种多agent研究类型,并提供了结构化输出供下游评估器使用。
Yiming Zhu et al.
cs.IR
本文提出了一种基于Multimodal Large Language Model (MM-LLM)的通用框架,用于在大规模推荐系统中理解多媒体内容。该框架通过LLaMA2模型生成描述性文本作为特征,在离线AUC和在线指标上取得了小幅提升,但方法本身在理论或技术上的开创性有限。
Jiacheng Lin et al.
cs.IR
本文提出从平台中心化个性化向用户治理个性化的转变,利用LLM Agent整合跨平台和离线数据,证明用户借助跨平台数据导出和现成LLM Agent可超越单平台个性化基线。
Anushree Berlia
cs.IR cs.CV
本文提出Loom,一个结合neural embedding检索与结构化领域评分的服装推荐系统。系统通过FashionCLIP embedding的近似最近邻搜索检索互补单品,并利用多目标函数(整合embedding相似度、色彩和谐度等六种信号)对候选搭配进行评分。实验表明该方法在620件商品目录上优于随机基线。
Bingqing Zhang et al.
cs.IR
本文提出了ReCoVR,一种用于交互式组合视频检索的双路径架构,通过引入反思性感知机制来利用检索历史作为诊断证据,以解决现有方法在多轮交互中的局限性。实验表明该方法在多个基准上优于基线。
Yann Collet et al.
cs.IR cs.DB
本文提出了一种基于有向无环图(DAG)的压缩框架OpenZL,通过模块化codec(编解码器)的图模型实现应用特定的压缩,在保持高压缩比的同时显著提升了速度,但该方法更偏向工程实践而非理论创新,与关键词关联度较低。
Harshita Jagdish Sahijwani et al.
cs.IR
本文针对医疗搜索查询意图识别问题,提出了一种通过聚类聚合相似查询并引入新损失函数来改进查询表示学习的方法,并利用concordance rate (CR) score量化了全局意图与局部会话意图的偏差。该方法在Health Search和TripClick数据集上提升了查询表示聚类和后续意图分类的性能。
Yuchen Huang et al.
cs.IR
本文针对CCD-based多核CPU上的内存向量ANNS,提出了一种CCD级别且负载感知的线程编排框架,通过考虑多芯片架构和访问局部性来优化任务调度和负载均衡,从而提升吞吐量并降低延迟。
Koji Nishikawa, Makoto P. Kato
cs.IR
H-MAPS是一个用于科学文献阅读的主动搜索助手,通过三层层次记忆来解析用户的潜在信息需求,并在本地设备上进行神经检索以保护隐私。该系统根据用户的不同背景生成个性化问题并检索相关文献。
Haruki Fujimaki, Makoto P. Kato
cs.IR
NumColBERT提出了一种非侵入式的数值注入方法,通过数值门控机制和对比学习目标增强ColBERT模型对数值条件查询(如“研发支出超过十亿美元的公司”)的检索能力,在不改变原有late-interaction架构和推理流程的前提下提升性能。该方法在多个数据集上优于标准微调基线,并达到与分离式文本-数值评分方法相当的精度。
Yiwen Chen et al.
cs.IR
本文提出LASAR框架,通过两阶段训练(先语义对齐再引入latent reasoning)和强化学习优化,解决了生成式推荐中latent reasoning与Semantic ID符号的语义鸿沟、表示漂移及固定推理深度等问题,在降低推理延迟的同时提升了推荐质量。
Jiwon Jeong et al.
cs.IR
本文提出Ordinal Semantic Anchoring (OSA)框架,通过将序数偏好等级表示为数值文本token并利用其token embedding作为语义锚点,在LLM隐空间中对齐用户-物品交互表示,以保留偏好强度信息。实验表明该方法在细粒度偏好建模上优于现有CF-LLM基线。
Pengyue Jia et al.
cs.IR
本文提出UniRank,一种统一的list-wise reranking框架,通过引入Task Grounded Diffusion Interface (TGD)在item level进行迭代去噪,并填充最置信的slot,从而融合自回归与非自回归reranker的优势。实验表明其在多个数据集上优于现有baseline。
Xiaopeng Li et al.
cs.IR
本文提出了一个名为Personalized Deep Research (PDR)的框架,通过将用户profile建模与迭代query开发、双阶段检索和context-aware合成相结合,实现了对LLM驱动的Deep Research agent的个性化增强。实验表明,该方法在检索效用和报告相关性上优于商业baseline,但主要贡献在于系统设计而非理论创新,与关键词列表中的核心概念关联较弱。

cs.CL

Junnan Liu et al.
cs.CL cs.AI
本文提出AIPO框架,通过引入Verify Agent、Knowledge Agent和Reasoning Agent三个协作智能体,在强化学习训练过程中为policy model提供细粒度指导,从而主动扩展其推理能力边界。该方法解决了现有RLVR算法中探索受限于policy model固有边界的问题,并设计了重要性采样系数和裁剪策略来缓解off-policy偏差和梯度消失。实验表明AIPO在多个推理基准上持续提升性能,且能泛化到不同policy model和RLVR算法,与关键词"agent"高度契合。
Aritra Mazumder et al.
cs.CL cs.AI cs.LG
AgentCollabBench是一个诊断multi-agent系统在协作过程中出现过程性故障的benchmark,包含900个经过人工验证的任务,覆盖软件工程、DevOps和数据工程领域。该benchmark识别了四种行为风险:instruction decay(约束在peer pressure下丢失)、false-belief contagion(错误通过共识传播)、context leakage(信息在任务间泄露)和tracer durability(标记数据能否到达最终agent)。通过对四种现代LLM的评估,本文发现communication topology是影响multi-hop信息存活率的主要风险因素,解释了7-40%的方差,并揭示了一个特定于converging-DAG节点的synthesis bottleneck:当agent权衡来自多个父节点的输入时,会丢弃少数分支携带的约束,这种结构缺陷在linear chains中不存在。本文论证了multi-agent可靠性本质上是一个结构性问题,仅提升模型智能无法替代合理的架构设计。
Boxuan Zhang et al.
cs.CL cs.AI cs.MA
本文提出AgentForesight框架,将LLM-based multi-agent system中的failure detection问题重新定义为online auditing任务:在trajectory展开的每一步,auditor仅基于当前prefix判断是否在最早的关键错误(decisive error)处发出警报,而非事后归因。为此,作者构建了AFTraj-2K语料库(覆盖Coding、Math和Agentic领域),并训练了AgentForesight-7B模型,采用coarse-to-fine reinforcement learning方法,先通过相邻safe/unsafe prefix对建立risk-anticipation prior,再通过三轴reward(what、where、who)精确定位错误步骤。实验表明,该模型在多个benchmark上超越GPT-4.1和DeepSeek-V4-Pro,实现了高达+19.9%的性能提升和3倍更低的step localization error,为deployment-time intervention提供了可能。
Yongqi An et al.
cs.CL
本文提出ReST-KV方法,将KV cache eviction问题形式化为一个最小化output discrepancies的优化问题,通过layer-wise reconstruction直接建模每个token移除对模型输出的影响,从而捕捉attention redistribution效应。该方法结合exponential moving average smoothing处理temporal variations,并设计adaptive window-based mechanism捕获spatial patterns,在LongBench和RULER等benchmark上显著超越现有方法,同时实现高达10.61倍的decoding latency reduction。这项工作为long-context场景下的efficient generative inference提供了新的理论视角和实用方案,与关键词"attention"和"context"高度契合。
Chung-En Sun et al.
cs.CL
本文提出When2Tool基准,系统研究LLM agent何时需要调用外部工具,发现模型隐藏状态中工具必要性可线性解码(AUROC 0.89-0.96),但模型在生成时未能利用此知识。基于此发现,作者提出Probe&Prefill方法,使用轻量级linear probe读取隐藏状态信号并预填充引导句,在仅损失1.7%准确率的情况下减少48%的工具调用,显著优于现有baseline。该工作为agent工具调用决策提供了开创性的无训练干预方案。
Guibin Zhang et al.
cs.CL cs.CV cs.LG
本文提出Mem-W,一种将记忆作为agent连续上下文一部分的latent-memory-native GUI agent框架。通过一个共享的trajectory-to-latent compressor,Mem-W将历史轨迹(作为experiential memory)和会话内片段(作为working memory)压缩为紧凑的memory tokens,并与当前GUI观测和局部上下文拼接成连续的embedding sequence。该方法采用self-distillation和outcome-aware supervision进行训练,以保留决策相关状态并过滤对任务成功有实质帮助的记忆。在多个web和mobile navigation基准测试中,Mem-W显著提升了多种backbone和memory-enhanced baseline的性能,为长时程GUI agent提供了可扩展的memory基础。
Chen Xu et al.
cs.CL
本文提出TacoMAS框架,将LLM-based Multi-Agent Systems (MAS)的推理过程建模为online graph adaptation问题。该框架通过双时间尺度的co-evolution机制,在测试时同时优化agent的capability(快速更新)和communication topology(慢速演化,包括edge edit、agent addition和removal),并证明该设计能驱动MAS趋向task-conditioned stable equilibrium。实验表明,TacoMAS在四个benchmark上平均超越最强baseline 13.3%,为agent系统的动态自适应提供了开创性方法。
Zehua Pei et al.
cs.CL
本文提出FocuSFT,一个双层优化框架,用于解决长上下文监督微调(SFT)中的注意力稀释问题。内循环通过轻量级fast-weight参数在训练上下文中形成参数化记忆,集中注意力于相关内容;外循环则在此锐化表示上进行SFT,同时使用双向注意力处理上下文token并保留因果掩码,以减轻注意力沉没(attention sink)现象。实验表明,FocuSFT在BABILong、RULER和GPQA等基准上显著提升了长上下文任务的准确率,并将训练时的注意力沉没质量降低了529倍。该方法与关键词中的“attention”和“context”高度契合,为长上下文微调提供了开创性的优化视角。
Shijue Huang et al.
cs.CL
本文提出了一种面向视觉原生多模态深度搜索agent的On-policy Data Evolution (ODE)方法。其核心创新包括:首先,设计了一个基于image bank reference protocol的agent框架,将工具返回的每张图像注册为可寻址引用,使得中间视觉证据能被后续工具复用;其次,ODE通过闭环数据生成器,利用当前策略的rollout结果逐轮精炼训练数据,使数据生成能自适应agent能力的演化。该方法在8个多模态深度搜索benchmark上显著提升了Qwen3-VL-8B agent的性能(平均从24.9%提升至39.0%),并验证了image-bank复用和rollout-feedback evolution的有效性,与关键词“agent”高度契合。
Chahana Dahal, Ashutosh Balasubramaniam, Zuobin Xiong
cs.CL cs.LG
本文提出了GONE基准和NEDS框架,用于评估和实现LLM中对结构化知识图谱事实的知识遗忘。NEDS通过利用图连接性识别锚定相关邻居,在遗忘事实与其语义邻域间建立精确决策边界,实验表明其在遗忘效果和局部性上表现优异。
Yada Pruksachatkun et al.
cs.CL
SalesSim是一个用于评估多模态大语言模型在零售对话中模拟用户行为的框架和测试平台。它通过设计决策对齐指标来评估模拟器行为与用户角色规范的一致性,并发现现有模型存在词汇多样性低、易受销售代理影响等问题。
Geigh Zollicoffer et al.
cs.CL cs.AI
本文提出了一种控制不变性方法,通过两个oracle测试(Force和Remove)来区分长文本幻觉检测方法是否真正评估了推理过程,而非仅利用最终答案的表面特征。实验表明,基于词法轨迹特征的轻量级检测器TRACT在控制这些伪影后仍能保持竞争力。
Michael Li, Nishant Subramani
cs.CL
本文研究了mechanistic interpretability中circuits框架的consistency和specificity,发现不同任务间的circuit存在大量重叠且缺乏任务特异性,这限制了circuit在模型行为理解和干预中的针对性应用。
David Freeborn, Malihe Alikani, Anthony Sicilia
cs.CL
本文使用large language models分析Reddit辩论语料库,通过预测信念修正和编码修辞策略,发现让步与共情策略促进观点改变,而正面反驳则抑制之。研究强调了关系框架在公共推理中的重要性。
Florian Hönicke et al.
cs.CL
本文提出了一种基于frozen-encoder model composition的多模态embedding方法,通过为已有的文本embedding模型添加图像和音频编码器,仅训练连接组件(占总权重的0.35%),实现了文本、图像、音频和视频的统一语义embedding空间。该方法在保持文本embedding不变的同时,在多模态任务上达到了与更大模型相近的性能。
Dongdong Wang et al.
cs.CL cs.AI cs.CV cs.ET
本文探讨了使用大型视觉-语言模型(如InternVL和Qwen)从遥感图像中推理建成环境(包括设计建议、土地利用模式等)的潜力,并比较了不同模型在准确性和可靠性上的表现。
Hanqi Zhou et al.
cs.CL cs.AI
本文提出一个计算模型,将自然语言解释转化为行动规划,使用large language model将解释转换为策略先验和价值图,并在部分可观测条件下由planning agent执行。通过实验验证了该模型能有效评估解释质量并提升导航表现。
Zhanliang Wang et al.
cs.CL cs.AI stat.ML
本文提出了Sem-ECE框架,通过从模型中采样答案并分组为semantic classes来评估open-ended QA中的calibration。该框架提供了两种estimator,并证明了其渐近无偏性,实验表明其优于verbalized confidence和现有sampling-based方法。
Ramon Pires et al.
cs.CL cs.AI
Magis-Bench是一个用于评估LLM在司法级别法律任务上的基准测试,包含来自巴西司法考试的多轮法律分析问题和判决书撰写练习。实验表明,即使是最先进的模型(如Gemini-3-Pro-Preview)得分也未超过70%,说明司法推理和写作对当前LLM仍具挑战性。
Natalie Seah et al.
cs.CL
本文构建了一个面向部署的stress-testing框架,用于评估LLM在乳腺癌放疗副作用识别中的表现。研究发现模型对文档细节敏感,存在precision与recall的权衡,且系统性低估罕见和长期副作用。
Mohammed Q. Shormani
cs.CL
本文重新审视了也门阿拉伯语中祈使句的句法结构,提出了跨语段一致(Agree across phases, AAP)方法。该方法通过句法与话语的互动来解释简单和复杂祈使句的构建,并分析了主题成分与空主语pro之间的共指关系。
I. F. Atasoy et al.
cs.CL cs.AI
本文研究了LLM在摘要任务中的幻觉检测问题,通过人工裁决重新评估了QAGS-C和SummEval数据集中的标注分歧,发现模型辅助的重新评估能提高基准可靠性。该工作主要关注评估方法而非关键词中的核心数学或算法创新。
Mehmet Iscan
cs.CL cs.AI cs.LG
本文提出了一种名为PYTHALAB-MERA的外部控制器,用于增强基于冻结大语言模型的编码agent。该方法通过验证驱动的记忆、检索和接受控制,在特定编码任务上取得了比基线方法更好的验证成功率,但并未声称具有通用代码合成能力。
Mila Marcheva, Suchir Salhan, Weiwei Sun
cs.CL
本文通过统计语法归纳方法,计算性地实现了关于句法发展的成熟理论(GROWING与INWARD),比较了不同句法类别习得顺序的可学习性。结果表明GROWING理论在多个评估指标上显著优于INWARD理论。
Naoki Otani et al.
cs.CL
本文研究了LLM-based agent在数据密集型任务中的规划策略,比较了full-horizon (FH) 和 single-step horizon (SH) 两种范式,发现FH planning在准确率上与SH持平,但token消耗减少2-3倍。
Yue Huang et al.
cs.CL cs.CY cs.HC
本文提出了NARRA-Gym,一个用于评估LLM在交互式叙事任务中表现的可执行环境,通过将稀疏情感种子转化为完整故事并记录模型轨迹,测试了九种前沿模型。结果显示模型在流畅性、鲁棒性和个性化等维度存在显著差异,但该工作主要聚焦于交互式叙事评估,与关键词中的code、spectral、Muon、pretrain、attention等概念关联较弱。
Zeru Shi et al.
cs.CL
本文研究了大型语言模型中massive activations的起源,识别出一个名为Massive Emergence Layer (ME Layer)的特定层,并发现massive activation token representation在层间保持高度不变性。基于此,作者提出了一种简单有效的方法来降低massive activation token的刚性,从而提升模型在指令遵循和数学推理等任务上的性能。
Hamid Kazemi, Atoosa Chegini, Maria Safi
cs.CL cs.AI cs.LG
本文发现大语言模型的安全对齐依赖于两种机制不同的神经元:拒绝神经元和概念神经元。通过抑制或放大单个神经元,可以在无需训练或提示工程的情况下绕过安全对齐,表明安全对齐并非鲁棒地分布在模型权重中。
Adib Sakhawat et al.
cs.CL
本文提出了一种统一的MTMM几何框架,将LLM评估中的多种指标(如Paraphrase Instability、Drift Score等)解释为共享潜在坐标空间中的几何测量,并分解为三个正交维度。该框架旨在分离任务无关扰动与真实能力,为基准设计提供理论分类,但未涉及关键词中的code、spectral、Muon、pretrain、agent或attention等具体方向。
Mingzhe Li, Zhiqiang Lin, Shiqing Ma
cs.CL
本文提出了CiteTracer,一个用于检测大语言模型生成的虚假引用的多智能体框架。该框架通过12类分类法对引用进行细粒度判定,并利用级联检索和确定性字段匹配实现高精度检测。
Rustem Yeshpanov
cs.CL
本文发布了一个来自哈萨克斯坦的10万条电影评论数据集,包含俄语、哈萨克语及代码混合文本,并手动标注了语言和情感极性。实验表明,transformer模型在情感极性分类上优于传统方法,但评分分类因类别不平衡仍具挑战性。
Zihao An et al.
cs.CL cs.AI
本文提出PARD-2,一种用于Speculative Decoding的双模式并行草稿模型,通过Confidence-Adaptive Token优化来对齐草稿模型训练与推理目标,实验表明在Llama3.1-8B上实现了最高6.94倍的加速。该方法主要关注LLM推理加速,与关键词中的code, context, spectral, Muon, pretrain, agent, attention均无直接关联。
Jiaxiang Geng et al.
cs.CL
本文提出了EdgeFlowerTune基准,用于在真实边缘系统约束下评估联邦LLM微调,同时考虑模型质量和系统成本(如通信、延迟、内存等),但方法本身缺乏开创性且与关键词无关。
Siqi Fan et al.
cs.CL
本文提出Hint Tuning方法,通过让模型根据问题难度自适应调整推理深度来减少不必要的token生成。该方法利用instruct模型作为难度探针,自动构建三种提示状态的数据,在仅需1000个自标注样本的情况下,实现了24-66%的token压缩,同时保持推理准确性。
Gautam Veldanda
cs.CL cs.AI
本文提出了Explanation Fairness Taxonomy (EFT)框架,包含五个可操作的解释公平性维度,并通过实证研究在多个LLM和决策领域中发现了显著的统计差异。研究还引入了两个新的黑盒度量指标,并测试了基于prompt的缓解措施,但发现其对风格性差异效果有限。
Benjamin L. Badger
cs.CL cs.LG
本文提出Structured Recurrent Mixer架构,可在训练时使用sequence parallel表示、推理时使用recurrent表示,无需专用kernel。实验表明该模型在训练效率、输入信息容量和推理吞吐量上优于其他线性复杂度模型,但与关键词中的spectral、Muon、agent等概念无直接关联。
Minzheng Wang et al.
cs.CL
本文针对开放域社交语言游戏中强化学习策略演化停滞的问题,提出了一种双尺度演化策略训练方法,通过检测策略同质化并动态调整优化信号来维持策略探索。该方法在多个社交语言游戏上取得了优于基线模型的效果,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Zhengyang Zhao, Lu Ma, Wentao Zhang
cs.CL
本文提出On-Policy Harness Self-Distillation (OPHSD)方法,通过将带有外部推理框架(harness)的当前模型作为教师进行自蒸馏,将框架能力内化到学生模型中,从而在不依赖外部推理框架的情况下提升大语言模型在复杂推理任务上的性能。实验表明该方法在文本分类和数学推理任务上优于现有基线,且推理时重新附加框架反而可能降低性能。
Donghoon Jung et al.
cs.CL cs.AI
本文提出了一种量化框架,通过重复控制下的叙事约束选择任务,使用Jaccard相似度和逆Simpson指数来刻画LLM的“一致性”与“多样性”倾向,并借助PCA可视化工具Narrative Landscape进行模型间比较。研究发现不同模型家族存在刚性-探索谱系,且指令类型会改变选择空间的几何结构。
Yan Sun et al.
cs.CL cs.AI
本文提出SimReg,一种在LLM预训练中使用的embedding similarity regularization损失函数,通过对比学习使同标签token表示更相似、异标签token表示更分离,从而加速训练收敛并提升下游性能。该方法主要针对预训练阶段的表示学习效率问题,与关键词中的pretrain有一定关联,但方法本身并非开创性突破。
Odysseas S. Chlapanis, Orfeas Menis Mastromichalakis, Christos H. Papadimitriou
cs.CL cs.AI
本文通过复现认知科学中的属性生成实验,发现LLMs在理解抽象概念时过度依赖word associations,而缺乏人类对emotion和internal states的关联,导致与人类认知存在显著grounding gap。尽管在显式查询时模型能恢复grounding dimensions,但在自由生成时无法像人类一样调用这些信息。
Jiayi Liu et al.
cs.CL cs.AI
本文提出SeedRG,一种半合成benchmark生成pipeline,通过从seed benchmark中提取reasoning graph并进行type-constrained entity replacement来生成新实例,以缓解RAG评估中的knowledge leakage问题。该方法通过reasoning-graph consistency check和knowledge-leakage filter确保生成质量。
Chang Liu et al.
cs.CL
本文提出XPERT框架,从预训练的Mixture-of-Experts (MoE)大语言模型中提取并重用跨领域专家知识,以提升不同规模语言模型的训练效率。实验表明,该方法在语言理解和对话生成任务上优于基线,但未涉及关键词中的code、spectral、Muon或agent等概念。
Pengze Guo et al.
cs.CL
EmoS是一个高保真双语多模态benchmark,通过结合静态切片和动态流式独白子集,并采用双层人工标注流程,为细粒度流式情感理解提供了可靠标注。实验表明在该benchmark上微调多模态大语言模型能显著提升情感识别性能。
Sohan Venkatesh
cs.CL
本文研究了不同attention架构(如grouped query attention与multi-head attention)对大型语言模型中circuit可解释性的影响,发现架构选择比参数规模更关键。在Pythia和Qwen2.5模型上,grouped query attention产生了更集中且稳定的circuit,且factual recall circuit在特定规模下会发生离散相变。
Shota Fujikawa, Issei Sato
cs.CL cs.LG
本文从决策边界的角度分析了HaMI方法,发现用语义一致性缩放内部状态能扩大决策边界。受此启发,作者用max-pooling聚合token特征并通过轻量MLP估计句子分数,在避免语义一致性计算的同时保持了与现有方法相当的检测性能。
Xiang Feng et al.
cs.CL cs.CV
本文提出了DocScope基准,用于评估多模态大模型在长文档理解中的可验证推理能力,通过四阶段评估协议(页面定位、区域定位、事实提取、答案验证)来审计推理轨迹。实验发现,即使答案正确,完整的证据链比例也仅为29%,且区域定位是最薄弱的环节。
Yuzhuang Xu et al.
cs.CL cs.AI
本文指出,在极低比特量化的大语言模型中,除了数值精度损失外,模型还面临系统性的smoothness(平滑性)退化问题,这种退化会直接导致预测邻域内有效token候选的减少,从而降低生成质量。文章通过引入一个简单的smoothness保持原则,证明了在量化过程中保持平滑性可以带来超越数值精度的额外收益。
Zhuoyun Li et al.
cs.CL cs.AI cs.LG
本文提出FragileFlow,一种基于margin-aware error flow的插件式正则化方法,通过校准的margin buffer识别正确但脆弱的预测,并利用谱控制(spectral control)来提升基础模型(如LLM和VLM)在扰动下的最差类别鲁棒性。实验表明该方法在多个基准上改善了理论风险度量并保持了干净准确率。
Jiawei Lian et al.
cs.CL cs.AI
本文提出了一种名为Semantic Representation Attack (SRA)的对抗性攻击方法,通过将攻击目标从精确的文本模板转向恶意语义表示,以绕过大型语言模型的对齐机制。该方法利用Semantic Representation Heuristic Search (SRHS)算法在保持提示可解释性的同时实现攻击,并在多个开源模型上取得了高成功率。
Yanshi Li et al.
cs.CL
本文通过residual stream分析,发现LLM中存在可分解的功能性元认知状态(如评估意识、自我评估能力等),这些状态可从内部激活中线性解码,并通过引导激活因果性地调节推理行为。研究为理解模型在基准测试中的表现偏差提供了机制性框架。
Wicaksono Leksono Muhamad et al.
cs.CL cs.AI
本文提出Context-Aligned Contrastive Regression方法,结合Ridge regression ensemble与两种对比学习目标,用于改进跨语言词汇难度预测。实验表明该方法能提升跨语言表示对齐并保持语言特异性,但未涉及code、spectral、Muon等关键词相关技术。
Yangyang Meng et al.
cs.CL eess.AS
本文提出了Dolphin-CN-Dialect,一个面向中文及方言场景的流式ASR模型。通过温度采样策略平衡标准普通话与低资源方言数据,并重新设计tokenizer(采用字符级中文建模与子词级英文建模),在保持较小模型尺寸的同时提升了方言识别准确率并降低了CER。
Luca Ballore
cs.CL cs.LG
本文介绍了LLiMba,一个基于Qwen2.5-3B-Instruct通过持续预训练和监督微调适配到撒丁语的3B参数语言模型。实验比较了多种LoRA变体在低资源语言适配中的表现,发现adapter容量比LoRA变体选择更重要,且更强的正则化并非总是有益的。
Alexandre Le Mercier, Chris Develder, Thomas Demeester
cs.CL cs.LG
本文提出了GAMBIT基准,用于评估多智能体LLM集体中对抗性欺骗检测器的鲁棒性,包含三种评估模式和两个独立评分。该工作主要关注agent系统的安全性,但方法本身在数学理论或长期问题解决上缺乏开创性贡献。
Pavan Manjunath, Thomas Prufer
cs.CL cs.AI cs.LG
本文提出一个四阶段混合框架用于跨区域太阳能和风能短期预测,包括经典baseline、量子启发变分核(基于六量子比特硬件高效ansatz)残差校正和生成式AI解释层。实验表明该框架在域内预测任务中与最强baseline差距在1%以内,且量子启发核在区分平静与风暴天气模式时Fisher判别比约是调优径向基核的15倍。
Jialing Gan, Junhao Dong, Songze Li
cs.CL cs.CR
本文提出了BiAxisAudit框架,用于评估大语言模型在prompt敏感性和响应层分歧上的bias。该框架通过跨prompt轴和响应内轴两个维度报告bias分数及其可靠性估计,揭示了传统单一标量评估的局限性。
Ye-eun Cho
cs.CL
本文研究了大型语言模型(LLM)在语用推理评估中的方法差异,通过标量多样性(scalar diversity)作为诊断工具,比较了直接概率测量与元语言提示两种评估方法。结果表明,LLM的语用行为在不同模型家族、提示策略和任务结构间存在显著差异,且标量多样性梯度仅在特定模型-条件组合中出现,说明语用推理能力并非稳定的内在能力,而是受评估设计影响。
Napassorn Litchiowong
cs.CL cs.AI
本文形式化了情感意义分歧(AMD)的概念,并基于博弈论推导出logit最佳响应映射,其动力学在特定条件下经历鞍结分岔。实验在对话数据集上验证了AMD在对话崩溃前出现临界减速信号,但该方法与关键词列表中的code, context, spectral, Muon, pretrain, agent, attention均无直接关联。
J. de Curtò, Mauro Liz, I. de Zarzà
cs.CL
本文通过密集多语言CLIP探针实验,发现低资源语言在视觉定位任务中的性能差距主要源于文本分支,而非视觉编码器,并指出空间错位是主要失败模式。
Guijin Son et al.
cs.CL
本文介绍了Soohak,一个由64位数学家从零开始创建的包含439个问题的benchmark,用于评估LLM在研究级数学问题上的能力。该benchmark包含Challenge子集和Refusal子集,其中Refusal子集专门测试模型识别并拒绝回答不适定问题的能力,当前所有模型在该子集上的表现均未超过50%。
Mullosharaf K. Arabov
cs.CL
本文构建了一个塔吉克语(西里尔字母)到波斯语(波斯-阿拉伯字母)的平行词汇语料库,并训练了一个character-level的sequence-to-sequence Transformer模型进行自动转写。实验表明该模型在CER和精确匹配准确率上优于基于词典的规则方法和循环神经网络基线。
Luke Zhang et al.
cs.CL
本文提出Dynamic Meta-Metrics (DMM)框架,通过源句子条件加权组合现有metrics来改进机器翻译评估,实验表明MLP-based组合优于线性模型。该工作主要聚焦于自然语言处理中的评估方法,与关键词列表中的概念无直接关联。
Zhongtao Miao, Qiyu Wu, Yoshimasa Tsuruoka
cs.CL
本文提出GRC框架,通过meta latent tokens和统一训练方法,将推理驱动生成、文本表示和上下文压缩任务整合到LLM的单次前向传播中。该方法在RAG场景下减少部署开销,并实现O(1)长度的压缩KV cache作为可更新记忆。
Xiaoyu Hu, Jinman Zhao
cs.CL
本文提出了Fin-Bias基准,用于评估LLM在金融决策中受人类偏见(如羊群效应)影响的程度,通过提供包含分析师评级的报告来测试模型。实验表明LLM倾向于跟随上下文中的显式偏见,并开发了一种检测方法以促进独立决策。
Matthias Schöffel, Esteban Garces Arias
cs.CL cs.AI stat.AP
本文比较了传统标注器与LLM在中世纪罗曼语POS标注中的表现,发现基于LLM的方法(尤其是微调和跨语言迁移学习)优于传统方法,为历史NLP提供了实践指导。
Jucheng Hu et al.
cs.CL q-bio.NC
本文提出了Meow-Omni 1,一个面向猫科动物行为学的四模态大语言模型,通过融合视频、音频、生理时间序列和文本推理来推断动物意图,并在MeowBench基准上取得了领先性能。该工作主要贡献在于构建了首个开源的四模态计算行为学模型,但与关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念关联较弱。
Ahan Chatterjee et al.
cs.CL cs.AI
本文探讨了从拉丁语到奥克语的语法性别系统演变,引入了一个可解释的深度学习框架,在词汇和上下文层面分析性别预测中形态特征和词性类别的贡献。研究主要关注语言学的历史演变,与您提供的关键词(如code, context, spectral等)关联度较低。
Antonis Asonitis et al.
cs.CL cs.AI cs.LG
本文介绍了WorldSpeech,一个包含76种语言、65k小时对齐音频-文本数据的多语言语音语料库,旨在改善低资源语言的自动语音识别性能。通过在该语料库上微调现有ASR模型,在11种语言上实现了平均63.5%的相对词错误率降低。
Andrea Morandi
cs.CL
本文比较了两种用于消除LLM-as-a-judge评分偏差的后验校准方法:参数化的层次贝叶斯线性校正和非参数化的Neural-ODE分数传输流。实验表明,在少量锚点数据下线性校正更优,而在大量数据下分数传输流表现更好,但两种方法均未涉及关键词中的核心概念。
Yu Wu et al.
cs.CL cs.AI cs.CY cs.DL cs.IR
本文评估了语义搜索在18世纪思想史研究中的应用,通过专家标注和语义分类法,发现语义搜索能比词汇方法检索到更多隐含的思想接收,但仍受词汇重叠的限制。
Sohan Venkatesh
cs.CL cs.LG
本文研究了大型语言模型在重复token计数任务上的失败原因。通过线性探针发现模型内部表示能正确编码计数,但特定MLP模块在深层网络中将正确表示覆盖为固定错误答案,表明失败源于信息路由而非表示能力。
Yuxuan Jiang et al.
cs.CL cs.AI
本文研究了On-Policy Distillation (OPD)中高损失token(称为Rock Tokens)的现象,发现这些token在训练中持续存在且对推理性能贡献微弱,表明大量优化资源被浪费在结构性和话语性残差上。
Aditya Sinha et al.
cs.CL cs.AI
本文研究了多轮对话中LLM的上下文切换问题,通过构建合成基准测试评估了十种LLM在检测用户话题转变和筛选相关历史上下文方面的零样本表现。实验发现仅部分强指令模型能准确检测话题转变,而开源模型和所有模型均存在位置偏差问题。
Rui Liu et al.
cs.CL cs.CV
本文提出DeltaRubric方法,将多模态偏好评估重构为单个MLLM中的计划与执行过程,通过生成实例特定的验证清单并执行检查来改进奖励建模。实验表明该方法在VL-RewardBench上相比基线有显著提升。
Bingqing Liu, Wei Liu, Yuhua Li
cs.CL
本文分析了基于null space的模型编辑方法中的知识泄露问题,并提出了BetaEdit框架,通过引入历史感知更新策略来缓解顺序编辑中的性能下降。实验表明该方法在大规模顺序编辑场景下优于现有方法。
Zhao Tan et al.
cs.CL
本文提出LEAF-SQL框架,通过将SQL skeleton预测重构为粗到细的树搜索过程,并引入三级skeleton层次结构和评估agent来生成和筛选候选结构,从而提升复杂查询的Text-to-SQL性能。实验表明该方法在BIRD基准上优于现有搜索和skeleton方法。
Avinash Kumar, Sujay Sanghavi, Poulami Das
cs.CL cs.LG
本文提出Test-Time Speculation (TTS)方法,通过在测试时持续调整draft model来缓解speculative decoding中acceptance length随生成长度下降的问题。TTS利用token verification步骤中已有的target model调用信号,以零额外成本在线更新draft model,实验表明其在长序列生成任务上优于现有方法。
Xiaocheng Luo et al.
cs.CL cs.AI
本文提出RuPLaR框架,将LLM的多步latent CoT推理压缩为单步单模型,通过基于规则的先验概率分布和联合训练目标(交叉熵、KL散度、语义对齐)来提升推理效率与准确性。实验表明该方法在减少token使用的同时,准确率比现有latent CoT方法提升11.1%。
Shusaku Egami et al.
cs.CL cs.AI cs.DB cs.MM
本文提出了HOME-KGQA,一个基于多模态知识图谱的家庭日常活动问答基准数据集,包含复杂的多跳自然语言问题。实验表明,现有基于LLM的KGQA方法在该数据集上表现不佳,揭示了其在真实场景部署中的挑战。
Ahmed Mahrous, Roberto Di Pietro
cs.CL
本文研究了金融社交媒体中emoji在不同语言、平台和资产社区间的语义与情感极性稳定性,发现emoji频率存在跨语言差异但语义和情感极性基本稳定,且加入emoji能提升情感模型的跨域迁移性能。
Jiafeng Liang et al.
cs.CL cs.CV
本文提出了ProCauEval评估协议,通过扰动实验诊断大型多模态模型在因果发现中的缺陷,发现模型能感知视频内容但未充分利用视觉证据进行因果推理,并提出了ADPO强化学习框架来缓解对文本先验的依赖。
Ahmed Mahrous, Roberto Di Pietro
cs.CL
本文构建了一个包含超过28万条Telegram帖子的语料库,用于检测加密货币的拉高出货(pump-and-dump)行为。通过对比LightGBM和BGE-M3模型,实现了对拉盘公告的实时检测,并首次建立了对目标加密货币和交易所提取的基准测试。
Yu Wang et al.
cs.CL cs.AI
本文针对OCR临床报告中的半结构化信息提取问题,提出了一种基于关键字段覆盖度的问答方法,通过构建规范的关键字段库并引入关键覆盖度指标来量化提取完整性。实验表明,在覆盖Top-90关键字段后,基于0.2B BERT的模型在精确匹配和边界容忍匹配下分别达到0.839和0.893的F1分数。
Jiwei Tang et al.
cs.CL
本文提出SeCo方法,通过将压缩锚点从固定位置转移到语义空间,利用query相关token作为语义中心进行一致性加权合并,以解决长上下文场景中的位置偏差问题。实验表明该方法在多个基准上提升了下游任务性能和推理效率。
Ahmed Mahrous, Roberto Di Pietro
cs.CL
本文研究了在金融社交媒体(StockTwits)中使用emoji进行情感分析,发现仅用emoji的模型F1约为0.75,而结合文本和emoji的模型F1约为0.88,但前者计算成本更低。该工作主要关注情感分析的应用,与关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念关联较弱。
Kenji Hilasaca, Nouran Khallaf, Serge Sharoff
cs.CL cs.AI
本文研究了从可比语料库中收集和处理众包简化数据,以构建适用于多语言(加泰罗尼亚语、英语、法语、意大利语和西班牙语)文本简化的句子级对齐语料库,并公开了对齐后的句子对数据集。
Pranava Madhyastha
cs.CL cs.AI cs.LG
本文提出了Bounded Pragmatic Listener (BPL)框架,通过扩展Rational Speech Act理论并引入认知约束来建模信息失序的易感性。该框架在LIAR和MultiFC基准上验证了其真实性分类能力,但与关键词列表中的概念无直接关联。
Aojie Yuan, Tianqi Shen, Dajun Zhang
cs.CL cs.AR cs.LG
本文提出了一种语义感知的内存层次结构,将LLM推理中的KV cache分为HBM、DDR、压缩和驱逐四个层级,通过累积注意力评分将低重要性token移至CPU内存而非永久丢弃,并在注意力步骤前以全精度预取回GPU。该方法实现了零近似误差卸载,实验表明精度仅取决于永久丢弃的token比例,在仅驱逐3% token时保留91%的GSM8K精度,并能在14B规模下匹配未压缩基线性能。
Tianyu Zheng, Hong Wu, Jiaji Zhong
cs.CL cs.AI
本文提出Adaptive Path-Contrastive Decoding (APCD)框架,通过熵驱动的路径扩展和散度感知的路径对比来提升LLM解码的可靠性,实验表明该方法在多个基准上提高了事实准确性。
Aojie Yuan, Zhiyuan Su
cs.CL cs.LG
本文研究了大型语言模型在不同符号系统(如英文散文、Python代码、数学符号)中推理的内部表示,通过TriForm Benchmark和多种分析方法,发现了中间层存在一个格式无关的推理子空间(FARS)。该子空间在保持概念结构的同时抑制格式信息,并揭示了陈述性与程序性表示之间的不对称性。
Aojie Yuan et al.
cs.CL cs.AI cs.LG
本文发现Chain-of-Thought推理过程中,模型内部隐藏状态能高精度检测自身推理错误(AUROC达0.95),但该信号无法用于纠正错误,表明错误表征是诊断性的而非因果性的,这与可编辑的事实知识表征有本质区别。
Jakob Sturm et al.
cs.CL cs.AI
本文比较了RAG和fine-tuning在工业QA系统中的效果,发现RAG在成本和性能上更具优势。研究基于汽车行业数据集,扩展了Cost-of-Pass框架来评估质量与成本。
Haoyang Zhou et al.
cs.CL cs.AI
本文提出TAD框架,通过时间感知的轨迹自蒸馏方法,在扩散大语言模型(dLLM)中平衡生成准确性与并行性。该方法根据解码步骤将掩码位置分为近端和远端子集,分别使用hard cross-entropy loss和soft KL divergence loss进行训练,从而提升生成质量。
Yihong Liu et al.
cs.CL
本文提出Crosslingual On-Policy Self-Distillation (COPSD)方法,通过让模型在低资源语言问题上进行自蒸馏,同时利用英文翻译和参考解答作为教师端的跨语言上下文,以提升低资源语言的数学推理能力。实验表明该方法在17种非洲语言上优于GRPO,但未涉及code、spectral、Muon、pretrain、agent或attention等关键词。
Kuanwei Chen, Mengfeng Tsai
cs.CL cs.CV
本文提出了一种紧凑的手语翻译(SLT) pipeline,通过将MMPose骨骼姿态提取与T5-small模型结合,并调整输入帧率来平衡模型大小与计算效率。实验表明,在How2Sign数据集上,12 fps的帧率可将encoder的二次self-attention计算复杂度降低75%,同时BLEU-4得分仅从10.06降至9.53。
Aishik Nagar et al.
cs.CL cs.AI cs.LG
本文提出CLR-voyance框架,将住院临床推理建模为部分可观测马尔可夫决策过程(POMDP),并利用结果锚定且经临床验证的奖励信号进行监督。通过后训练和模型合并,该方法在CLR-POMDP基准上取得了领先性能,但未涉及code、spectral、Muon等关键词相关技术。
Houxing Ren et al.
cs.CL
本文提出ME-DLM框架,通过编辑距离监督的轻量级后编辑步骤(替换、删除、插入)来改进并行掩码扩散语言模型的多token生成质量,解决了训练目标与序列一致性不匹配的问题。实验表明该方法在HumanEval和GSM8K等任务上取得显著提升,但与关键词中的code、context、spectral等概念关联较弱。
Sietse Schelpe
cs.CL
本文对Retrieval-Augmented Generation (RAG) pipeline中的byte-exact chunk-level去重进行了实证分析,测量了三种不同运行模式下的上下文缩减效果,并通过跨供应商的评估验证了该方法不会导致质量退化。该工作主要关注RAG系统的效率优化,与您提供的关键词列表关联度较低。
Julia Hu, Alfred Shen, Kumar Lakshmipathi
cs.CL cs.CY
本文研究了在固定token预算下,不同LLM推理协议(greedy decoding、voting、debate)的性能差异。实验发现,尽管存在通过per-example routing提升性能的空间,但基于vote entropy等廉价先验信号的路由器难以有效恢复这种增益,因为vote entropy主要预测debate的安全性而非必要性。
Lin Zheng et al.
cs.CL cs.LG
本文提出Scratchpad Patching (SP)方法,通过在字节级语言模型的每个patch内插入暂存scratchpad来聚合已观测字节并刷新patch级上下文,从而解耦计算量与patch大小。该方法利用下一字节预测熵触发scratchpad,在信息密集区域选择性分配计算,在自然语言和代码任务上以更小的KV cache和推理计算量接近字节级基线性能。
Erfan Loweimi et al.
cs.CL
本文评估了LLMs在心理健康筛查中的可靠性,包括模型内一致性、ASR鲁棒性和证据忠实性。研究发现Phi-4和Gemma-2-9B表现良好,而Llama-3.1-8B在ASR下性能显著下降,且模型间关键词一致性远低于分数一致性。
Hao Liang et al.
cs.CL
本文提出了K12-KGraph,一个基于中国K-12教材构建的课程对齐知识图谱,并基于此构建了K12-Bench基准测试和K12-Train训练语料库,用于评估和训练教育领域的大语言模型。实验表明现有模型在课程认知任务上表现不足,而基于图谱的监督微调数据具有较高的样本效率。
Huy Hoang Ha, Benoit Favre, Francois Portet
cs.CL cs.AI
本文提出了MedMeta基准,用于评估LLM从医学研究摘要中综合meta分析结论的能力,发现检索增强生成(RAG)方法显著优于仅依赖内部知识的参数化方法,但所有模型在识别和拒绝否定证据方面均存在严重缺陷。
Sanket Badhe, Priyanka Tiwari, Deep Shah
cs.CL cs.AI
本文提出Semantic Softmax方法,通过聚合目标标签的语义邻域分数来修正零样本分类中的重归一化偏差,在情感和评论数据集上改善了校准误差和判别性能。该方法主要关注语言模型推理时的校准问题,与关键词列表中的概念无直接关联。
A. Bochkov
cs.CL
本文提出用固定最小二进制token编码(\(K=\lceil \log_2 V\rceil\)位)替代可训练的输入embedding表,在32层decoder-only模型上训练约17B tokens后,发现固定编码的验证困惑度与标准基线相当,表明可训练输入embedding表并非必要。
Xiao Yu et al.
cs.CL
本文研究了基于LLM的重新排序器在人岗匹配中的应用,通过系统分析推理算法设计、RL算法选择、数据处理和SFT蒸馏等训练流程,提出了ConFit v3模型,并在真实数据集上取得了显著改进。该工作主要聚焦于实际应用中的工程优化,与关键词中的概念关联较弱。
Cameron Berg, Roshni Lulla
cs.CL cs.AI
本文通过sparse autoencoder (SAE)特征引导放大Llama-3.3-70B-Instruct中的Dark Triad人格特质,发现剥削行为与认知共情分离,且策略性欺骗不受影响,表明大语言模型中反社会倾向由可分离的计算通路驱动。该研究主要关注心理学与AI安全,与关键词中的code, context, spectral, Muon, pretrain, agent, attention无直接关联。
Andrew Li, Sidney Wong
cs.CL
本文使用XLM-RoBERTa模型进行Tulu语混合代码的希望言论检测,通过有机领域自适应方法提升了模型性能。实验表明,在有机收集的Tulu社交媒体文本上进一步自适应可以改善检测效果。
Joseph Suh et al.
cs.CL
本文研究了用户模拟器质量对构建LLM助手的影响,通过对比基于角色扮演LLM和基于真实人类对话微调的模拟器,发现后者训练的助手在与真实用户交互时表现更优。实验表明,模拟器质量应通过其下游效用(即对真实用户的影响)来量化评估。
Douglas K. Faust et al.
cs.CL cs.LG
本文利用Transformer-based sentiment analysis模型,从心理治疗会话语料中提取情感特征,发现其与OQ-45心理测量工具中的情绪效价成分相关,并能区分有恶化或脱落风险的患者。该工作主要关注应用而非方法创新,与关键词契合度较低。
Sushrita Rakshit, Hanwen Zhang, Hua Shen
cs.CL cs.AI
本文研究了大型语言模型中的“价值-行为差距”,提出了VALDI框架来量化这种不一致,并设计了VIVALDI多agent审计器进行干预。该工作主要关注语言模型的对齐问题,与关键词中的agent概念有一定关联,但方法本身缺乏开创性。
Rong Shan et al.
cs.CL cs.AI cs.CY
本文指出在AI学术会议投稿量激增但接收率相对稳定的背景下,存在一种名为Agentic Denominator Gaming的系统性威胁,即恶意行为者利用AI agent生成大量低质量论文以膨胀投稿分母,从而稀释审稿资源并间接提高特定合法论文的接收概率。文章分析了该威胁的可行性、后果(如审稿人倦怠与审稿质量下降),并讨论了包括系统级政策改革在内的缓解策略。
Wu Li et al.
cs.CL cs.AI
本文提出了一种名为TPAW的自对弈算法,通过团队框架和双重自适应加权机制来微调大语言模型,以提升对齐效果并减少对人工标注数据的依赖。该方法在多个基准测试上优于现有基线,但未涉及关键词中的code、spectral、Muon或agent等概念。
Xuewen Zhang, Haixiao Zhang, Xinlong Huang
cs.CL
本文提出Evolving Knowledge Distillation (EKD)方法,通过让学生模型从一系列容量逐渐增大的教师模型中渐进学习,以解决知识蒸馏中师生模型容量差距过大的问题。实验表明该方法能有效缩小学生与最强教师模型之间的性能差距。
Luan Zhang et al.
cs.CL cs.AI
本文提出PruneTIR框架,通过剪枝轨迹、重采样tool calls和暂停tool usage来提升LLM在推理时使用外部工具(如code interpreter)的效率与准确性。实验表明该方法能减少错误tool calls并缩短工作context长度。
Bihui Yu et al.
cs.CL
本文提出TRACER框架,用于为多模态工具使用agent生成可验证的生成来源记录,通过结构化provenance记录(包含Quotation、Compression和Inference关系)将每个回答句子与支持的工具调用、证据单元和语义关系对齐,并利用强化学习进行优化。该方法在TRACE-Bench基准上提升了答案准确率并减少了工具调用次数,但主要聚焦于多模态agent的可验证性,与关键词中的code、spectral、Muon、pretrain、attention等概念关联较弱。
Tadesse Destaw Belay et al.
cs.CL
本文提出了一种基于一致性的聚类技术来建模NLP任务中标注者的分歧,并在多个主观任务数据集上验证了其优于多数投票和个体建模方法。
Urchade Zaratiana, Ash Lewis, George Hurn-Maloney
cs.CL cs.AI
本文提出GLiNER2-PII,一个基于GLiNER2微调的多语言PII(个人可识别信息)提取模型,通过约束驱动的合成数据生成管道构建多语言语料库,在SPY基准上取得了领先的span-level F1分数。该工作主要贡献在于解决了PII标注数据稀缺和隐私风险问题,但方法本身未涉及关键词中的code、spectral、Muon、pretrain、agent或attention等概念。
Sietse Schelpe
cs.CL
Merlin是一个本地优先、高吞吐量的文本去重引擎,利用SIMD优化的哈希集合和xxHash3-64实现字节精确的去重,在LLM推理场景中可减少13.9%至71%的输入冗余。它通过Model Context Protocol (MCP)集成,但主要贡献在于工程优化而非理论创新。
Jacob Mitchell Springer et al.
cs.CL
本文研究了post-training(如supervised fine-tuning)导致的semantic mode collapse问题,并提出annotation-anchored training方法,通过在pretraining阶段引入语义标注来保留pretraining的多样性,从而缓解该问题。实验表明该方法能显著减少diversity collapse。
Yuna Haseyama et al.
cs.CL cs.AI
本文提出了一种基于标签的few-shot示例选择方法,用于从医疗事故报告中生成背景/因果因素和预防措施。实验表明,该方法在生成精度和稳定性上优于随机采样和余弦相似度选择方法。
Terumi Chiba et al.
cs.CL cs.AI
本文提出了一种基于大语言模型(LLM)的框架,通过向语音转录中注入非语言情感线索来捕捉声学信息,并结合推理增强训练策略,用于心理危机热线中的危机等级自动分类。实验在三分任务上取得了0.802的macro F1分数。
Sajib Acharjee Dip, Song Li, Liqing Zhang
cs.CL
PlantMarkerBench是一个用于评估从文献中提取植物细胞类型标记基因证据的多物种benchmark,包含5550个句子级标注实例和两个任务。该工作主要关注生物学文献证据的自动提取与分类,与您提供的关键词(如code, spectral, Muon, agent等)关联度较低。
Xilai Ma et al.
cs.CL cs.AI
本文提出C-BPO框架,通过将目标用户数据视为正反馈、其他用户数据作为隐式负信号,并基于Positive-Unlabeled学习理论校正偏好重叠问题,实现大语言模型的个性化对齐。实验表明该方法在多种任务上优于基线。
Xinyu Zhang et al.
cs.CL cs.AI
本文提出了一种名为Swarm Skills的可移植多智能体系统规范,通过扩展Anthropic Skills标准并引入自进化算法,实现了多智能体协调协议的可共享和自主改进。该工作主要聚焦于多智能体协调工程中的标准化问题,与关键词中的agent概念有一定关联。
R. Thomas McCoy
cs.CL cs.AI
本文探讨了神经语言模型与生成语言学理论之间的兼容性,认为语言模型可以实例化基于形式结构的理论,从而扩展了可用语言模型测试的理论空间。
Hyundong Jin, Yo-Sub Han
cs.CL cs.AI
本文提出NCO,一种用于大语言模型解码的插件,通过在线模式匹配处理硬约束和正则约束,避免状态爆炸并兼容标准推理策略。实验证明其在抑制不当内容(如PII和脏话)方面的有效性。
Yongmin Yoo et al.
cs.CL
PHAGE提出了一种专利异构注意力引导的图编码器,通过构建确定性图分离法律引用与技术关系,并利用连接性掩码和可学习关系偏置将claim级拓扑提升到token级注意力中。该方法在分类、检索和聚类任务上优于基线,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联较弱。
Ruhan Wang et al.
cs.CL
本文提出FERA框架,通过不确定性感知的联邦推理方法,使多个持有私有数据的大语言模型在不共享原始数据的情况下协作提升推理能力。该方法利用轻量级不确定性估计和结构化交叉验证来聚合异构客户端的推理轨迹,并在多个推理基准上验证了其有效性。
Ihor Stepanov et al.
cs.CL cs.LG
本文提出了GLiNER-Relex,一个用于联合命名实体识别和关系抽取的统一框架,通过共享双向transformer编码器实现零样本抽取。该方法在多个基准上展示了与专用模型和大语言模型相当的竞争力,并保持了计算效率。
Xiangcheng Meng, Shu Wang, Yixiang Fang
cs.CL
本文提出SkillRAE,一种针对基于LLM的agent的检索增强执行方法,通过构建多级skill graph并在在线阶段进行skill-ranked retrieval和rescue-aware compact compilation,将检索到的技能组织成紧凑、可用的上下文。实验表明该方法在基准测试上优于现有方法。
Xu Guo et al.
cs.CL
本文研究了在预训练前使用具有可学习时间结构的合成数据进行轻量级预训练(PPT),以提升语言模型对预训练数据中噪声的鲁棒性。实验表明,该方法在不同噪声水平下均能改善模型性能,且机制分析发现PPT通过抑制噪声自建模来影响后续优化轨迹。
Deepanshu et al.
cs.CL
本文提出了NyayaAI,一个基于多智能体架构和检索增强生成(RAG)的AI法律助手,用于处理印度法律文档。系统通过Mastra框架协调主agent与多个子agent,实现了法律研究、文档摘要和案例检索等功能。
Shu Wang et al.
cs.CL cs.IR
ASTRA-QA是一个针对文档抽象问答的基准测试,包含869个问答实例和显式评估标注,用于评估答案覆盖关键点并避免无支撑内容。实验表明该基准能为RAG方法提供覆盖度、幻觉和检索范围鲁棒性的诊断。
Sandeep Kumar et al.
cs.CL cs.AI
本文提出了一种细粒度的同行评审矛盾分析方法,通过识别矛盾证据片段并分配分级强度分数,并构建了专家标注的RevCI基准和IMPACT多agent框架。该方法在证据识别和强度一致性上优于基线,但未涉及code、spectral或Muon等关键词。
Sijia Chen, Hang Yin, Shunfan Zhou
cs.CL cs.AI
本文提出了LegalCiteBench基准,用于评估法律语言模型在封闭环境下生成和验证引文的可靠性,包含约2.4万个实例和五项任务。实验表明,即使最强模型在引文检索和补全任务上得分低于7/100,且多数模型误导性回答率超过94%,提示式弃权指令未能显著改善引文正确性。
Hui Lu et al.
cs.CL eess.AS
本文研究了全双工口语对话系统中用户输入流如何路由到LLM的问题,比较了channel fusion和cross-attention两种策略。实验发现channel fusion在语义理解上更强但易受重叠输入干扰,而cross-attention更鲁棒但问答性能较弱。
Maik Larooij, David Graus
cs.CL cs.AI cs.IR
本文使用本地部署的小型LLM(Qwen3.5 9B)对政府文件进行敏感性分类,通过Chain-of-Thought与few-shot prompting的结合,在recall和F2 score上优于先前工作,并接近商业模型性能。该工作主要关注自然语言处理中的文本分类任务,与关键词列表中的code, spectral, Muon, pretrain, agent, attention等概念无直接关联。
Ahmet Yavuz Uluslu et al.
cs.CL
本文研究了在人类与AI共同创作背景下,编辑干预对母语识别(NLI)任务的影响。通过不同级别的语法纠错和改写处理,发现母语痕迹不完全依赖于表层错误,而是涉及更深层的词汇语义选择和文化视角等特征。
Zichao Yu et al.
cs.CL
本文提出了一种针对扩散语言模型(dLLMs)的强化学习方法RSPO,通过将可验证奖励(reward)解释为相对log-ratio的目标来校准噪声似然估计,从而避免高方差ELBO近似带来的训练不稳定问题。实验表明该方法在数学推理和规划任务上表现良好。
Yiwen Chen et al.
cs.CL
本文提出Pre-Route框架,通过轻量级metadata(如文档类型、长度和初始片段)在回答前进行结构化推理,以在RAG和长上下文策略之间做出路由决策。实验表明该方法在成本效益上优于现有基线。
Jeongwoo Yoon et al.
cs.CL cs.LG
本文构建了一个名为FIAD的韩语银行客服领域NLU语言资源,通过分析银行应用评论语料识别出三种语言模式,并使用LGGs生成标注数据。实验评估了多种模型在该数据上的性能表现。
Baibei Ji et al.
cs.CL cs.AI
本文提出MemReread方法,通过记忆引导的重读机制来增强agent在长上下文推理中的表现,避免了中间检索的缺陷,并利用reinforcement learning动态控制重读次数,在保持线性时间复杂度的同时提升了推理性能。
Jaeho Han et al.
cs.CL
本文构建了一个韩语多词表达(MWE)语言资源DECO-MWE,用于基于特征的情感分析(FBSA)。通过局部语法图(LGG)方法将MWE形式化为有限状态转换器,并基于化妆品评论语料库区分了四种MWE类型,测试F-measure为0.806。
Anton Bazdyrev et al.
cs.CL cs.AI cs.IR cs.LG
本文提出了一种用于乌克兰语多领域文档理解的检索增强生成(RAG)流水线,通过上下文分块、问题感知的稠密检索与重排序,以及基于少量重排序段落的约束答案生成,在UNLP共享任务中取得了领先结果。
Makbule Gulcin Ozsoy
cs.CL
本文研究了在Text2Cypher任务中,通过结合confidence scoring、grammar validation和schema constraints的sequential filtering过程来提升查询生成可靠性,实验表明该方法能改善syntactic validity和execution quality,但会增加empty predictions。
Wentao Qiu et al.
cs.CL
本文提出ANCHOR框架,通过层次化因子空间构建和因果贝叶斯网络增强朴素贝叶斯模型,以提升大语言模型在概率推断中的可靠性。该方法主要解决因子稀疏性和条件独立性假设过强的问题,但未涉及code、spectral或Muon等关键词。
Konstantin Zaitsev
cs.CL
本文提出了一种用于对话中个人事实分类的扩展标注方案,引入了新的类别和属性,并基于transformer encoder训练了一个多头分类器,在性能上优于few-shot LLM基线。该工作主要关注自然语言处理中的对话系统,与关键词列表中的概念关联较弱。
Ivo Petrov et al.
cs.CL
本文提出了ProofRank基准,用于评估LLM生成数学证明的质量(如简洁性、认知简单性等),发现不同模型在证明质量上存在显著差异,且与正确性存在权衡。
Team Phoenix et al.
cs.CL cs.AI cs.CV
本文介绍了Phoenix-VL 1.5 Medium,一个123B参数的多模态多语言基础模型,通过在Mistral Medium 3.1上进行持续预训练和后训练(包括Online Direct Preference Optimization),在保持通用智能的同时实现了对新加坡本地领域的深度适配。该模型在本地化基准上达到领先水平,但未涉及code、spectral、Muon或agent等关键词相关方法。
Junyu Lu et al.
cs.CL
本文提出了一种两阶段的Disagreement Perception and Uncertainty Alignment (DPUA)框架,用于主观性分析任务,使LLM在预测时能表达与人类分歧一致的不确定性。该方法通过自适应解耦学习和GRPO奖励优化来提升模型对低一致性样本的感知与对齐能力。
Andreas Xenofontos, Pavlos Fafalios
cs.CL cs.AI
本文评估了大型语言模型在数据集问答任务中的表现,包括直接回答和生成SQL查询两种场景,并比较了不同规模模型及提示策略的效果。实验表明大型模型性能强劲,但小型模型存在明显局限。
Joost J. Joosten, Marina López Chamosa, Sofía Santiago Fernández
cs.CL cs.LO
本文探讨了结构化自然语言形式化过程中的一致性原则,并以NASA的FRET工具为例,提出了一种将受控自然语言FRETish自动翻译为MTL形式语言的新方法。通过模型检验证明了新翻译与原始翻译的等价性,并进行了统计分析。
Haoyu Huang et al.
cs.CL cs.AI
本文提出DeepRefine,一种基于LLM的推理模型,用于通过强化学习优化agent-compiled知识库的质量,解决其不完整、不正确和冗余的问题。该方法通过多轮交互和溯因诊断来定位缺陷并执行针对性修正,在多个下游任务上取得了改进。
Jinchang Zhu et al.
cs.CL
本文发现GPT预训练中存在“过早上层注意力特化”问题:上层注意力在下层特征稳定前就形成尖锐模式。通过暂时减缓上层Q/K投影的学习率可改善最终困惑度,而LLaMA架构中门控FFN能自然抑制该问题。
Jaehoon Yoo et al.
cs.CL cs.AI
本文提出Infinite Mask Diffusion Model (IMDM),通过引入随机无限状态掩码来缓解标准Masked Diffusion Models (MDMs)中因同时更新token导致的理论分解误差下界。实验表明,IMDM在少量步数生成任务中优于现有蒸馏方法,但方法本身与关键词列表中的概念关联较弱。
Lungchuan Chen
cs.CL
本文提出了一种基于神经科学记忆巩固理论的Hierarchical Memory Module (HMM),并将其集成到Transformer解码器中形成Mela模型。该模型通过高低频子模块分别捕获抽象知识和细粒度细节,在测试时进行在线记忆巩固,在语言建模任务上优于Transformer基线。
Jinchang Zhu et al.
cs.CL
本文提出EXACT方法,通过逆频率加权长尾有效上下文目标来改进长上下文训练中的监督分配。实验表明该方法在多个模型上提升了长上下文任务性能,同时保持标准QA/推理能力不变。
Denghao Ma et al.
cs.CL
本文构建了首个多层级、多领域、多模态文档分类基准MMM-Bench,包含来自阿里巴巴12个商业领域的5990份真实文档,并建立了全面的baseline。该工作主要贡献在于提出了一个更贴近实际业务场景的benchmark,而非在方法上有开创性突破。
Liyuan Huang et al.
cs.CL
本文提出了一种轻量级的多语言预训练编码器系统,用于SemEval-2026任务3中的维度方面情感回归。系统采用联合多语言和多领域训练、有界回归变换以及自适应集成策略,在多个数据集上取得了领先性能。
Davide Bruni, Carlo Bardazzi, Maurizio Tesconi
cs.CL cs.AI
本文提出了一个名为ThreatCore的公开benchmark数据集,用于细粒度威胁检测,区分显性威胁、隐性威胁和非威胁。该数据集通过聚合多个公开资源并统一重新标注构建,并利用合成样本增强对隐性威胁的覆盖,实验表明当前模型在检测隐性威胁时仍面临显著挑战。
Yu-Hsiang Liu, Yu-Chien Tang, An-Zi Yen
cs.CL
VISTA是一个生成式自我中心视频框架,用于生成AI agent的日常辅助训练数据。它通过因果逆向推理生成多样化的干预场景,支持反应式和主动式两种agent自主性模式。
Aggeliki Fotopoulou, Eric Laporte, Takuya Nakamura
cs.CL
本文研究了轻动词结构(如'take on debt'与'have debt')中体变体的分类问题,通过分析其属性特征来区分动词习语、轻动词结构和组合短语。该工作主要关注语言分类边界,与关键词列表中的数学或计算概念无直接关联。
Benjamin Icard et al.
cs.CL cs.AI
本文研究了法语文学文本中embedding对作者风格的敏感性,通过对比原始文本与LLM重写后的embedding dispersion变化,发现风格特征在重写后仍被保留。该工作为作者模仿检测提供了分析方向,但与关键词列表中的概念关联较弱。
Felix Herron et al.
cs.CL
本文讨论了自动语音识别系统中公平性基准测试的最佳实践,强调了精确定义公平性假设和细化分析说话人群体交叉性的重要性,但未涉及关键词中的相关概念。
Bruno Gatti, Giuliano Martinelli, Roberto Navigli
cs.CL cs.AI
本文提出了一种基于显式语义的指代消解评估框架,通过将概念和命名实体识别叠加到指代输出上,为不同语义类别(如人物、地点)提供细粒度评分,揭示了传统聚合指标(如CoNLL-F1)无法发现的系统性缺陷。实验在OntoNotes等数据集上验证了该框架的诊断能力,并展示了其可用于设计低成本数据增强策略以提升域外性能。
Krishak Aneja et al.
cs.CL cs.AI
本文通过心理测量学框架(如Big Five和Dark Triad)映射LLM的潜在人格空间,发现语义几何在微调后保持稳定,并引入Semantic Valence Vector (SVV)作为内在护栏,通过因果干预调节新兴错位(emergent misalignment)率。该工作主要关注模型人格与安全性的交互,与关键词中的code、spectral、Muon等无直接关联。
Haoyu Wang et al.
cs.CL cs.AI
本文通过理论分析揭示了语言模型在持续预训练中获取事实知识的机制,并提出了一种基于注意力贡献的生成式数据回放方法STOC,以缓解灾难性遗忘问题。
Zanmin Wang
cs.CL cs.LG
本文提出Grounded Prediction Networks (GPN),一种仅使用单层recurrent block的语言模型,通过单个state vector和shared matrix memory实现序列建模。在130M参数规模下,其perplexity与多层Transformer++和Gated DeltaNet (GDN)存在一定差距,但通过分析单向量工作空间的几何结构,揭示了default-token方向、内容承载horizon以及自发分裂为快慢retention pools的memory heads等特性。
Mumin Jia et al.
cs.CL cs.AI cs.SI stat.ML
本文使用LISS面板数据,通过构建基于LLM的数字人(digital personas)来模拟人类调查响应,评估其在问题、个体、分布、公平性和聚类层面的表现。研究发现,数字人在稳定属性和价值观相关领域能较好对齐人类响应分布,但在个体预测和恢复多元受访者结构方面仍有局限,且性能更依赖于人类响应结构而非模型选择。
Diancheng Kang et al.
cs.CL cs.AI
本文提出Gated Cropped Attention-Delta steering (GCAD)方法,通过从system-prompt对self-attention的贡献中提取steering信号并施加token-level gating,解决了activation steering在stateful dialogue中因KV-cache contamination导致的长期连贯性退化问题。实验表明该方法在保持trait control的同时显著提升了多轮对话的连贯性。
Fred Philippy et al.
cs.CL cs.AI
本文以卢森堡语为例,论证了跨语言迁移与语言特定努力在低资源NLP中并非竞争关系,而是互补的。研究指出,跨语言迁移的成功依赖于高质量的目标语言数据,而此类数据又需在跨语言框架下才能充分发挥作用。
Huynh Trung Kiet et al.
cs.CL cs.AI cs.CY
本文提出了一种名为DISCA的推理时方法,通过将每个国家实例化为基于World Values Survey的人格agent面板,并利用其内部意见分歧来生成有界的logit修正,从而在无需微调或白盒访问的情况下实现大语言模型的文化对齐。该方法在多个开源模型上减少了文化偏差,但未涉及code、spectral、Muon、pretrain或attention等关键词。
Oona Itkonen et al.
cs.CL
本文提出了一种基于RAG的讽刺生成pipeline,用于在芬兰语境下生成讽刺性词典定义,并构建了评估框架。实验表明生成的文本更偏政治性而非幽默性,RAG和主题词选择能提升政治相关性但对幽默生成无显著帮助。
Jianzhu Bao et al.
cs.CL
本文提出ChartCF框架,通过代码修改生成反事实图表数据,并利用图表相似性筛选和跨模态偏好优化来提升Vision-Language Models的图表理解能力。实验表明该方法在减少训练数据的同时取得了有竞争力的性能。
Joel Rorseth et al.
cs.CL
本文提出了RUBEN工具,用于发现最小规则来解释检索增强型大语言模型(LLM)的输出,并展示了这些规则在LLM安全性测试中的应用。该方法主要关注规则挖掘与解释性,与关键词中的spectral、Muon、pretrain等概念关联较弱。
Mengyi Deng et al.
cs.CL
本文提出了一种名为Directional-Groupwise Preference Optimization (DGPO)的轻量级框架,通过组织前向和反向问答实例为结构化集合,并优化基于margin的似然目标,来增强大语言模型在偏好优化中的方向一致性和推理多样性。实验表明该方法在多个基准上取得了平均3.6%的准确率提升。
Abrar Majeedi et al.
cs.CL cs.IR
本文提出了一种针对电子健康记录(EHRs)的临床问答(QA)方法Neural1.5,将任务解耦为多个独立阶段,并使用DSPy的MIPROv2优化器自动调整各阶段的prompt和few-shot示例,同时引入self-consistency投票机制提升可靠性。该方法在ArchEHR-QA 2026共享任务中取得了总体第二的成绩,但未涉及code, context, spectral, Muon, pretrain, agent, attention等关键词。
Reza Khanmohammadi et al.
cs.CL
本文提出BICR (Blind-Image Contrastive Ranking)框架,通过对比真实图像与黑化图像下的LVLM隐藏状态,训练轻量级probe来估计模型置信度,从而检测视觉未接地(visual ungroundedness)问题。该方法在多个LVLM和基准上实现了最优的校准与判别性能,但与我提供的关键词(code, context, spectral, Muon, pretrain, agent, attention)关联较弱。
Gaotang Li et al.
cs.CL cs.LG
本文提出RubricEM框架,通过将rubric(评分准则)作为策略执行、评判反馈和智能体记忆的共享接口,结合阶段式策略分解与基于反思的元策略演化,以训练深度研究智能体(agent)。该方法在多个长格式研究基准上取得良好性能,但未涉及code、context、spectral、Muon、pretrain或attention等关键词。
Shuangrui Ding et al.
cs.CL
WildClawBench是一个针对真实世界、长周期agent任务的基准测试,包含60个双语多模态任务,每个任务平均耗时约8分钟并需调用超过20个工具。实验表明,当前最先进的模型在该基准上的最高得分仅为62.2%,揭示了长周期、原生运行时agent评估仍是未解决的挑战。
Keya Hu et al.
cs.CL cs.AI cs.LG
ELF提出了一种基于连续embedding space的Flow Matching语言模型,通过仅在最后一步映射到离散tokens,实现了对图像域扩散技术的直接迁移。实验表明该方法在生成质量和采样效率上优于现有离散和连续扩散语言模型。

cs.DS

J. Czyzowicz et al.
cs.DS
本文针对\(n=2f+1\)个agent(其中至多\(f\)个为crash faulty agent,即故障后可能不报告目标位置)在无限直线上搜索并撤离一个未知位置出口的问题,提出了一种新型搜索算法。该算法通过精心设计的agent移动与通信策略,在agent数量接近半数故障的极端情况下,将撤离的competitive ratio(竞争比,即最坏情况下撤离时间与初始距离之比)优化至\(7.437011\)(对于\((n,f)=(3,1)\)),并渐近上界为\(4+2\sqrt{2}\)。此外,该工作还将\((3,1)\)情形下的算法推广至byzantine fault(拜占庭故障,即故障agent可能谎报信息)的搜索问题,将已知上界从8.653055改进至7.437011。
Shyan Akmal, Nick Fischer
cs.DS cs.DM
本文提出了一种解决Node-Weighted Triangle问题的新算法,其运行时间为\(O(\textsf{MM}(n))\),完全消除了此前算法中存在的\(2^{\Omega(\sqrt{\log n})}\)超多项式因子开销,从而在时间复杂度上完美匹配了无权重三角形检测的下界。该算法相较于先前依赖复杂递归与通信协议的方案,在方法上更为简洁,为该领域长期存在的效率差距问题提供了最终解决方案。
Yusuke Kobayashi, Takashi Noguchi
cs.DS
本文针对2-顶点连通生成子图问题(2-VCSS),提出了一种近似比为\(\frac{95}{72}+\varepsilon\)(约1.32)的算法,改进了此前\(\frac{4}{3}\)的最佳结果。算法的核心创新在于引入了一种无特定cycle component的2-edge-cover作为初始解,通过cycle-restricted结构来逼近2-vertex-connectivity。该工作为网络设计中的基础优化问题提供了更优的近似保证。
Fabrizio Grandoni, Anupam Gupta, Jatin Yadav
cs.DS cs.CG
本文针对Min-Sum Radii (MSR)和Min-Sum Diameters (MSD)这两个经典聚类问题,提出了首个FPT近似方案(FPT Approximation Scheme)。具体地,对于参数\(k\)(聚类数量),作者在时间\((1/\epsilon)^k n^{O(1)}\)内给出了MSD的\((1+\epsilon)\)-近似,并在时间\((1/\epsilon)^{O(k/\epsilon \log 1/\epsilon)} n^{\text{poly}(1/\epsilon)}\)内给出了MSR的\((1+\epsilon)\)-近似。该结果将此前已知的\(4+\epsilon\)和\(2+\epsilon\)的近似比大幅改进至\((1+\epsilon)\),解决了这两个领域长期悬而未决的开放问题。
Christian Coester, Alexa Tudose
cs.DS
本文针对metric space中追逐基数不超过\(k\)的集合(即metrical service systems问题,等价于宽度\(k\)的layered graph traversal)的确定性在线算法,解决了该领域存在30年的竞争比间隙\(\Omega(2^k)\cap O(k2^k)\)。作者给出了一个\(O(2^k)\)-competitive的确定性算法,该界即使对adaptive adversary下的随机算法也是最优的。算法推广了经典的doubling策略(此前已知对\(k=2\)最优),并证明此前最优的generalized work function algorithm (WFA)对于该问题是次优的。
Aleksandar Nikolov, Haohua Tang, Jonathan Ullman
cs.DS
本文研究了在线矩阵分解、在线私有查询回答和在线差异最小化问题,提出了一个在线矩阵分解算法,能在查询非自适应选择时达到与离线情况相近的误差界,并给出了在线差异最小化算法。
Keren Censor-Hillel et al.
cs.DS
本文提出了一种针对图中induced diamond(\(K_4\)减去一条边)的witness-sensitive检测算法,其运行时间依赖于图中实际存在的induced diamond数量\(t\),改进了先前与\(t\)无关的算法。主要技术贡献在于设计了一种自适应的向量采样框架,该框架能根据不含重diamond的图结构进行采样,并展示了该技术对4-SUM等问题也具有适用性。
Siddharth Barman, Vignesh Viswanathan
cs.DS cs.GT
本文研究了顶点加权图的公平着色问题,推广了经典的Hajnal-Szemerédi定理。对于最大度为\(\Delta\)的顶点加权图,作者证明了在某些情况下不存在\(\alpha\)-EQ1的\(k\)-着色,并给出了存在性条件及多项式时间构造算法。
Peyman Afshani, Gerth Stølting Brodal, Nodari Sitchinava
cs.DS cs.CG
本文证明了平面convex hull和maxima问题中,不存在同时达到最优时间和I/O复杂度的确定性输出敏感算法,解释了先前算法在I/O最优时时间次优的原因,并给出了实现时间与I/O权衡的确定性算法。
Jan van den Brand, Zhao Song, Albert Weng
cs.DS
本文研究了最小费用流问题的空间复杂度,提出了一种在亚二次空间内计算流量的流式算法,该算法使用\(\tilde O(n^{1.5}\log (W/\epsilon))\)空间和\(\tilde O(\sqrt{n} \log(W/\epsilon))\)轮次,能在最后一轮逐边返回带加性误差的流量,从而规避了现有的\(\Omega(n^2)\)空间下界。
Itamar Nir
cs.DS cs.DM math.NT
本文改进了确定性寻找模整数\(N\)的大乘法阶元素算法,在\(D > \exp(\sqrt{2\log N \log \log N})\)条件下,以\(O(D^{1/2+o(1)})\)时间返回阶大于\(D\)的元素或分解\(N\)。该工作与Harvey和Hittmeir的独立结果类似,但与我提供的关键词列表关联较弱。
Amir Carmel, Debarati Das, Tien-Long Nguyen
cs.DS cs.DC
本文提出了一个统一的框架来解决加权rank aggregation问题,通过识别一个关键结构性质(只需关注一小部分rankings)来近似全局中位数。针对Ulam距离、Spearman's footrule等度量,设计了在Massively Parallel Computation模型下的近似算法,但未涉及code、spectral或Muon等关键词。
Haim Kaplan, David Naori, Yaniv Sadeh
cs.DS
本文研究了森林图上的动态边染色问题,分析了增量模型和全动态模型下的回溯复杂度。对于增量森林,证明了贪心算法的最优回溯界;对于全动态森林,则提出了一个针对有根森林且\(c = \Delta - 2\)的最优非贪心算法,并给出了随机化算法在两种模型下的期望回溯界。
Mateus de Oliveira Oliveria, Sam Urmian
cs.DS cs.LO math.CO
TreeWidzard是一个基于treewidth和pathwidth参数化动态规划的引擎,用于判定图论性质并支持自动定理证明。它提供了一个统一框架,允许组合原子图性质的算法以处理更复杂的布尔组合性质。
Krzysztof Choromanski et al.
cs.DS stat.ME
本文提出GenusSink算法,用于在有界亏格(如平面)图上实现近似广义Sinkhorn算法,通过图分解和快速矩阵向量乘法技术将时间复杂度降至近线性。该工作主要关注计算效率,与关键词中的spectral、attention等概念关联较弱。
Yang P. Liu et al.
cs.DS cs.CC
本文研究了稠密图和稀疏图在流式算法中计算Maximum Cut问题的空间复杂度差异,发现稠密图仅需\(O(n/\varepsilon^2)\)空间,而稀疏图则需要\(\Omega(n \log(\varepsilon^2 n)/\varepsilon^2)\)空间。类似方法也用于分析Densest Subgraph和CSP问题的空间复杂度。
Yaowei Long et al.
cs.DS
本文研究了在线Steiner森林问题,其中终端对在线到达,需维护一个低成本的子图连接所有已到达的终端对。该工作首次探索了低资源(recourse)算法,提出了一种具有常数竞争比且均摊资源开销为\(O(\log n)\)的算法。
Jan van den Brand, Vishal Kumar, Daniel J. Zhang
cs.DS
本文研究了动态矩阵的rank、basis和full-rank submatrix的维护问题,并应用于动态图的最大匹配。算法更新复杂度与矩阵的rank \(r\)相关,而非维度\(n\),但未涉及code、context或spectral等关键词。
Amey Bhangale, Yezhou Zhang
cs.DS
本文针对广义最小和集合覆盖问题,提出了一个4.509-近似算法,改进了此前4.642的最优结果。该算法基于线性规划框架,通过非平凡地利用LP约束以及新的独立Bernoulli随机变量和的下尾界来缩小与4-近似下界的差距。
Lynn Chua et al.
cs.DS
本文研究了局部标签差分隐私约束下的随机凸优化问题,提出了一种新的非交互式算法,将标签空间大小\(K\)的依赖从线性\(O(K)\)改进为平方根\(O(\sqrt{K})\),并证明了在所有隐私机制下匹配的信息论下界。

others

Youssef Saied, François Fleuret
cs.CV cs.AI
本文提出了Normalization Equivariance (NE)的完整函数类刻画:一个函数是NE当且仅当其可分解为归一化-处理-反归一化形式。基于此,作者设计了一个无参数的wrapper (WNE),将NE的精确强制从内部架构约束转化为输入输出参数化问题,从而可应用于任意backbone(包括transformer)。在盲去噪的单噪声失配诊断任务中,该wrapper在不增加GPU开销的情况下提升了CNN和transformer的鲁棒性,而架构级NE基线则导致高达1.6倍的减速。该方法与关键词中的“attention”和“code”概念相关,因其兼容标准attention组件且提供了简洁的代码实现框架。
Salim Khazem, Ibrahim Mohamed Serouis, Zakaria Ezzahed
cs.CV cs.AI cs.LG
本文提出MC-RFM框架,通过混合曲率Riemannian流匹配(将adapted features表示为双曲因子与欧几里得因子的乘积流形)实现冻结视觉backbone的少样本适应。该方法将适应过程建模为从冻结特征到support-set prototypes的任务条件连续传输,并耦合混合原型-线性分类器,在七个基准和五种backbone上取得多数最优结果。其核心创新在于显式建模任务诱导特征位移的几何结构,而非仅做离散欧几里得扰动,这与关键词中的context和attention(通过几何感知的流匹配隐式建模特征间关系)高度契合。
Yixuan Qiu
cs.MS cs.AI cs.LG stat.CO stat.ML
本文提出了cuRegOT,一个专为entropic-regularized optimal transport (OT)问题设计的高性能GPU求解器。针对Sinkhorn算法收敛慢以及稀疏加低秩拟牛顿法在GPU上因稀疏矩阵符号分析和不规则内存访问导致的效率低下问题,该工作引入了一系列算法与架构优化,包括摊销符号分析策略、异步Sinkhorn迭代生成机制以及融合核函数。这些优化在保证算法收敛性的前提下,在多种基准任务上实现了相较于现有GPU求解器的显著加速,与关键词“code”和“context”中高性能计算与算法优化的主题较为契合。
Ziyao He et al.
cs.CV cs.AI cs.LG
本文提出了一种Curvature-Aware Captioning框架,通过引入非欧几里得geodesic attention机制来解决3D场景描述中局部几何细节与全局语义层次之间的冲突。具体地,在Oblique space中使用self-attention保持dimensional homogeneity并建立长程依赖,在Lorentz space中使用双向geodesic cross-attention建模场景实例间的层次语义关系。理论分析表明Oblique manifold与Lorentz hyperboloid之间的曲率互补性通过isotropic optimization保证了特征稳定性,在ScanRefer和Nr3D基准上取得了state-of-the-art性能。该工作与关键词"attention"高度契合,且方法具有开创性。
Zhongjie Shi, Wenjing Liao
stat.ML cs.LG
本文提出了一种新的Transformer网络构造性逼近框架,通过softmax partition of unity技术将目标函数的局部近似聚合为全局近似。该框架证明了仅含两个encoder blocks和单隐藏层point-wise feed-forward网络的dense Transformer,能以\(\mathcal{O}(\varepsilon^{-d/\alpha})\)的总参数数实现对\(\alpha\)-Hölder连续函数的均匀\(\varepsilon\)-逼近。基于此逼近保证,文章建立了经验风险最小化器的近minimax最优泛化误差界\(\mathcal{O}\big(n^{-\frac{2\alpha}{2\alpha+d}} \log n\big)\),为Transformer的learning theory提供了理论基础。该工作与关键词"attention"高度契合,揭示了attention mechanism在实现空间局部化中的核心作用。
Zongmin Yu, Liu Yang
cs.NE cs.AI cs.LG
本文提出Evolutionary Ensemble (EvE),一种去中心化框架,将现有高性能coding agents组织成实时共生的进化系统用于算法发现。EvE固定基础agent,专注于进化累积的guidance和skills,通过同步竞赛评估agents并更新Elo评分。在In-Context Operator Networks (ICON)的研究瓶颈中,EvE自主发现了一种robust rescale-then-interpolate机制,实现了可靠的example-count泛化。消融实验表明,stage-dependent agent adaptation对于导航复杂代码库的shifting search landscapes至关重要,而EvE通过self-revising ensemble避免了phase mismatch,突破了静态性能上限。
Saeed Masiha et al.
math.OC cs.AI
本文针对下层问题具有非孤立流形极小值点的乐观双层优化问题,提出了Select-then-differentiate方法HG-MS。该方法通过显式的乐观选择(在解流形上选取唯一最优解)结合基于伪逆的超梯度计算,克服了传统方法在解集非单点时的不可微性。理论证明在局部Polyak-Łojasiewicz条件下,乐观选择的唯一性足以保证超目标的可微性,且HG-MS的收敛复杂度仅依赖于解流形的内在维度而非环境维度。实验在匹配预算的LLM源重加权任务中验证了该方法的有效性,其GSM8K/MATH得分优于对比基线。
Elliot Paquette et al.
math.OC cs.LG stat.ML
本文针对Muon等谱优化器在高维矩阵最小二乘问题上的行为进行了理论分析,推导了其确定性动力学,并揭示了SignSVD(Muon的近似)与SignSGD(Adam的代理)在不同batch size下的关键差异。研究发现,在大batch size下SignSVD对数据协方差谱进行平方根预处理,而小batch size时小特征模式退化为SGD行为;通过幂律协方差模型的分析,论文在\((\alpha,\beta)\)平面上划分出三个相区,其中SignSGD与SignSVD各有优势或存在权衡,为理解谱优化器在异质数据下的收敛特性提供了理论框架。
Shabarish Chenakkod, Michał Dereziński
math.NA cs.DS cs.LG stat.ML
本文提出了一种利用快速sketching加速power method的算法框架,用于低秩矩阵近似。该框架通过正则化谱近似(regularized spectral approximation)这一关键性质,为奇异值分解、低秩分解和Nyström近似提供了简单且可证明高效的方法。与传统的power method相比,该方法显著降低了目标秩较大时的矩阵乘法成本,并在基准问题上展现了强数值性能。这项工作与关键词中的“spectral”高度契合,因为它深入分析了谱近似在随机线性代数中的灵活应用。
Dongxin Guo, Jikun Wu, Siu Ming Yiu
cs.NE cs.AI cs.CL cs.LG
EvoPref提出了一种基于多目标进化算法(具体使用NSGA-II结合存档多样性保持策略)的LLM对齐方法,通过优化LoRA适配器种群来同时处理helpfulness、harmlessness和honesty三个目标。该方法的核心贡献在于证明了基于种群的进化优化能够发现比梯度下降方法(如ORPO)更多样化的对齐策略,在标准benchmark上将preference coverage提升18%(中位数82.5% vs. 70.0%),并将collapse rate降低47%(11.0% vs. 20.6%),同时保持竞争性的对齐质量。理论分析借鉴了近期MOEA运行时分析(Dang et al., 2025),解释了存档方法为何比单轨迹优化更有效地避免preference collapse。这项工作将进化优化确立为多样化LLM对齐的一个有原则的范式,与关键词中的agent(智能体优化)和attention(对齐目标)有一定契合。
Ben Kereopa-Yorke et al.
cs.CR cs.AI
本文提出了一种名为Oracle Poisoning的新型攻击方法,通过污染AI Agent在运行时通过tool-use协议查询的结构化knowledge graph,使得Agent在保持正确推理过程的情况下得出错误结论。与prompt injection不同,该方法操纵的是Agent推理所依赖的数据而非指令。作者在包含4200万个节点的生产级代码知识图谱上进行了实证研究,发现所有测试模型在中等攻击复杂度下对污染数据的信任度达到100%,揭示了当前AI Agent系统在数据完整性方面的严重脆弱性。该工作与关键词"agent"和"code"高度契合,为AI Agent系统的安全性研究提供了开创性的视角。
Wolfgang Grieskamp, Teng Zhang, Vineeth Kashyap
cs.PL cs.AI cs.LO cs.SE
本文提出了一种结合机械推理与AI代理的Move Prover规范推断工具,通过将最弱前置条件(WP)分析与Claude Code等代理编码CLI相结合,解决了Move语言中编写验证规范(如前置/后置条件)的繁琐问题。该方法利用WP分析提供可靠的机械推断基线,而AI则专门处理WP最薄弱的环节(如循环不变量和高层惯用规范),并通过Move Prover作为验证器迭代优化直到验证通过。该工具在包含高阶函数、动态分发、全局状态等特性的规范Move代码语料库上进行了测试,为代码验证中的规范自动生成提供了开创性方案。
Vinduja T. et al.
cs.CV cs.AI
HYPERPOSE提出了一种在Lorentz模型的双曲空间\(\mathbb{H}^d\)中进行时空推理的3D人体姿态估计框架,通过Hyperbolic Kinematic Phase-Space Attention (HKPSA)机制原生地保持人体骨骼的层次树状拓扑结构,避免了欧氏空间中的指数体积失真。该方法引入多尺度窗口化双曲注意力以高效建模时间动态(复杂度\(O(TW)\)),并设计了Riemannian损失套件与不确定性加权课程来施加骨长和速度一致性等物理测地约束。在Human3.6M和MPI-INF-3DHP数据集上的实验表明,HYPERPOSE在结构连贯性和位置精度上达到了新标杆,显著降低了体积失真和速度误差。该工作与关键词“attention”高度契合,因其核心创新在于双曲空间中的注意力机制设计。
Xi Jiang et al.
cs.CV cs.AI
本文提出AnomalyClaw,一个无需训练的视觉异常检测agent,通过将异常判断转化为多轮反驳过程来提升Vision-Language Model (VLM)的可靠性。该方法利用13个工具库进行视觉验证、参考解析和冻结专家探测,在CrossDomainVAD-12基准上显著优于单步直接推理。此外,文章引入可选的verbalized self-evolution扩展,通过内部分支分歧构建在线规则手册,无需oracle标签即可获得与监督基线相当的增益。该工作与关键词“agent”高度契合,展示了agentic refutation机制在提升VLM推理能力方面的有效性。
Marc Lackenby
math.GR cs.AI
本文证明了每个有限群都存在一个“just finite”的presentation,即从该presentation的relation集合中移除任意一个relation都会导致所定义的群变为无限群。这一结果解决了Kourovka Notebook中提出的一个长期未决问题(Problem 21.10)。作者通过构造性的方法,利用有限群的特定性质给出了证明,为有限群presentation理论提供了重要的贡献。
Rostislav Gusev et al.
cs.IT cs.LG
本文提出了一种基于Mamba状态空间模型的神经译码器MMPD (Mamba Message-Passing Decoder),用于二元线性码的译码。MMPD保留了Tanner图上的消息传递结构,通过沿变量-校验边进行局部成对聚合,并引入双向Mamba模块实现高效的长距离信息传播,从而避免了传统注意力机制的二次复杂度。实验表明,在(1056, 880) LDPC码上,MMPD在目标误码率下比最先进的CrossMPT译码器获得0.45 dB的增益,同时内存消耗降低1.5倍,且该优势随码长增加而扩大,为长码的可扩展神经译码提供了新思路。该方法与关键词中的“attention”形成对比,通过替代注意力机制解决了长码场景下的可扩展性问题。
Giordano De Marzo et al.
physics.soc-ph cs.CL cs.MA
本文通过模拟九个大型语言模型和一百个opinion pairs的opinion dynamics,发现即使每个AI agent个体都经过alignment,conformity dynamics(从众动态)仍可能驱动整个agent群体进入稳定的misaligned states。作者利用statistical physics工具推导出定量理论,预测了群体陷入长期misaligned configurations的条件,并识别出少数adversarial agents可不可逆地改变群体alignment的tipping points。该工作揭示了individual-level alignment无法保证collective safety,为评估AI agent群体中的emergent behavior提供了新框架,与关键词“agent”高度契合。
Chiyu Zhang et al.
cs.CR cs.CL
本文提出了LITMUS基准测试,用于评估LLM agent在真实操作系统环境中的行为安全性。该工作通过语义-物理双重验证机制和OS级状态回滚,解决了现有基准无法检测物理层危害和测试用例污染的问题。LITMUS包含819个高风险测试用例,覆盖三种对抗范式(jailbreak speaking, skill injection, entity wrapping),并揭示了agent存在Execution Hallucination(口头拒绝但系统级操作已完成)等关键漏洞。该工作为agent的行为安全评估提供了首个标准化平台,与关键词中的agent高度契合。
Richie Yeung, Aleks Kissinger, Rob Cornish
quant-ph cs.LG
本文提出了一种用于Clifford量子电路合成的等变强化学习方法。该方法将电路合成问题建模为强化学习问题,其中agent学习将Clifford电路的symplectic matrix表示简化为单位矩阵的gate序列。作者引入了一种对qubit重标号等变的神经网络架构,该架构与qubit数量无关,使得单个学习策略可应用于不同qubit数。实验表明,在六qubit电路上,该方法在99.2%的实例中找到了最优电路,并能扩展到三十qubit的Clifford tableaus,其two-qubit gate数量低于Qiskit的现有合成器。
Ali Saraeb
math.NT cs.AI
本文探讨了AI在数论中的两个应用:一是评估Qwen2.5-Math-7B-Instruct在算法数论问题上的表现,二是用LightGBM分类器验证关于Dirichlet L-函数零点与模数关系的猜想。文章主要关注实验验证,方法上未体现与关键词(如code, context, spectral, Muon, pretrain, agent, attention)的显著关联。
Zhiyuan Li et al.
cs.CV cs.AI cs.LG
本文指出视频object-centric learning中常用的temporal prediction模块实际上是离散correspondence问题的昂贵近似,并提出Grounded Correspondence框架,用deterministic bipartite matching替代learned transition functions,在多个数据集上取得competitive性能。
Olaf Hohm
cond-mat.dis-nn cs.LG hep-th
本文介绍了统计物理中的基本概念(如Boltzmann-Gibbs分布、相变和重整化群),并将其与神经网络(如Hopfield网络和Boltzmann机)联系起来,最后简要讨论了深度学习和大语言模型。
Maribeth Rauh et al.
cs.CY cs.AI cs.HC
本文评估了欧盟和英国市场上五款最流行的AI伴侣应用,通过手动标注用户体验,发现这些应用普遍包含旨在增加盈利和用户粘性的设计暗模式、拟人化设计以及情色和游戏化功能。研究揭示了这些应用利用模拟人际关系操纵用户的机制,并为监管机构提出了加强消费者保护的建议。
Xinchun Su et al.
cs.CY cs.AI
本文提出一个名为MedThink的两阶段知识蒸馏框架,通过教师LLM先注入领域知识解释进行微调,再基于学生模型的错误生成推理链进行二次微调,以提升小模型在临床诊断中的推理能力。实验表明该方法在多个医学基准上优于传统蒸馏策略。
Takanori Kotama, Yang Huang
physics.comp-ph cond-mat.mtrl-sci cs.AI
本文提出了一种晶体分数图神经网络(Crystal Fractional Graph Neural Network)用于高熵合金的能量预测,该模型结合了图注意力网络和全连接网络来整合局部原子环境与全局成分信息,在1049个晶体结构数据集上训练并取得了与第一性原理计算相当的RMSE精度。
Drew Dillon, Kasyap Varanasi
cs.SE cs.AI cs.CE cs.LG cs.LO
本文研究了AI coding agent在代码生成中遵循产品决策的能力,通过引入一个包含41个决策点的基准测试,比较了仅访问代码库的基线配置与额外提供产品上下文检索的增强配置。实验表明,增强配置将决策合规率从46%提升至95%,主要改进来自那些在代码库中不可见的产品上下文决策。
Wang Xiaoyu, Phong Nguyen, Chen Zhao
cs.GR cs.CV cs.LG
本文提出了Alice v1,一个140亿参数的开源视频生成模型,通过带有score regularization的consistency distillation (rCM)实现了超越闭源模型的质量,并在4步去噪中达到7倍加速。该方法主要贡献在于证明了基于rCM的蒸馏可以超越教师模型质量,归因于score regularization项、针对性合成数据pipeline和consistency enforcement三种机制。
Peng Liao et al.
eess.SP cs.CV cs.LG
本文提出了MoRA,一种用于IMU-based Human Activity Recognition的检索增强模块,通过不确定性自适应融合单元动态调整原始输出与检索信息的融合策略,以提升现有模型的识别性能。
Athanasios Papanikolaou et al.
cs.DC cs.LG
本文探讨了分层联邦学习在植物病害分类中的性能与能耗权衡,通过评估多种CNN模型和聚合策略,提出了一个能耗感知优化框架。研究为分布式农业传感系统中的模型选择提供了参考。
Bowei He
cs.DC cs.CL cs.MA cs.NI
本文提出了一个关于扩展移动agent系统的统一研究议程,从提升单个agent的能力密度和实现多agent集体智能两个维度展开,旨在将孤立的移动agent转变为高效可扩展的分布式智能系统。
Rui Zhao et al.
cs.CV cs.AI
本文提出VLADriver-RAG框架,通过将视觉输入抽象为时空语义图并利用Graph-DTW度量对齐进行检索增强,以提升自动驾驶中Vision-Language-Action模型的泛化能力。实验在Bench2Drive基准上取得了新的最优结果。
Pamela Barboza et al.
cs.CV cs.AI cs.RO
本文在竞争性机器人视觉任务中,对RT-DETR(一种基于transformer的detector)在不同环境条件(光照和背景变化)下使用不同深度ResNet backbone(ResNet18至ResNet101)的性能进行了benchmark。研究发现环境变化主要影响预测confidence,而分类accuracy几乎不受影响,且中等深度的backbone(如ResNet50和ResNet34)在不同条件下提供了最佳的性能与效率权衡。
Gopal Krishna Shyam, Priyanka Bharti
cs.DC cs.AI
本文提出了一种名为C-SAS的智能自主编排框架,利用复分析中的Argument Principle和Rouché's Theorem将遥测噪声转化为s平面上的确定性“安全包络”,并计算实时Analytic Stability Index (ASI)来抑制振荡性缩放操作。实验表明该方法在分布式云资源分配中显著减少了VM抖动并提高了资源效率,但该方法与关键词列表中的code, context, spectral, Muon, pretrain, agent, attention等概念关联较弱。
Nicholas Tan Jerome et al.
physics.ins-det cs.AI cs.LG
本文探讨了在KATRIN实验中,利用LSTM、N-BEATS等时序预测模型预测气态氚源稳定性时间的问题,发现N-BEATS在准确性和可重复性上表现最佳。该工作主要关注实验调度优化,与关键词中的code、context、spectral、Muon、pretrain、agent、attention等概念关联度较低。
Yuriel Ryan et al.
cs.CV cs.AI cs.LG
本文提出了一种Self-Captioning方法,通过Multimodal Interaction Gate机制将多模态交互中的unique interactions转化为redundant interactions,以增强视觉语言模型的鲁棒性。实验表明,增加冗余信息可显著减少视觉诱导错误并提升模型一致性。
Zi-Yi Jia et al.
cs.CV cs.AI
本文提出了VT-Bench,一个用于视觉-表格多模态学习的统一基准,整合了14个数据集并评估了23种模型,揭示了该领域面临的挑战。
Jincheng Xie et al.
cs.DC cs.AI
SPECTRE提出了一种混合普通-并行推测解码框架,通过复用未充分利用的小模型作为远程草稿模型来加速大模型推理。该方法在SGLang上实现,实验表明能提升大模型吞吐量并减少对尾模型服务的干扰。
Divya Gupta
cs.DC cs.AI
本文提出了一种结合零知识证明的联邦学习分布式架构,通过将机器学习损失函数转化为Rank-1 Constraint Systems (R1CS)来实现加密验证,以抵御模型投毒攻击。实验表明该架构在1000个分布式节点上能保持94.2%的准确率,但方法主要关注工程实现而非理论创新,与关键词列表中的概念关联较弱。
Junyi Hu et al.
cs.CV cs.AI
本文提出LAGO框架,用于零样本视觉-文本对齐任务。该方法通过类无关的目标候选发现和自适应语言引导精炼,结合对象-上下文双通道聚合策略,在减少推理候选区域数量的同时提升了性能。
Haopeng Jin et al.
cs.CV cs.AI
本文提出HY-Himmel,一种用于长视频理解的分层视频-语言框架,通过将稀疏锚点I帧输入昂贵的视觉编码器以获取语义信息,同时利用轻量级压缩域三流适配器从运动向量图、残差图和I帧上下文中提取运动证据,生成对齐的运动token并注入LLM。该方法在Video-MME上以更少的上下文token超越了密集32帧基线,但未涉及关键词中的code、spectral、Muon、pretrain、agent或attention等核心概念。
Girmaw Abebe Tadesse et al.
cs.CV cs.AI
本文提出WATCH框架,利用PlanetScope卫星影像和多种foundation model embeddings(如CLIP、SatMAE等)对考古遗址进行月度变化检测。通过无监督方法(Temporal Embedding Distance和Self-Supervised Change Detection)与弱监督方法对比,发现无监督方法在精确召回率上更优,并分析了不同方法的时间偏差特性。
Liwei Cheng et al.
cs.CV cs.AI cs.CL
本文提出了MULTITEXTEDIT基准,包含12种语言的3600个文本图像编辑实例,并引入语言保真度(LSF)指标来评估跨语言退化。实验发现所有模型在非英语语言上均存在显著退化,尤其在希伯来语和阿拉伯语上最为严重。
Rebekah Lane et al.
cs.DC cs.AI cs.CR
本文提出了一种并行化的Hierarchical Self-Organizing Map (HSOM)架构parHSOM,旨在加速HSOM在大型网络安全数据集上的训练过程。实验表明,parHSOM在多个测试平台和数据集上均比串行HSOM训练更快,且性能无明显损失。
Fatma Betul Buyuk et al.
cs.CV cs.AI
本文提出了一种基于transfer learning的数字图像伪造检测框架,通过结合RGB图像与压缩差异特征(FDIFF)增强篡改伪影的可见性,并采用Youden Index优化分类阈值。实验在CASIA v2.0数据集上验证了多种pretrained CNN架构(如DenseNet121、ResNet50)的性能,表明该方法能有效提升检测鲁棒性。
Ayoub Agouzoul
cs.RO cs.AI cs.LG
本文系统比较了四种异步推理方法(IT-RTC, TT-RTC, VLASH, A2C2)在Vision-Language-Action模型中的表现,发现A2C2在Kinetix和LIBERO基准上效果最佳,而TT-RTC作为训练方法最为鲁棒且无推理开销。
Savitha N J, Lata B T
cs.CV cs.AI
本文提出了一种基于MobileNet和注意力机制的优化深度学习框架,用于监控系统中的自动嫌疑人识别。该模型通过通道和空间注意力机制增强特征表示,并在LFW等基准数据集上实现了97.8%的准确率,优于传统CNN和ResNet等模型。
Daniel Saragih
cs.CV cs.LG
本文提出EAMS,一种基于等变网格神经网络(EMNN)的解剖网格分割模型,通过结合内在网格描述符与解剖先验(如PCA-derived frames)来增强对几何扰动的鲁棒性,并在多个临床任务上验证了其性能。
Honggui Li et al.
cs.CV cs.LG
本文提出了一种基于闭环架构的任意尺度图像超分辨率方法CASISR,通过结合超分辨率与退化模型提升泛化性能。该方法利用条件概率和泰勒级数证明其合理性,实验表明在分数尺度因子及边缘剧烈变化的图像上优于现有方法。
Archishman Ghosh, Abhinaba Roy, Dorien Herremans
cs.CV cs.AI
本文提出了KARMA-MV,一个用于音乐视频因果问答的大规模多选题数据集,并引入了一种因果知识图谱方法来增强视觉-语言模型。该工作主要关注因果推理在音视频理解中的应用,与关键词中的"context"和"attention"有一定关联,但方法本身并非开创性突破,也未解决长期存在的核心问题。
Jordy Dal Corso et al.
eess.SP astro-ph.IM cs.LG
本文提出了一种基于模拟的推理方法,利用GPU模拟器生成合成观测数据,训练神经网络密度估计器进行地形参数反演,并评估了后验对参考表面变化的鲁棒性。该方法在模拟数据和真实火星雷达数据上进行了验证。
Hrishikesh Dutta et al.
cs.IT cs.AI cs.IR cs.LG cs.NI +1
本文提出了一种名为Information Density的定量指标,用于支持AI驱动的虚拟传感,通过分析传感器信号间的时空和模态间相关性,在有限误差条件下(如单传感器平均误差<3.21%)实现物理传感器的替代。该方法利用Phase in Eigen Space和Mutual Information两种互补度量来优化传感器配置,并在马德里智慧城市数据上验证了可行性。
Weicai Yan et al.
cs.CV cs.AI cs.LG
本文提出了一种名为FreqAdapter的多尺度频率适配器,通过在频域进行多尺度微调并整合文本信息,以提升预训练模型在下游任务中的适应效率。实验表明该方法在CLIP和LLaVA等模型上能以较低成本快速收敛。
Bo Ye et al.
cs.CV cs.LG
本文提出LAGCD方法,通过在ViT的每个block中嵌入residual linear adapter来解决Generalized Category Discovery任务中传统方法灵活性不足和过拟合的问题。实验表明该方法在多个数据集上优于现有baseline。
Zhen Tang et al.
eess.SP cs.AI
本文评估了两种基于source domain的TMS EEG伪影去除方法,并建立了一个预处理参考数据集,旨在提升信号质量并保留TMS诱发电位,为闭环神经刺激中的BCI集成提供支持。
Aomar Osmani
cs.RO cs.AI
本文论证了Robotic Service Ontology (RoSO)可通过嵌入Structural Model of General Intelligence (SMGI)实现动态可治理性,并给出了身份保持的重构准则与局部更新保持全局可容许的组合条件。该工作主要关注机器人服务治理的形式化框架,与关键词中的code、context、spectral、Muon、pretrain、agent、attention均无直接关联。
Wei-Ping Huang et al.
eess.AS cs.AI cs.LG
本文探讨了在自回归模型中应用熵最小化进行测试时适应的问题,通过推导出统一的数学框架将现有启发式方法联系起来,并在Whisper ASR任务上验证了其有效性。该方法主要针对语音识别领域,与您提供的关键词关联度较低。
Philip Franz et al.
eess.SP cs.LG
本文利用Aerosense传感系统获取的气动压力测量数据,结合卷积神经网络进行结构损伤检测与分类。研究进一步引入可解释机器学习方法,以提升数据驱动监测的透明度和物理一致性。
Mathis Immertreu et al.
cs.CV cs.AI
本文使用神经科学方法分析了多模态transformer模型Qwen3-VL-8B中视觉趣味性的内部表征,发现人类趣味性信息可从最终层embedding中线性解码,并在中间层逐渐显现。该工作主要关注视觉趣味性编码,与关键词中的attention有一定关联但并非核心。
Maria Stoica, Abdelrahman Hekal, Alessio Lomuscio
cs.CV cs.AI
本文提出了一种名为ROSS的鲁棒OOD检测框架,通过中值平滑和局部不稳定性量化来增强对对抗攻击的防御能力。实验表明该方法在多个数据集上取得了优于现有技术的性能。
Varad Vishwarupe et al.
cs.CY cs.AI cs.LG cs.SE
本文是一篇立场论文,主张NeurIPS会议应对前沿AI安全声明(如模型是否低于风险阈值)实施可重复性标准,并提出一个三级披露框架(公开、受控、声明限制)来解决当前证据倒置的问题。该文主要关注学术出版规范与AI治理,未涉及关键词中的数学或算法技术。
Maedeh H. Toosi, Siamak Mohammadi
eess.SP cs.LG
本文提出了一种混合transformer模型,用于处理可穿戴设备上的心电信号,通过结合原始ECG信号和心率变异性特征,并利用Maximum Mean Discrepancy进行域自适应,以解决临床数据与可穿戴数据之间的domain shift问题。实验表明该方法在未见过的域上取得了较好的分类性能。
Prasenjit Dhara, Daniel Romero
eess.SP cs.IT cs.LG
本文提出了一种基于transformer的跨环境信道增益图估计方法,通过元学习从多个环境中提取空间模式,从而在新环境中用更少的测量数据实现估计。该方法利用特征图强制满足互易性等不变性,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Mohammed Aman Bhuiyan et al.
cs.SD cs.AI eess.AS
本文针对孟加拉语长语音识别和说话人日记化两个任务,通过微调Whisper和PyAnnote模型构建了完整系统,在测试集上分别取得了0.2441的词错误率和0.2392的日记化错误率。
Sangwu Park et al.
cs.CV cs.LG cs.RO
本文提出了一种名为\(T^3\)VF的test-time training方法,用于增强Visual Foresight VLA模型对out-of-distribution (OOD) shifts的鲁棒性。该方法利用预测的未来图像与后续观测之间的自然监督对进行自适应更新,并引入过滤机制以避免无差别更新带来的问题。
Sarah Binta Alam Shoilee et al.
cs.CV cs.AI cs.IR
本文提出了一种模块化、可溯源的数据管道,用于将手写历史表格图像转换为Knowledge Graphs,通过分解为表格重建、信息提取和知识图谱构建三个阶段,并集成数据溯源以增强透明度和人机协作。该方法在军事档案数据上进行了实验验证。
Tommaso Dreossi et al.
eess.SP cs.LG
本文提出了一种基于灰度扩散的逆设计方法,用于从部分S参数输入生成多层亚像素分辨率RF无源元件,通过退火朗之万投影施加硬物理约束,并支持灵活的多模态条件设置。该方法在1-20 GHz频段内实现了快速设计生成,并通过两个制造实例验证了其有效性。
Farhana Yasmin et al.
cs.CV cs.AI cs.ET cs.LG
本文提出CardiacNAS,一个资源感知的进化神经架构搜索框架,用于心脏MRI分割。该方法在UNet-like超网络上搜索深度、宽度、注意力等设计,并联合优化分割精度与模型大小、计算量,在ACDC数据集上取得了较好的精度-效率平衡。
Bibin Wilson
cs.CV cs.AI
本文提出Capacity-Aware Distilled Self-Supervised Learning (CA-DSSL)框架,通过从冻结的DINO ViT-S/16教师模型进行非对称蒸馏,结合多尺度特征蒸馏和渐进式增强课程,解决了微控制器(MCU)级小模型(<500K参数)在自监督学习中的投影头主导、表示瓶颈和增强敏感性问题。在CIFAR-100上,基于396K参数的MobileNetV2-0.35骨干网络,CA-DSSL达到了62.7%的线性探测准确率,显著优于SimCLR-Tiny等标准方法。
Wing Yi Yu, Chun Yin Chiu
q-bio.QM cs.AI cs.LG
本文提出了一种可解释的无监督到有监督的机器学习框架,用于从英国国家饮食与营养调查数据中发现膳食模式。该框架通过比较K-means、Gaussian Mixture Models和Agglomerative Clustering等聚类方法,并利用SHAP分析解释分类结果,为临床膳食评估提供了辅助工具。
Gabriel Bathie, Baptiste Mouillon, Nathanaël Fijalkow
cs.PL cs.DC cs.LG
本文提出了一种名为SIMBA的GPU加速混合布尔算术(MBA)表达式合成器,采用无缓存的自底向上枚举方法,避免了传统基于缓存策略在量化位向量空间中因行为空间巨大而失效的问题。实验表明,SIMBA在速度和可处理规格规模上显著优于现有工具。
Harshvardhan Saini et al.
cs.CV cs.AI
本文通过机制分析揭示了decoder-based Vision-Language Models (VLMs)中幻觉现象的根源在于几何上的过度对齐,即视觉embedding被过度拉向text manifold,导致统计语言偏差掩盖了细粒度视觉证据。作者首次定量刻画了这种过度对齐,并提出了一种无需训练的推理策略和一种有偏感知的fine-tuning范式,通过在视觉表示中显式投影出该text subspace来缓解幻觉。
Pravin Kumar et al.
cs.CV cs.CR cs.LG
本文提出了一种基于IoT和计算机视觉的铁路入侵检测系统NETRA,通过融合PIR传感器和超声波传感器实现事件驱动的摄像头激活,并使用MobileNet-SSD或YOLOv5进行边缘AI分类。该系统在降低部署成本的同时实现了95%的检测准确率,但主要关注工程应用而非理论创新,与关键词中的概念关联较弱。
Andrea Valenzuela Ramirez et al.
cs.PL cs.AI
本文提出IRIS-14B,一个140亿参数的transformer模型,用于将GCC的GIMPLE IR翻译为LLVM的LLVM IR。该模型在C语言源码生成的配对IR上微调,在真实代码和编程竞赛问题上表现优于现有大模型,但方法本身并非开创性,且与关键词关联较弱。
Xiaoce Wang et al.
cs.CV cs.AI
本文从VAE latent space的频率角度分析了DiT在多轮编辑中的语义漂移问题,发现DiT引入的低频漂移是主要因素。作者提出了一种无需训练的即插即用方法VAE-LFA,通过低通滤波和对齐低频统计量来抑制累积漂移,适用于白盒和黑盒DiT编辑器。
Saisai Hu
cs.CR cs.AI cs.LG
本文提出了一种针对医疗决策任务的对抗鲁棒大语言模型智能体安全增强框架ARSM-Agent,通过多模块协同实现输入风险感知、证据约束和知识一致性验证,在多种攻击下将攻击成功率降至8.7%。该方法主要关注agent的安全性与鲁棒性,与关键词中的agent有一定关联,但方法本身缺乏显著开创性。
Pierluca D'Oro et al.
cs.SE cs.AI
本文揭示了当前Computer Use Agents (CUAs)在交互环境评估中的方法论缺陷,指出简单的回放脚本在静态基准测试中能超越前沿模型,并分析了环境设计与评估方法的两大根本问题。为此,作者提出了PRISM设计原则与DigiWorld基准,并开发了结合Wilson score区间与层次化bootstrap的聚合框架,以提升评估的严谨性。
Rees Chang et al.
cond-mat.mtrl-sci cs.AI
SLayerGen提出了一种晶体生成模型,可生成受任意空间群或层群约束的晶体,并改进了六方晶系在分数坐标下的扩散损失不一致问题。该模型在双周期材料生成上优于现有体材料生成模型,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Kyle Loh, Yu Xiang
stat.ML cs.IT cs.LG eess.SP stat.ME
本文研究了一种去中心化的novelty detection方法,通过交换量化代理模型(quantized surrogate models)来控制全局false discovery rate (FDR),无需共享原始数据。该方法在合成数据集上验证了理论结果,在降低通信成本的同时保持了统计功效。
Krti Tallam
cs.SE cs.AI cs.DC cs.ET
本文提出了一种名为"execution envelope"的标准化内部准入对象,用于在AI后端系统中统一记录执行请求的准入信息,包括请求者、资源需求、策略范围及最终授权结果。该设计旨在为现代AI后端提供一个共享的准入契约,以便在不解决调度、策略和运行时执行等复杂问题的情况下,附加治理和可观测性功能。
Xiaolin Sun et al.
cs.MA cs.AI
本文研究了多智能体LLM共识系统中的内部攻击问题,将恶意智能体的攻击形式化为一个序列决策任务,并提出一个基于世界模型的框架来学习良性智能体的潜在行为状态,再使用reinforcement learning训练攻击者。初步实验表明该方法比直接恶意提示基线更有效地降低共识率并延长分歧。
Zequan Xie et al.
cs.CV cs.AI
SAFformer提出了一种基于主动预测滤波的Spiking Transformer架构,通过抑制可预测信号来聚焦显著视觉特征,在多个图像分类数据集上取得了新的最优性能。该方法主要关注SNN在视觉任务中的效率提升,与关键词中的attention概念有一定关联但并非核心创新。
Jiazheng Li et al.
cs.CV cs.AI
本文提出MAGIC-Video框架,通过构建多模态memory graph和interleaved narrative chain来增强agentic video reasoning,在超长视频理解任务上取得了性能提升。
Kejia Chen et al.
cs.CR cs.AI
本文研究了多示例越狱攻击(MSJ)对安全对齐语言模型的影响,发现该攻击通过逐步改变有害查询的表示来削弱模型安全性。作者提出了一种防御方法,即在推理时添加一个固定的单示例安全演示,以恢复模型的拒绝行为,无需修改模型参数或白盒访问。
Lennard M. van Karnenbeek et al.
eess.IV cs.AI cs.CV
本文构建了首个精确配对的低端POCUS与高端超声图像数据集,并基于pix2pix架构的cGAN(conditional generative adversarial network)模型,结合L1和SSIM(structural similarity index)损失函数,实现了图像质量增强。实验表明该方法在SSIM和PSNR等指标上均有显著提升,但方法本身在深度学习图像增强领域较为常规,缺乏与关键词相关的开创性。
Andrea Gurioli, Federico Pennino, Maurizio Gabbrielli
cs.SE cs.AI
本文研究了三种代码重写策略(风格改写、伪代码、自然语言转录)对embedding-based code retrieval的影响,发现联合查询-语料库改写能显著提升检索性能,而仅改写语料库则可能降低效果。文章引入Delta H和Delta s两种诊断指标,其中Delta H可作为预测改写收益的低成本代理。
Miriam Senne et al.
eess.IV cs.LG
本文提出了一种利用毫米波雷达扫描进行非侵入式身体成分评估的方法,通过多任务学习策略从合成点云数据中回归内脏脂肪体积和体脂百分比,在真实扫描中验证了可行性。该方法为常规身体成分监测提供了快速、隐私保护的替代方案,但未涉及关键词中的code、context、spectral、Muon、pretrain、agent或attention等概念。
Zhichao Liu et al.
cs.CR cs.AI
本文提出WebTrap攻击方法,通过多步指令融合与上下文生成技术,在浏览器agent执行长周期任务时实现隐蔽劫持,同时保持原始用户任务的可用性。该方法揭示了agent系统在导航过程中的安全漏洞。
Ziyang You et al.
cs.CR cs.AI cs.LG
本文揭示了大型语言模型在自回归采样中依赖确定性伪随机数生成器(PRNG)所带来的供应链攻击风险,提出了SeedHijack后门攻击方法,并通过实验验证了其高成功率。作为防御,文章引入基于硬件量子随机数生成器(QRNG)的方案,以极小的性能开销消除了该攻击威胁。
Timothy C. Cogan
cs.SE cs.AI
Mazocarta是一个用Rust实现的程序化战术卡牌游戏,其核心贡献在于构建了一个可仪器化的游戏开发参考工件,支持交互式游玩、命令行模拟、自动化测试和本地多人游戏。该工作通过确定性种子和模拟管道实现了可重复的平衡探测,但并未提出新的数学方法或解决长期存在的理论问题,与关键词列表中的概念关联较弱。
Debashis De, Mahua Nandy Pal, Dipankar Hazra
eess.IV cs.AI cs.LG
本文提出了一种基于联邦学习的量子神经网络(FQPDR)用于糖尿病视网膜病变的早期检测,通过仅共享模型参数而非患者数据来保护隐私。该方法在E-ophtha和Retina MNIST数据集上使用有限样本和少量可学习参数实现了轻量级模型,并在Kaggle数据集上展示了鲁棒性。
Rajdeep Singh Hundal et al.
eess.IV cs.AI cs.LG
本文提出CAMAL方法,利用segmentation masks作为辅助正则化项来改进vision models中的attention alignment和faithfulness。该方法在DL和DRL任务上均能提升attention的准确性和因果意义,但未涉及code、context、spectral、Muon、pretrain或agent等关键词。
Michael Mancini, Shabnam Sodagari
quant-ph cs.AI
本文提出了一种名为Optimal FALQON的优化方法,通过将每层的时间步长\(\delta_k\)和缩放因子\(M_k\)作为决策变量进行经典优化,改进了原有的FALQON算法。实验表明,该方法在求解组合优化问题时,在成功概率和计算效率上优于标准FALQON及多种QAOA变体。
M. Moein Esfahani et al.
cs.CV cs.AI
本文提出NeuroGAN-3D,一种基于3D generative adversarial network的super-resolution模型,用于提升静息态fMRI空间图谱的分辨率。该方法在增强脑功能网络图谱的细节方面优于传统baseline,但未涉及关键词中的code, context, spectral, Muon, pretrain, agent或attention等概念。
Jonathon Hirschi, Jan Mandel, Adam Kochanski
stat.AP cs.LG
本文提出了一种基于时间扭曲的迁移学习方法,通过调整RNN(LSTM)学习到的动态时间尺度,将10小时燃料湿度预测模型迁移至1小时、100小时和1000小时燃料类别,并利用俄克拉荷马实地数据验证了其有效性。
Junyu Huo et al.
cs.SE cs.AI
本文通过分析AI-only社交网络MoltBook上的技术讨论,发现AI agent之间的技术话语集中在安全与信任等12个主题,但与人类开发者(如GitHub Discussions)相比,缺乏代码格式、环境细节等具体上下文线索,呈现出选择性但连贯的讨论模式。
Houjun Liu et al.
cs.CR cs.CL cs.CY
本文提出SecureForge,一个自动化pipeline,通过识别并放大LLM生成代码中的安全漏洞,并优化system prompts来减少输出漏洞,同时保持unit test性能。该方法在frontier models上实现了输出漏洞最多降低48%的Pareto改进,但未涉及spectral、Muon或pretrain等关键词相关技术。
Mingyu Liu et al.
cs.CV cs.AI
本文针对零样本组合图像检索(ZS-CIR)中投影方法在复杂语义修改上表现不佳的问题,提出DeCIR方法。该方法通过解耦端点对齐与语义转换学习,并引入低秩方向合并(LRDM)来融合两个分支,在不增加推理复杂度的情况下提升了性能。
Jonas Linkerhägner et al.
math.ST cs.IT cs.LG stat.ML
本文研究了从基于事件的观测中恢复潜在Hawkes网络所需的最小观测时间,证明了对于稀疏弱相互作用的平稳Hawkes过程,观测时间与交互实体数量的对数成正比是充分且必要的。
Xuanqiang Angelo Huang et al.
cs.GT cs.AI
本文探讨了机制设计在促进AI代理合作中的局限性,指出当合同无法覆盖所有未来偶然事件时,任何现实机制都无法消除严格正的福利损失。作者提出亲社会代理(prosocial agents)能弥补这一差距,并在多智能体资源分配和社会困境实验中验证了其有效性。
Nicholas Brawand et al.
stat.ML cs.LG stat.ME
本文提出Active Multiple-Prediction-Powered Inference (AM-PPI)方法,用于在部署后医疗AI监控中结合多个预测器与少量gold-standard标签以降低标注成本。该方法通过为每个实例自适应选择预测器子集并重加权预测,在单一预算下最小化estimator方差,并证明了其全局最优性与渐近正态性。
Jun Wen Leong
cs.CR cs.AI cs.LG
本文系统评估了六种防御机制对LLM agent持久性内存攻击(通过RAG注入的恶意指令)的有效性,发现除Memory Sandbox外,其他防御均基本失效。Memory Sandbox通过移除攻击所需的召回能力,在八种模型上将攻击成功率降至0%,但在一类推理模型上反而导致攻击完全成功。
Beyazıt Bestami Yuksel
cs.CR cs.LG
本文提出了一种基于混沌加密的高效自适应实时心电信号遥测框架,利用患者自身心电信号特征生成动态加密密钥,以保障数据传输安全。该方法通过逻辑映射进行加密,并验证了其安全性与实时性。
Ziwen Cai, Yihe Zhang, Xiali Hei
cs.CR cs.AI
本文从子代理继承的角度建模了多智能体网络中的安全风险,指出父代理的继承记忆可能传播恶意指令,并分析了当前框架在内存继承、资源控制等方面的安全漏洞。
Medha Agarwal, Alex Luedtke
stat.ML cs.LG math.ST stat.ME
本文引入Sinkhorn treatment effect,一种基于entropic optimal transport的度量,用于比较反事实分布之间的差异。通过将其表示为反事实mean embeddings的光滑变换,作者构建了debiased estimators并提出了用于分布性treatment effect的渐近有效检验。
Don Li, Dacian Daescu
math.OC cs.LG
本文提出了一个统一的Lyapunov-IQC框架,用于分析光滑强凸优化中一阶加速算法的uniform stability,通过将优化器建模为Lur'e型反馈系统并利用线性矩阵不等式进行稳定性验证。该工作主要贡献在于将控制理论与优化动力学联系起来,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Nhut Le, Ehsan Karimi, Maryam Rahnemoonfar
cs.CV cs.LG
本文提出了一种结合Transformer分割模型Mask2Former与数字高程模型(DEM)的几何方法,从单目航拍图像中估计洪水深度,通过识别水陆边界计算全局水面高程并逐像素推导深度,避免了水动力模拟的延迟。
Timothy Tin Long Yu et al.
cs.DC cs.AI
本文提出MARLaaS系统,用于多租户异步强化学习微调服务,通过共享基础模型和LoRA适配器以及解耦的异步架构,在多个并发任务中提升加速器利用率并减少训练时间。该方法主要关注系统效率而非理论创新,与关键词列表中的概念关联较弱。
Xiaoyun Gong, Gabriel Rioux, Ziv Goldfeld
stat.ML cs.LG math.OC
本文针对Gromov-Wasserstein (GW)距离在高维问题中的计算瓶颈,提出了一种基于切片技术的Sliced Inner Product GW距离,并研究了其旋转不变性等性质。该方法通过将问题投影到一维来提升可扩展性,并应用于文本数据的异质聚类和语言模型表示比较。
Eser Ilke Genc, Samet Demir, Zafer Dogan
stat.ML cs.LG
本文为高维多分量在线ICA开发了渐近精确的平均场理论,通过重叠矩阵的ODE系统刻画了学习方向与真实分量间的耦合动力学,揭示了由初始化驱动的解耦与竞争相结构。
Zichen Xie et al.
cs.SE cs.AI cs.LG
本文提出了VeriContest,一个用于可验证代码生成的基准测试,包含946道来自LeetCode和Codeforces的编程题,要求模型生成Rust代码、形式化规约和可机器检查的证明。评估显示,最强模型在代码生成上达到92.18%,但端到端可验证生成仅5.29%,揭示了规约和证明生成是主要瓶颈。
Anastasis Kratsios
math.FA cs.LG cs.NE math.NA math.OC
本文研究了在可分Hilbert空间上从有限样本重建凸Lipschitz泛函的问题,证明了存在一种显式、保凸且保Lipschitz的重建公式,并可通过ReLU-MLP实现。该工作为学习凸泛函提供了结构化架构,但与关键词列表中的概念关联较弱。
Hassan Shapourian et al.
cs.CV cs.AI
本文介绍了ZAYA1-VL-8B,一个紧凑的mixture-of-experts视觉语言模型,其架构创新包括在LLM中集成视觉特定的LoRA适配器和对图像token使用双向attention。该模型在多个图像理解基准上取得了有竞争力的性能。
Zhenhan Fang, Aixin Tan, Jian Huang
stat.ML cs.LG
本文提出CONTRA方法,利用normalizing flow将输出映射到latent space,并基于距离定义nonconformity score,从而生成具有coverage guarantee的多维prediction region。该方法在密度估计和预测区域生成方面优于传统方法。
Yongkang Li et al.
cs.CV cs.LG q-bio.QM
本文提出MicroDiffuse3D,一个用于3D显微镜图像恢复的预训练基础模型,能从低分辨率测量中重建高质量体积结构,在稀疏超分辨、联合降噪等任务上优于基线方法。该工作主要聚焦于计算成像应用,与关键词中的code、context、spectral、Muon、agent、attention等概念关联较弱。
Kaixiang Zheng, Jacob H. Seidman
cs.CV cs.LG
本文针对合成图像检测器在协变量偏移下的可靠性问题,采用post-hoc selective classification策略,提出ReSIDe框架,通过将logit-based confidence score functions推广到中间层并引入preference optimization算法来聚合多层的confidence scores,从而提升检测器在分布偏移下的选择性分类性能。
Antoni Nowinowski, Krzysztof Krawiec
cs.CV cs.LG
本文提出Self-Distilled GAN (SD-GAN),利用生成器的Exponential Moving Average (EMA)作为教师模型,通过perceptual loss指导活跃生成器(学生)的训练。该方法在Dirac-GAN设定下证明了局部渐近稳定性,并抑制了传统GAN中的寄生循环行为,在多个指标上提升了图像质量。
Zhuofu Chen et al.
cs.MA cs.AI
本文针对长时域LLM agent执行中的context compaction问题,提出了一种异步验证方法Slipstream。该方法通过并行运行compactor与agent,利用judge验证候选summary是否保留agent的forward intent和关键事实,从而提升任务准确率并降低延迟。
Lujia Zhong et al.
cs.CV cs.AI
本文提出PromptDx框架,通过可微调提示机制将预训练的TabPFN与多模态医学影像数据结合,用于阿尔茨海默症诊断。该方法在ADNI数据集上优于传统参数化基线,但未涉及code、spectral、Muon或agent等关键词。
Shanshan Zhu et al.
cs.HC cs.AI cs.CL cs.CY
本文研究了LLM在解释个人感知数据时产生的“认知过度延伸”现象,发现模型常将异常归因于数据不充分支持的原因,且增加上下文或约束提示无法可靠消除此问题。
Logashree Venkatasubramanian, Zishen Wan, Viveck Cadambe
cs.AR cs.IT cs.LG
本文提出了一种基于coprime test vectors的轻量级算法,用于在systolic arrays中实现单次测试(one-shot)的PE级故障定位。该方法通过为测试输入分配互质整数,利用故障产生的偏差的整除性特征来唯一识别故障行,在INT16算术下对\(256{\times}256\)阵列的单次测试定位概率超过0.98。
Devesh Shah
cs.CV cs.LG
本文在Plant Pathology 2021数据集上系统评估了六种OOD检测方法,发现基于能量的微调方法在保持分布内精度的同时提升了检测性能,并分析了其背后的嵌入空间重构与评分函数校准机制。研究还记录了约束优化方法在中等规模数据集上的训练不稳定性问题。
Liangqi Yuan et al.
eess.SP cs.DC cs.LG cs.MA
本文探讨了在资源受限的网络环境下,大型语言模型(LLM)通过设备-云垂直协作与多智能体水平协作实现协同智能的范式,并分析了协作学习中的路由策略训练与能力发展问题。
Yinwei Dai et al.
cs.RO cs.AI
本文提出KeyStone方法,通过并行采样\(K\)个action chunks并选择最大簇的medoid,利用action trajectory的几何结构使Euclidean distance直接反映物理相似性,从而提升扩散模型在物理AI任务中的成功率。该方法无需额外模型,在多种VLA和WAM模型上实现高达13.3%的性能提升且延迟开销可忽略。
Phil Travis, Troy Carter
physics.plasm-ph cs.LG
本文使用基于CNN和attention的Energy-based model (EBM) 对实验室等离子体装置中的诊断数据进行重建和分析,展示了EBM在非线性物理系统中的应用潜力,包括诊断信号重建、条件采样和异常检测。
Lei Wang et al.
cs.CV cs.AI cs.LG
本文提出了一种基于正交子空间投影的隐私感知视频异常检测方法,通过Orthogonal Projection Layer (OPL)和Guided OPL (G-OPL)模块,在弱监督下抑制人脸等敏感特征,同时保留姿态和运动等非识别性信息,以平衡检测性能与隐私保护。该方法使用cosine alignment目标函数实现面部信息的去除,无需身份标签或对抗训练。
Chengcheng Sun et al.
cs.SI cs.AI cs.LG
本文对基于attention的GNNs进行了综述,提出了一个两层的分类法,从发展历史和架构角度总结了图循环注意力网络、图注意力网络和图Transformer三个阶段,并讨论了未来方向。
Shan Jiang, Zijian Yi, Chenguang Zhu
cs.SE cs.AI cs.LG
本文研究了LLM代码生成中多种候选选择策略,发现基于执行的选择器(如SemanticVote)显著优于输出模式多数投票,且聚合规则的影响远小于输入质量。实验表明,当候选代码在多样化输入上执行后,不同选择器的性能差异不大,而基于sketch的输入生成方法效果最好。
Haixiang et al.
stat.ML cs.AI cs.LG math.NA
本文提出Core-Halo分解方法,用于解决大规模不动点方程\(x^\star=\bar F(x^\star)\)的分布式求解问题。该方法通过将写权限与只读评估上下文分离,允许每个agent更新其核心(core)并从重叠的halo中读取,从而在去中心化系统中忠实实现原问题。
Jingzhe Xu et al.
cs.DB cs.AI
本文提出了一个名为PrepBench的基准测试,用于评估大语言模型在自然语言驱动的数据准备任务中的表现,涵盖了交互式消歧、代码生成和代码到工作流转换三个核心能力。实验表明,尽管有进展,但实现这一范式转变对当前最先进的LLM仍具挑战性。
Md Abu Obaida Zishan, Jannatun Noor, Annajiat Alim Rasel
cs.CV cs.LG
本文提出了一种通过核插值(kernel interpolation)的方法,在不进行微调的情况下,使Stable Diffusion模型生成超出训练分辨率的高质量图像,并证明了该方法可推广至全连接层,在精度和F1-Score上仅有最多2.6%的性能下降。该方法通过常数系数缩放卷积核,避免了膨胀卷积(dilated convolution)难以微调的问题,并可将神经网络训练的内存占用降低至少4倍。
Guodong Ding, Angela Yao
cs.CV cs.AI
本文提出Gate-and-Merge框架,用于视觉语言模型(VLM)的零样本组合个性化。该方法通过为每个概念独立学习轻量级LoRA适配器,并在推理时通过门控机制合并权重空间中的更新,实现了无需共现训练的多概念联合识别与描述。
Changze Li et al.
cs.RO cs.AI
本文提出了一种基于强化学习的端到端自主泊车方法REAP,使用Soft Actor-Critic算法和不对称强化学习框架,并通过行为克隆和软预测碰撞惩罚机制提升训练效率与安全性。该方法利用3D Gaussian Splatting构建Real2Sim2Real仿真器实现场景迁移,在极端狭窄机械车位中验证了可行性。
Chenyu Zhao et al.
cs.SE cs.AI
本文提出PROBE框架,通过Telemetry Layer、Diagnosis Layer和Guidance Gate将失败运行的遥测数据转化为结构化诊断与有界恢复指导,在软件工程agent的故障恢复任务中提升了恢复率。
Jiaming Liang et al.
cs.CV cs.AI cs.LG
本文研究了学习图像压缩(LIC)系统中的高分辨率全局语义操纵(GSM)问题,发现现有攻击方法因步长调度无法同时适应振荡和细化阶段而失效,并提出了周期性几何衰减调度(PGD\(^{2}\)-GSM)方法。实验表明该方法首次稳定实现了高分辨率GSM,暴露了LIC系统的新威胁。
Vladimir Iglovikov
cs.PF cs.LG
本文通过多CPU平台(Intel Emerald Rapids, AMD Zen 4/5, ARM Neoverse V2/N1)的基准测试,质疑了单线程JPEG解码微基准测试对ML数据加载器性能评估的有效性。研究发现,解码器的单线程吞吐量排名与PyTorch DataLoader下的实际吞吐量排名存在显著差异,且不同CPU架构上的结论不一致。
Hoang Nguyen, Xiaohao Xu, Xiaonan Huang
cs.RO cs.LG
本文探讨了在预训练的LeWorldModel中,利用latent geometry的平滑性和均匀性,将规划过程摊销为latent inverse-dynamics mapping,从而用轻量级的Goal-Conditioned Inverse Dynamics Model (GC-IDM)替代在线搜索。实验表明,该方法在多个benchmark中匹配或超越CEM等规划器,同时大幅降低决策成本,揭示了结构化latent space可部分转移规划负担至学习推理。
Dingdong Yang et al.
cs.GR cs.AI cs.LG
本文提出MeshFIM,一个基于Fill-in-the-Middle (FIM)的自回归框架,用于局部编辑低多边形网格。它通过边界顶点标记、上下文位置嵌入等设计,解决了网格编辑中的精确附着和拓扑顺序保持等挑战。
Jiaxin Liu et al.
cs.RO cs.AI
本文提出了一种名为OLSF-TRS的通用可扩展顺序决策框架,用于处理料箱搬运机器人系统的订单履行问题。该框架结合了结构化组合优化与多智能体强化学习,以协调订单、料箱和机器人的决策,并在不同规模场景下优于现有启发式方法。
Tao Yu et al.
cs.MA cs.LG
本文提出了一个名为EntCollabBench的benchmark,用于评估企业工作流中多agent的协作能力,该benchmark模拟了具有角色分工和权限控制的组织环境。实验表明,当前LLM agent在端到端的企业协作任务中仍面临挑战。
Tao Yu et al.
cs.SD cs.LG
本文提出了一个名为Omni-DeepSearch的benchmark,用于评估模型在仅给定audio输入时,主动搜索text、image、video等跨模态证据并进行多跳推理的能力。实验表明,现有模型在该任务上表现不佳,揭示了audio entity推理、query formulation和tool-use可靠性等关键瓶颈。
Youhe Feng et al.
cs.RO cs.LG
本文提出ProcVLM,一种通过程序化结构和帧内视觉变化来估计任务进度的视觉语言模型,用于为机器人操作提供密集奖励信号。该方法构建了大规模标注数据集ProcCorpus-60M,并在多个基准上展示了优于基线方法的进度估计能力。
Shaul Tolkovsky, Ori Meidler, Or Zuk
stat.ML cs.LG math.PR
本文通过密度\(f\)的规范扩散过程的autocovariance矩阵,提出了SSA和DA两种度量mode separation的指标,并推导了经验autocovariance的闭式谱。该方法利用score function和Tweedie's identity扩展到高维,在合成数据和实际应用中展示了其有效性。
Pragun Jaswal, L. Hemanth Krishna, B. Srinivasu
cs.AR cs.AI
本文提出了一种集成在RISC-V核心中的运行时可重构乘法器架构,支持精确和近似计算模式,用于能效优化的神经网络推理。该设计通过专用控制寄存器实现多级精度调节,在边缘AI部署中实现了显著的功耗和能量降低。
Jiahui Guang et al.
cs.CV cs.AI
本文提出了PPU-Bench,一个用于多模态大语言模型个性化部分遗忘的真实世界基准,包含24K样本和三种遗忘设置。实验揭示了现有方法在细粒度事实控制上的局限性,并提出了边界感知优化方法。
Felix Krones
cs.CV cs.LG
本文系统比较了不同预训练策略(包括监督和自监督学习)在医学影像任务中的下游性能,发现仅当预训练数据与目标模态高度匹配时才能显著提升性能,且自监督学习的有效性依赖于具体上下文。
Xinyu Yan et al.
cs.CV cs.AI cs.CR
本文提出了一个名为FraudBench的多模态benchmark,用于检测AI生成的欺诈性退款证据,涵盖电商、外卖和旅行服务场景。实验表明,现有MLLMs和专用检测器在区分真实与伪造的损坏证据时表现不稳定,揭示了通用AI图像检测与基于claim的退款证据验证之间的差距。
Rui Zhao et al.
cs.CV cs.AI cs.RO
本文提出VECTOR-DRIVE,一种基于Qwen2.5-VL-3B的端到端自动驾驶框架,通过共享self-attention保持所有token耦合,并依据token语义将视觉语言token路由至Vision-Language Expert、将轨迹相关token路由至Trajectory Expert,以缓解语言推理与轨迹预测之间的耦合权衡。该方法在Bench2Drive上取得了88.91的Driving Score,优于现有baseline。
Peter Richtárik, Kaja Gruntkowska, Hanmin Li
math.OC cs.LG stat.ML
本文提出了一种名为Local LMO的投影自由梯度方法,用于约束优化。该方法通过在当前迭代点附近的小球与约束集的交集上执行局部线性最小化,替代了Frank-Wolfe方法中的全局线性最小化,并在无约束情形下退化为梯度下降。
Jialin Li et al.
cs.CV cs.AI cs.LG
本文提出OT-Bridge Editor,将局部编辑重构为受约束的entropic optimal transport问题,利用几何信息引导生成路径,以在coronary angiography中合成stenosis数据。实验表明该方法能提升下游stenosis检测性能,但与我提供的关键词列表关联较弱。
Pouria Fatemi et al.
stat.ML cs.LG math.OC
本文研究了无噪声逆优化问题的泛化界,给出了一个高概率的\(O(d/T)\)界,并证明了该界在一致估计量下是紧的。实验验证了理论预测的速率和界的紧性。
Zhirayr Tovmasyan, Artavazd Maranjyan, Peter Richtárik
math.OC cs.DC cs.LG stat.ML
本文研究了异构计算环境下并行随机优化的时间复杂度问题,提出了基于momentum-based variance reduction的Rennala MVR方法,证明了在mean-squared smoothness假设下该方法能改善相关参数区间的时间复杂度,并通过实验验证了其相对于Rennala SGD的改进。
Yu Chen, Yuanhao Liu, Qi Cao
cs.CR cs.AI
本文从连续输入变换的视角研究了aligned LLMs仍易受jailbreak攻击的原因,提出了Refusal-Escape Directions (RED)概念,并证明RED可分解为operator-level sources的贡献。实验表明,添加token维度可暴露RED,而成功的jailbreak与terminal-source贡献的拒绝-回答转变相关。
Mengyuan Tian et al.
cs.CV cs.AI
本文提出了一种名为DAPE的框架,通过动态非均匀对齐和渐进式细节增强技术,改进了高效视觉语言模型中的跨模态交互性能。该方法利用可学习的匹配函数为不同信息密度的文本标签动态分配图像标签,并逐步引入高分辨率视觉特征,在多个基准测试中提升了准确率并降低了计算开销。
Hira Nasir et al.
cs.CR cs.LG
本文提出了一种名为LARAR的层间自适应正则化方法,用于增强网络入侵检测系统对对抗攻击的鲁棒性。该方法通过分析不同层的脆弱性并引入辅助分类器,在UNSW-NB15数据集上实现了95.01%的干净准确率,并提升了对抗FGSM和PGD攻击的防御能力。
Chengqian Zhang et al.
cond-mat.mtrl-sci cs.LG physics.chem-ph physics.comp-ph
本文提出CrystalREPA框架,通过元素感知的对比学习对齐晶体生成模型的隐状态与预训练通用机器学习原子间势(MLIP)的表示,以提升生成晶体的热力学稳定性和结构有效性。该方法作为即插即用模块,在几乎不增加训练开销的情况下改善了生成质量,并发现MLIP的迁移效果与其标准基准精度弱相关,而与其原子表示空间的可区分性强相关。
YongKyung Oh et al.
stat.ML cs.LG
本文提出Survey-aware Machine Learning (SaML)九步指南,强调在复杂健康调查数据(如NHANES)中融入抽样设计元数据(如primary sampling units和sampling weights)以纠正ML模型估计偏差。通过范围综述总结了加权训练、设计交叉验证等方法,但未涉及关键词中的spectral、Muon或agent等概念。
Said Harb, Mehdi Maboudi, Markus Gerke
cs.CV cs.AI
本文提出了一种从点云重建CAD模型的端到端方法,通过将点云分割为单个extrusion(拉伸体)来增加数据多样性,从而提升深度学习模型的泛化能力。该方法为CAD逆向工程提供了一种简单有效的改进策略。
Tri Cao et al.
cs.CV cs.AI
本文针对视频大语言模型在动态场景中的幻觉问题,提出了一个名为STEMO-Bench的基准测试,通过分解查询为子问题来评估时空监控能力,并设计了STEMO-Track框架,利用分块状态提取和时间聚合来构建结构化对象轨迹,以减少幻觉并提升推理一致性。
Oyinkansola Romiluyi
physics.chem-ph cond-mat.mtrl-sci cs.LG
本文提出了一种可解释的机器学习框架,结合SHAP特征重要性与树集成模型(Random Forest和Bayesian-optimized CatBoost),用于预测Fe基催化剂的电子结构微描述符(如band gap)并解析结构-性能关系。该框架在有限数据下识别出热力学晶格稳定性和几何因素是影响band gap的主要因素,非线性模型性能优于线性基线。
Lavsen Dahal, Joseph Y. Lo
cs.CV cs.AI
本文提出CT-IDP框架,利用TotalSegmentator从腹部CT中提取超过900个器官级定量表型(包括形态、衰减和上下文/负荷特征),并基于弹性网络正则化的稀疏逻辑回归进行疾病分类。在多个数据集上,该方法在AUC指标上略优于DINOv3视觉Transformer基线。
Ming Sun et al.
cs.RO cs.AI
本文提出GuardVLA,首个基于backdoor的VLA模型所有权验证框架,通过向embodied visual data注入秘密信息嵌入水印,并设计swap-and-detect机制进行验证。该方法在保持任务性能的同时实现了可靠的ownership verification。
Josep Lumbreras, Marco Tomamichel
quant-ph cs.LG
本文研究了任意有限维纯态的量子态层析成像问题,通过将算法限制在纯态流形的局部区域工作,并利用epoch策略结合切线方向测量与鲁棒方差自适应估计,实现了对未知纯态的低累积扰动学习。该方法将先前仅适用于qubit的结果推广到了qudit情形。
Kiran Naseer, Naveed Anwer Butt
cs.CV cs.LG
本文提出MedFL-Stress框架,用于系统评估联邦学习下脑肿瘤分割模型在跨医院MRI外观偏移中的鲁棒性。实验发现FedAvg虽平均性能高但存在医院间性能差距,而FedBN能有效缩小这一差距,强调了鲁棒性评估在联邦医学影像部署中的重要性。
Jörg Frochte
cs.CV cs.LG
本文诊断了Contrastive Style Descriptor (CSD)在艺术家风格评估中原始余弦相似度的失效问题,提出了discrimination gap诊断方法,并给出了CSD+协议(使用CSLS和位置插值)作为改进方案。实验表明该问题在多个视觉backbone上普遍存在。
Yang Luo et al.
cs.CR cs.AI
本文提出了一种针对基于图的agent memory的投毒攻击方法ShadowMerge,通过利用关系通道冲突(relation-channel conflicts)来注入恶意关系,从而影响LLM agent的行为。该方法在多个数据集上取得了高攻击成功率,但主要聚焦于安全攻击领域,与关键词中的code、spectral、Muon、pretrain、attention等概念关联较弱。
Leilei Du et al.
cs.DB cs.CR cs.IR
本文针对无限数据流中用户隐私需求异质性问题,提出了个性化\(w\)-event隐私保护机制PWSM,并在此基础上设计了PBD和PBA两种预算分配方法用于流统计估计,实验表明其误差显著低于现有算法。
Quilee Simeon, Justin M. Wei, Yile Fan
cs.RO cs.AI cs.MA
本文提出Octopus Protocol系统,通过一个五阶段流水线(PROBE, IDENTIFY, INTERFACE, SERVE, DEPLOY)让coding agent仅凭原始OS访问和语言模型API密钥,即可自动发现硬件设备、推断其能力并生成MCP服务器,实现硬件控制。该系统在多种平台上验证了其有效性,但方法本身并非开创性,且与关键词列表中的概念关联较弱。
Vojtěch Votruba et al.
physics.comp-ph cs.LG
本文提出了Nonlinear GENERIC Informed Neural Networks (N-GINNs),一种用于学习具有非二次耗散势的GENERIC动力学系统的深度学习方法。该方法通过重参数化双向量算子和耗散势来严格保证热力学一致性,并在谐振子耦合热浴等例子中验证了其有效性。
Runyao Yu et al.
q-fin.CP cs.LG
本文提出了一种市场规则引导的神经网络框架,用于高效预测不平衡电价。该框架将电价形成规则嵌入神经网络的潜在空间,在保留原始信号信息的同时利用透明先验知识,实验表明其能以更少参数和训练时间达到与通用深度学习基线相当的预测性能。
Rajalaxmi Rajagopalan, Romit Roy Choudhury
cs.CV cs.LG
本文提出了一种依赖感知的离散扩散模型用于场景图生成,通过解耦结构和语义来捕捉条件依赖关系,并在下游图像生成任务中提升了组合对齐性能。
Carsten Maple, Abhishek Kumar, Riya Tapwal
cs.CR cs.AI
本文指出当前jailbreak攻击研究仅报告单一参数配置下的Attack Success Rate (ASR)存在不足,并提出了Variant Sensitivity Measure (VSM)和Union Coverage (UC)两个新指标,以更全面地评估参数化攻击的威胁。
Swarnali Raha, Kshitij Khare, Rohit K Patra
stat.ML cs.LG
本文分析了sub-network Laplace近似方法在深度神经网络不确定性量化中的偏差特性,证明了所有此类方法会系统性地低估full Laplace后验的预测方差,且偏差随保留子矩阵增大而单调递减。基于此,提出了Gradient-Laplace和Greedy-Laplace两种基于理论分析的选择方法,并通过数值实验验证了其性能优势。
Haejoon Lee et al.
cs.MA cs.AI cs.LG
本文研究了拜占庭故障下多智能体LLM系统的鲁棒性问题,提出了Self-Anchored Consensus (SAC)协议,通过迭代过滤和精炼机制使agent在去中心化网络中抵御恶意干扰。实验表明该方法在数学和常识推理基准上优于现有方法。
Aishwarya Fursule, Shruti Kshirsagar, Anderson R. Avila
cs.SD cs.LG
本文提出了一种诊断优先的框架,用于识别和缓解音频深度伪造检测系统中的性别偏差,通过分析声学表示差异和特征中的性别泄漏来定位偏差来源,并测试了多种缓解策略。
Abhishek Kumar et al.
cs.CV cs.AI
本文提出FLiD,一种轻量级场定位伪造检测框架,通过先定位身份文档中的关键区域(如人脸和文本字段),再提取紧凑的场级嵌入进行分类,从而在计算效率上显著优于全文档基线方法和通用伪造检测器。该方法主要针对数字身份文档的局部篡改检测,但未涉及关键词中的code、context、spectral、Muon、pretrain、agent或attention等概念。
Gabriele Lombardo et al.
cs.CV cs.AI
本文研究了Visual Grounding模型在语义不匹配描述下的近似行为,通过引入受控反事实描述生成协议,分析了embedding各向异性与模型失败的相关性,发现两者无显著关联。
Gal Engelberg et al.
cs.CR cs.AI
本文提出了一种AI原生资产智能框架,将异构安全数据转化为结构化智能层,用于资产级推理和优先级评分。该框架结合建模层与评分层,通过分离内在暴露与上下文重要性,实现稳定且主动的安全态势推理。
Li-An Lo, Li-Yi Hsu, Hsien-Yi Hsieh
quant-ph cs.LG
本文通过实验比较了量子模型与经典模型在低数据迁移学习场景下的表现,发现量子模型在数据有限时具有更好的鲁棒性和数据效率,但未涉及关键词中的特定概念。
Jannik Graebner, Ryne Beeson
eess.SY cs.LG math.OC
本文提出了一种结合homotopy和Markov chain Monte Carlo (MCMC)的迁移学习框架,用于高效生成多目标间接低推力轨迹优化中的训练数据,并利用扩散模型学习costate空间的分布。该方法在圆形限制性三体问题中进行了验证,相比现有方法能生成更多可行解和更优的Pareto前沿。
Hershraj Niranjani, Ujwal Kumar, Phan Xuan Tan
cs.MA cs.AI
本文比较了多智能体AI系统中通过内部协商与外部进化两种方式设计行为宪法的效果。实验表明,在集体行动场景下外部进化显著优于内部协商,但在双边交易中两者均无改善,且内部协商从未提出惩罚机制。
Weifan Zhang et al.
cs.RO cs.AI
本文提出了一种分层架构,将高层Stackelberg-style Multi-Agent Reinforcement Learning (MARL)模块与低层连续运动模块结合,用于闭环交通仿真中的agent控制。该方法通过混合协同训练方案缓解分布偏移,在SUMO仿真中相比self-play和被动模仿基线实现了更优的控制平滑性和安全性。
Zhiyang Dou et al.
cs.CV cs.AI cs.GR cs.LG cs.RO
本文提出RigidFormer,一种基于Transformer的模型,用于从无网格表示(如点云)学习多刚体动力学。它通过对象级推理和锚点机制,结合可微的Kabsch对齐来保持刚体约束,在标准基准上取得了有竞争力的性能。
Mitia Duerinckx, Borjan Geshkovski, Stefano Rossi
math.AP cs.LG math.PR
本文通过将因果self-attention动力学解释为非交换的interacting particle system,利用cumulant expansions和Glauber calculus证明了平均场极限和相关性刻画,为Transformer中的lost-in-the-middle现象提供了理论解释。
Sagar Bharadwaj et al.
cs.CV cs.AI cs.LG cs.RO
本文提出Flame3D,一种无需训练的框架,通过将3D场景表示为可编辑的视觉-文本记忆,并利用现成的MLLM和可组合的空间工具实现零样本推理。该方法在ScanQA上展示了与微调方法相当的性能,并强调了推理时合成空间操作的重要性。
Lei Ma et al.
cs.DB cs.AI cs.SE
本文提出Krone-viz,一个基于层次化日志抽象和LLM增强的交互式可视化系统,用于日志异常检测、定位和解释。该系统将扁平日志序列转化为语义单元,并通过模块化检测和LLM推理实现可解释的异常分析。
Ismail Hossain et al.
cs.CR cs.AI cs.LG
本文构建了一个包含114,000个对抗性prompt的大规模jailbreak攻击数据集,并提出了OPTIMUS这一连续评估指标,用于替代传统的二分类攻击成功率(ASR)来评估jailbreak攻击的有效性。该工作主要聚焦于LLM安全领域的jailbreak攻击生成与评估,与您提供的关键词关联度较低。
John Cartmell, Alexander Williams
cs.CR cs.LG
本文为IoT环境下的分布式学习提出了一种统一的威胁模型和评估框架,用于比较差分隐私、同态加密等隐私保护方法在隐私鲁棒性和系统效率间的权衡。该工作主要侧重于综述性分析,并未在方法或理论上展现出显著的开创性。
Zilai Zeng et al.
cs.CV cs.AI
本文研究了复杂图像编辑中的序列分解方法,通过统一上下文编辑框架分析不同范式的编辑行为,并开发了合成数据管道来构建不同复杂度的编辑任务。实验表明,适当设计的序列分解能提升编辑鲁棒性,且合成任务中学到的分解技能可迁移到真实图像编辑中。
R. James Cotton, Pouyan Firouzabadi, Wendy Murray
cs.CV cs.AI
本文提出了一种结合SAM 3D Body foundation model与inverse kinematics优化的方法,从单目视频中提取受解剖约束的手指关节角度。该方法将模型从PyTorch移植到JAX以集成MuJoCo-MJX实现GPU加速优化,并通过多视角重建验证了约10度的关节角度误差。
Leduo Chen, Junchuan Zhao, Shengchen Li
cs.SD cs.AI
本文提出MixtureTT,一种直接从多音轨混合音频中进行逐音色迁移的扩散模型。它通过联合扩散过程处理所有音轨,避免了传统分离-迁移流程中的误差传播问题,并在SATB合唱数据集上优于单乐器基线方法。
Rui Liu et al.
cs.CV cs.CL
本文提出ROMA框架,通过双前向传播策略和基于正确性的正则化方法,在强化学习微调中增强多模态大模型对视觉退化(如模糊、压缩)的鲁棒性,同时保持干净输入的性能。该方法在Qwen3-VL模型上验证了有效性。
Boxuan Zhang et al.
cs.CV cs.AI cs.LG
本文提出MDMF框架,通过可学习的Patch Forensic Signature将语义patch嵌入映射到紧凑的forensic latent space,并利用Maximum Mean Discrepancy (MMD)量化生成图像与真实图像之间的局部分布差异,从而检测AI生成图像中的微观缺陷。实验表明该方法在多个基准上优于基线检测器。
Ningxiao Tao, Baoquan Chen, Mengyu Chu
cs.GR cs.LG
本文提出了一种名为LagrangianSplats的流体重建框架,通过将速度场参数化为连续的Divergence-Free Kernel表示,并驱动Lagrangian 3D Gaussian Splatting表示的对流,从结构上保证了流体的不可压缩性和长程传输一致性。该方法引入Sliding Window方案以高效优化该约束系统,在合成和真实数据集上优于现有基线。
Wenqian Xu, Feng Ji
stat.ME cs.HC cs.LG stat.CO stat.ML
本文提出Reinforcement Learning Measurement Model (RLMM),通过共享参数化的action-value函数将person-level choice sensitivity与task-level value representation解耦,结合Boltzmann choice rule和soft Bellman consistency penalty进行估计。实验表明RLMM在计算效率和估计精度上优于传统MDP-based方法,但该方法与关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念关联较弱。
Jeongho Bang, Marcin Pawłowski
quant-ph cs.AI
本文通过将信息因果性嵌入表示学习,提出了神经信息因果性框架,形式化了查询分离计算中的信息约束,并分析了经典与量子瓶颈下的信息容量界限。
Minh Quoc Duong, Chun Tong Lei, Chun Pong Lau
cs.CV cs.LG
本文提出了一种名为PGID的即插即用、无需训练的噪声提取框架,用于防御针对语义水印的移除和伪造攻击。该方法通过渐进式逆去噪循环将扰动后的latent投影回其原始区域,从而恢复水印检测的可靠性。
Elnara Kadyrgali et al.
cs.CV cs.AI
本文基于COLIBRI模糊颜色模型,通过分析人类颜色分类数据,引入Wideness和Boundary Width两个量化指标,揭示了色调类别(如黄色和绿色)在感知空间中的非对称性,表明颜色类别在几何组织上高度不均匀。
Shuai Pan et al.
cs.MA cs.CL
本文提出SkillMAS框架,通过Utility Learning和证据门控机制实现LLM多智能体系统的技能演化与结构重组,在具身操作、命令行执行和零售工作流等任务中验证了有效性。
Aneesh Calyam et al.
cs.MA cs.LG
本文提出了一种名为CEDA的CTDE Deep Q-Network算法,用于灾后医疗物资配送中的多无人机协调。该方法通过优先级保持公平调度策略,在动态不确定环境下联合优化分诊优先级感知路由、多agent协调和能效导航。
Shoju Enami, Kenji Kashima
math.OC cs.LG eess.SY
本文研究了离散时间线性系统的互信息最优密度控制问题,通过交替优化算法求解,并揭示了其与广义Schrödinger桥问题的等价性。
Junyu Lu et al.
cs.DC cs.LG
本文提出了一种在联网微控制器上实现CNN模型细粒度拆分推理的系统,通过子层粒度(kernel-wise和neuron-wise)的划分来降低单个MCU的峰值RAM占用,使得原本无法在单MCU上运行的模型得以在多个设备上协同执行。
Daemyung Kang et al.
cs.DC cs.AI
本文对63节点NVIDIA B200生产集群(504 GPUs)进行了实证分析,基于55天Prometheus时序数据和73天操作日志,研究了大规模LLM预训练中的故障检测与恢复问题。通过跨组织协作,发现了60节点规模下特有的存储I/O瓶颈,并分析了GPU故障检测(10/10检出率)、checkpoint带宽悖论(NFS RPC层饱和)以及多节点故障恢复链(自动重试成功率33.3%)等关键现象。
Xinyi Wu et al.
cs.CV cs.AI cs.CL
本文提出了EduStory框架,用于生成STEM领域多镜头教学视频,通过集成pedagogical state modeling和script-guided structured control来维持知识一致性和叙事连贯性,并引入了EduVideoBench基准进行评测。
Runze Ma et al.
cs.CV cs.AI q-bio.QM
本文提出LiteMedCoT-VL,通过LoRA微调将大模型(235B)的chain-of-thought推理能力蒸馏到小模型(2B),用于医学视觉问答(VQA)。实验表明该方法在PMC-VQA基准上显著提升准确率,但方法本身在蒸馏框架上缺乏开创性,且与关键词列表中的概念无直接关联。
Dong Yang et al.
eess.AS cs.AI cs.LG
本文针对Metric-Induced Discrete Flow Matching (MI-DFM)中的启发式scheduler和有限步路径跟踪误差问题,提出了kinetic-optimal scheduler和moment correction方法,并将其应用于codec-based零样本TTS任务(GibbsTTS)。实验表明该方法在客观自然度和主观评价上优于掩码离散生成基线,并在说话人相似度上达到SOTA水平。
Dier Tang, Guangyue Han
cs.IT cs.LG math.ST stat.ML
本文放宽了现有universal feature selection框架中的严格对称性条件,引入弱球对称性概念,并基于含噪数据的canonical dependence matrix的奇异值分解,证明了所选特征在渐近意义下能达到最优误差指数,从而展示了该框架对噪声和对称性偏差的鲁棒性。
Weijia Liufu et al.
cs.RO cs.AI
本文提出RePO-VLA框架,通过区分成功、恢复和失败轨迹来提升Vision-Language-Action模型在长程操作任务中的鲁棒性。该方法利用Recovery-Aware Initialization和Progress-Aware Semantic Value Function等组件,将对抗性任务成功率从20%提升至75%。
Yulin Xu et al.
cs.CV cs.AI cs.MM
本文从Relational Retrieval视角解决Generalized Category Discovery问题,提出Relational Pattern Consistency方法,通过One-vs-All分类器实现已知与未知类别的双向知识迁移,在多个benchmark上取得state-of-the-art性能。
Shogo Noguchi
cs.CV cs.AI
本文提出AtteConDA方法,通过基于attention的冲突抑制机制处理多条件扩散模型中的条件冲突,用于自动驾驶场景的图像生成与数据增强。该方法利用语义分割、深度和边缘等多条件输入生成保留原始场景结构的图像,但整体创新性有限,且与关键词列表中的概念关联较弱。
Jie Ma et al.
cs.CV cs.AI
本文提出了一种名为COAST的无训练视觉token剪枝框架,通过对比自适应语义路由来替代传统的标量注意力剪枝,在减少77.8%视觉token的同时保持98.64%的平均性能。该方法利用跨模态attention和attention entropy进行语义保留,主要关注视觉语言模型推理加速,与关键词中的attention概念有一定关联。
Prasenjit Karmakar, Karthik Reddy, Sandip Chakraborty
cs.DC cs.HC cs.LG
本文提出PoHAR框架,利用低成本空气质量传感器网络通过无冲突复制数据结构和层次聚类等方法,在ESP32设备上实现超本地室内人类活动检测,达到高精度和低延迟。该工作主要关注分布式传感器网络的协同推理,与关键词中的code、context、spectral、Muon、pretrain、agent、attention等概念关联较弱。
Shanwen Tan et al.
cs.CV cs.AI
本文提出SWIFT框架,用于多提示词长视频生成中的高效语义切换。它通过语义注入缓存和自适应动态窗口机制,在保持时间连贯性的同时减少计算冗余,在单个H100 GPU上达到22.6 FPS。
Yihong Tang et al.
cs.CV cs.CL
本文提出了一种名为CAVI的训练无关框架,用于解决多模态角色扮演代理中的模态-角色干扰问题。该方法通过字符引导的token剪枝、正交特征调制和模态自适应角色引导等技术,提升了代理在视觉环境中保持角色一致性的能力。
Devdan Dey, Sujoy Bhore, Avishek Ghosh
stat.ML cs.LG
本文研究了single-index bandit问题,提出了一种两阶段算法ZoomSIB-UCB,通过归一化Stein估计器估计投影方向并降维为一维bandit,实现了\(\tilde{\mathcal{O}}(T^{2/3})\)的regret上界,并证明了匹配的minimax下界。该工作填补了非单调reward函数情形下的理论空白,但与我提供的关键词列表关联度较低。
Lénaïc Chizat et al.
stat.ML cs.LG math.AP math.OC
本文研究了平均场Stein变分梯度流的定量局部收敛性,在Riesz型相互作用核下证明了初始密度与目标在\(L^2\)-范数中接近时的多项式收敛速率,并指出该速率在特定条件下是尖锐的。该工作为SVGD方法的收敛性提供了理论补充,但与关键词列表中的概念关联较弱。
Dongqi Zheng
cs.CV cs.AI
本文提出一种无需训练的方法,通过将预训练的InfuseNet identity adapter直接迁移到蒸馏后的schnell backbone上,显著加速身份保持的图像生成。实验表明,该方法在减少5.9倍延迟的同时,提升了身份相似度指标,并发现身份保真度在早期去噪步骤(4-8步)即可达到有效区域。
Yang Zheng et al.
cs.CV cs.AI
本文提出了一种基于diffusion model的鲁棒方法来解决逆问题中的异常值问题,通过显式噪声估计和Huber损失迭代重加权最小二乘目标来缓解异常值影响,并在多个图像数据集上验证了其有效性。
Hong Chen et al.
cs.RO cs.AI
本文提出了一种基于LASSA架构的UUV自主容错控制方法,利用LLM进行未知故障识别与任务重规划,并通过solver验证物理可行性约束来抑制LLM的幻觉。该方法在湖试中验证了轨迹跟踪异常检测与路径重规划能力。
S. A. Shteingolts, Salman N. Salman, Dan Mendels
physics.chem-ph cs.LG physics.comp-ph
本文提出两种互补策略,使基于GNN的分子动力学模拟器能够仅从结构初始化并实现分布外泛化,包括推理时的物理优化框架和可微的GNN-based barostat。实验表明这些方法提升了模拟稳定性,但未涉及code、context、spectral、Muon、pretrain、agent或attention等关键词。
Michael A. Riegler, Inga Strümke
cs.CR cs.AI cs.LG
本文提出了一个名为swarm-attack的开源对抗性测试框架,通过多个轻量级LLM agent的协调合作,以极低成本实现了对前沿模型的安全绕过和软件漏洞发现。实验表明,使用消费级硬件和开源模型即可复现此前被认为需要受限发布的能力。
Takeru Matsuda
stat.ML cs.LG stat.ME
本文提出了一种基于经验贝叶斯的1-bit matrix completion方法,受Efron-Morris estimator启发,通过向零收缩奇异值来利用低秩结构。实验表明该方法在预测精度、校准可靠性和计算效率上优于现有方法。
Yining Chen et al.
cs.CR cs.CL
本文提出MemPrivacy,一种面向边缘-云agent的隐私保护个性化记忆管理方法,通过在边缘设备识别隐私敏感span并替换为类型占位符,在云端处理记忆后再本地恢复,以平衡隐私保护与记忆效用。实验表明该方法在隐私提取上超越GPT-5.2等模型,且效用损失控制在1.6%以内。
Elyson A. De La Cruz, Rishikesh Sahay, Md Rasel Al Mamun
cs.CR cs.AI
本文针对AI辅助安全运营中的工程管理问题,提出了一个基于设计科学研究的治理框架,通过Kusto Query Language (KQL)和Microsoft Azure安全能力作为实例,设计了分离AI规划与执行操作的查询代理构件,以管理隐私、成本、性能等风险。该研究主要贡献在于管理框架而非具体技术,与关键词中的agent概念有一定关联但契合度不高。
Jihyun Lee et al.
cs.CV cs.AI cs.RO
本文提出PhysHanDI框架,通过物理模拟手部运动驱动的非刚性物体变形,实现手与可变形物体交互的3D重建。该方法利用逆物理优化手部重建,在重建和未来预测任务上优于现有基线。
Guanyi Du et al.
cs.CV cs.AI cs.MM
本文提出KANMultiSign,一个将HamNoSys符号表示转换为二维人体姿态序列的多尺度生成器。该方法采用粗到细的生成策略,并探索将Kolmogorov-Arnold Network模块集成到Transformer骨干中,以紧凑的参数化建模离散符号到连续运动学的非线性映射。实验表明,多尺度监督是提升性能的关键,而KAN模块主要提供了参数效率上的优势。
Tzeh Yuan Neoh et al.
cs.GT cs.AI cs.LG
本文研究了从二元和成对反馈中高效选择专家委员会的问题,将其建模为多赢家投票的分布变体,并分析了覆盖率和\(\theta\)-获胜委员会等目标。作者设计了失败条件贪心算法和加权序数覆盖松弛方法,在理论上给出了查询复杂度下界和近似保证,并通过小规模LLM实验验证了查询节省效果。
Abhinav Goel et al.
cs.MA cs.AI cs.CE cs.LG cs.PL +1
本文提出了SmartEval基准,用于评估大语言模型从自然语言规范生成Solidity智能合约的质量,包含9000个合约和五维评估标准。实验表明生成的合约在遵循规范方面优于人工实现,但存在逻辑遗漏和状态转换错误等典型缺陷。
Yuhan Wang et al.
cs.CV cs.AI
本文提出DiffKT3D,一个Any2Any 3D diffusion框架,通过迁移预训练video diffusion model的知识,实现放疗计划中的体素级剂量预测。该方法引入Any2Any条件范式(使用模态特定embedding)和基于reinforcement learning的后训练机制,在剂量预测任务上取得了新的最优结果。
Akuen Akoi Deng et al.
cs.DC cs.AI cs.LG cs.NI cs.PF
本文提出了一种在异构边缘-云连续体中自适应划分和卸载DNN层的框架,通过启动时模型分析和周期性网络条件评估实现动态调整。在包含Raspberry Pi、笔记本和PC的物理测试平台上,该框架相比静态划分方法降低了能耗和端到端延迟。
Meng Lou et al.
cs.CV cs.LG
本文探讨了Reinforcement Fine-Tuning (RFT)在视觉持续学习中的灾难性遗忘问题,发现RFT虽优于Supervised Fine-Tuning但仍存在遗忘,并归因于轨迹级漂移不可知性。作者提出Retention-aware Policy Optimization (RaPO)方法,通过保留奖励和跨任务优势归一化来缓解遗忘,实验表明其在多个视觉持续学习设置中表现领先。
Dikshant et al.
cs.NE cs.AI
本文在RDEx-CSOP算法基础上引入三项改进:使用截断Cauchy分布独立采样第二缩放因子、添加JADE风格的小型存档、以及基于个体停滞计数器的局部触发机制。实验表明该方法在CEC CSOP测试集上具有竞争力。
Kevin H. Lam et al.
stat.ML cs.LG stat.CO
本文提出了一种基于Metropolis-Hastings调整的Langevin校正器,用于减少score-based diffusion models中的采样偏差。通过使用Bernoulli factory算法或Simpson规则近似,该方法在合成和图像数据集上提升了样本质量。
Zahra Asadi et al.
cs.CR cs.LG
本文提出FreeMOCA,一种用于恶意代码分析的无记忆持续学习框架,通过自适应层间插值连接连续任务更新,以缓解灾难性遗忘。实验在Windows和Android恶意软件基准上验证了其有效性,但方法本身并非开创性,且与关键词列表关联较弱。
Abdul Basit et al.
cs.CV cs.AI
本文讨论了多发性硬化症(MS)病灶分割模型的评估问题,指出当前仅依赖Dice score的不足,并提出了更全面的评估指标。文章通过分析现有模型在两个公开数据集上的表现,强调了这些新指标对于实际临床应用的重要性。
Albert Heruth
cs.CV cs.AI
本文提出了S2P-Net (Spectral-Spatial Polar Network),一种紧凑的深度学习架构,通过数学设计实现了旋转不变性,无需数据增强。文章与CNN等架构进行了比较,但方法本身缺乏显著的开创性,且与关键词列表中的概念关联较弱。
Yixiong Chen et al.
cs.CV cs.AI
本文提出了DeepTumorVQA,一个用于3D CT肿瘤诊断的分层VQA基准,将推理过程分解为识别、测量、视觉推理和医学推理四个阶段,并提供了工具交互环境用于agent评估。实验发现定量测量是VLM的主要瓶颈,而工具增强可显著缓解该问题。
Monika Jotautaitė et al.
cs.CR cs.AI
本文提出了一种半自动化的红队测试方法,用于评估编码agent监控器的性能,并构建了包含2644条攻击轨迹的MonitoringBench基准。该方法通过分解攻击构建过程来生成更多样化和更强的攻击,揭示了当前监控器在检测说服性攻击和校准可疑度分数方面的不足。
Santhosh Kumar Ramakrishnan et al.
cs.CV cs.AI cs.LG
本文研究了多模态大模型在解决空间谜题时是否会产生“心理意象”,发现模型在无显式视觉监督的情况下,其激活状态编码了中间状态的视觉信息。通过在思维链中每步仅集成少量视觉token,可提升推理任务的解决率。
Radhika Amar Desai, Modigari Narendra
cs.CV cs.LG
本文提出了一种基于几何的度量方法,通过预训练foundation model的embedding space中的difference vectors来预测合成数据对下游模型性能的效用,无需模型训练。该度量通过测量线性classifier的weight vector在合成数据变化所张成的subspace上的投影误差来评估数据质量。
Yukang Shen
eess.IV cs.CV cs.GR cs.LG
本文提出了一种Real-Calibrated Synthetic-First Data Engine框架,通过可控扩散生成和多阶段筛选构建合成数据集,用于低数据场景下的数据增强。实验表明,合成数据作为真实数据的补充能提升性能,但纯合成训练效果仍远低于真实数据。
Yanran Li
stat.ME cs.CL
本文研究了多裁判评估中基于准确率筛选裁判的启发式方法,发现当目标是校准概率评估时,保留所有裁判(包括弱裁判)反而优于仅保留高准确率裁判。通过理论分析和实验验证,作者提出在拥有标注校准数据时,不应仅凭准确率丢弃裁判,而应保留可解析、非冗余且可校准的裁判信号。
Anan Saha, Arnab Ganguly
stat.ML cs.LG math.PR math.ST
本文提出了一种基于normalizing flows的框架,用于从单条慢变量轨迹中学习多尺度随机微分方程的有效动力学,通过随机平均进行模型降阶,并利用normalizing flows参数化快过程的平稳分布。该方法采用轨迹视角,避免了基于PDE的方法对密集时空数据的需求。
Alaa Asfour et al.
cs.CV cs.AI
本文提出了一种知识蒸馏框架,将3D视觉语言模型(VLM)的空间推理能力从7B教师模型迁移至2.29B学生模型,通过VGGT视觉编码器和多任务蒸馏管道实现。学生模型引入“Hidden CoT”(可学习的潜在token作为内部草稿板)以提升推理能力,在ScanNet和3D-FRONT数据集上达到68-72%的准确率,但方法主要关注工程优化而非理论创新。
Hardik Goel
cs.CR cs.AI
本文系统分析了云托管AI agent在特权执行环境中的安全风险,提出了风险分类法并讨论了缓解策略。该工作主要关注安全实践而非数学理论创新,与关键词中的agent概念相关但缺乏开创性数学方法。
Vishnu Vardhan Reddy, Sagnik Chatterjee, Soumik Bhatta
cs.SE cs.AI cs.MA
本文研究了在LLM持续学习工具使用时,保留工具使用轨迹(trajectory)与去除中间API调用记录对模型性能的影响,实验表明保留轨迹能提升API调用准确率,但代价是增加了训练token数量。
Zhiqing Zhong et al.
cs.AR cs.AI cs.DC cs.OS
本文研究了静态图LLM解码器中的KV-cache管理问题,提出了KV-RM运行时设计,通过解耦逻辑KV历史与物理存储、使用块分页器跟踪活跃KV状态,并采用合并分阶段的传输路径来规整KV-cache移动,从而在固定解码接口下吸收运行时可变性。实验表明该方法能提升混合长度解码吞吐量并降低尾延迟。
Hanzaleh Akbari Nodehi, Parsa Moradi, Mohammad Ali Maddah-Ali
cs.IT cs.DC cs.LG
本文研究了不完全信息下的coding game,其中data collector (DC) 不知道adversary的效用权衡,需要通过重复交互来学习。作者提出了一种算法,该算法围绕有希望的acceptance rule细化搜索,并证明了其实现了sublinear cumulative regret。
Temoor Tanveer
cs.NE cs.AI
本文提出LEVI框架,通过改进搜索架构(如多样性数据库、智能变异路由和代理基准)来替代对大型LLM的依赖,在系统研究和提示优化任务中以更低成本达到或超越现有方法。
Dongxin Guo, Jikun Wu, Siu Ming Yiu
cs.NE cs.AI cs.CL cs.LG
本文提出QD-LLM框架,通过进化prompt embeddings(一种紧凑的神经接口)在冻结的LLM中实现参数高效的神经进化,以解决LLM的模式坍塌问题。该方法在HumanEval等基准上提升了覆盖率和QD-Score,但整体创新性有限,与关键词契合度不高。
Yong Fu
cs.DC cs.AI cs.LG
本文提出了一种多层级标签级联方法,结合物理规则、IMM-UKF滤波器和补充校准步骤,为大规模低轨卫星轨道异常检测生成训练标签,并训练了一个6.5M参数的Transformer模型作为高召回率分类器。该方法主要解决了标签稀缺问题,但并未直接涉及code、context、spectral、Muon、pretrain、agent或attention等关键词中的核心概念。
Zhipeng Liu, Chunbo Luo
cs.CV cs.AI cs.LG
本文提出CrossVL框架,通过Complexity-Aware Pathway Aggregation (CPA)和Paired Curriculum Learning (PCL)解决跨视角视觉语言检测中地面与航拍视角的几何差异问题,在MAVREC数据集上提升了Florence-2的性能。该方法主要针对特定应用场景,与关键词中的概念关联较弱。
Joshua Owusu Ansah et al.
cs.HC cs.AI
本文介绍了Insight,一个基于LLM的Android无障碍服务,通过自然语言交互和实时屏幕摘要来改善盲人和视障用户的移动设备使用体验。用户研究显示,与TalkBack相比,Insight减少了脑力负担和任务时间,但用户也提出了中断管理的需求。
Hanqun Cao et al.
q-bio.BM cs.LG
本文提出了TD3B,一个基于序列的生成框架,用于设计具有指定激动剂或拮抗剂行为的变构配体。该方法结合了方向Oracle、软结合亲和力门控和预训练离散扩散模型的微调,以解决传统结构设计方法无法区分功能方向性的问题。
Su Wang, Mung Chiang, H. Vincent Poor
cs.NI cs.DC cs.LG eess.SY
本文研究了动态边缘/雾网络中垂直联邦学习(VFL)的服务器放置优化问题,提出了一种名为SC-DN的方法。该方法通过联合优化服务器放置、发射功率、处理器频率和本地训练轮次四个控制变量,将问题建模为混合整数符号规划(mixed-integer signomial program)并开发了求解器,实验表明其在分类/回归性能和资源消耗上优于贪心方法。
Chelsea Zou et al.
cs.MA cs.AI
本文提出了CalBench,一个用于评估多智能体LLM在日历调度任务中协调与隐私权衡的受控环境。该环境要求多个智能体在仅知自身私有日程的情况下,通过通信协调安排会议,并衡量协调质量、通信效率及隐私泄露。
Anushree Berlia
cs.CV cs.AI
本文使用LoRA微调Florence-2视觉语言模型,从服装图像中提取结构化的时尚属性(如类别、颜色、材质等),输出JSON格式。在iMaterialist数据集上训练后,模型在类别准确率等指标上优于GPT-4o-mini和Gemini 2.5 Flash,并部署为Hugging Face Space。
Nam Nguyen et al.
cs.IT cs.LG
本文研究了跨域有损压缩问题,通过最小熵耦合(MEC)框架引入率约束和分类约束,证明了中间表示可被移除而不损失最优性,并针对Bernoulli源给出了闭式解。实验在MNIST超分辨率和SVHN去噪任务上验证了率增加可提升分类精度。
Jongwoo Choi, Sean O'Hagan
stat.ML cs.LG
本文提出了一种通过修正AI生成合成数据的分布来构建可靠先验信息的框架,并将其嵌入Dirichlet process先验中。该方法在有限数据场景下能减少后验偏差并提高可信区间覆盖率,但未涉及code, context, spectral, Muon, pretrain, agent, attention等关键词。
Yakun Liu et al.
cs.SD cs.AI
本文提出ChladniSonify方法,基于Kirchhoff-Love plate theory构建数据集并用CNN实现Chladni patterns的实时分类与声学映射,系统延迟低于50 ms。该方法主要面向新媒体艺术创作中的视听映射应用。
Wenhao Liang et al.
cs.CV cs.AI
本文研究了Attention-Residual Transformer中路由条件校准的问题,通过匹配置信度的诊断套件和多种控制实验,发现标量路由摘要并未提供稳定的路由条件校准证据,且路由感知的校准增益在控制常见混淆因素后消失。
Tao Tang et al.
cs.CV cs.AI
本文提出MoPO方法,通过引入运动先验(motion prior)来处理遮挡下的人体网格恢复问题,利用运动去遮挡模块和运动感知融合模块提升遮挡部位的估计精度与时间一致性。实验表明该方法在遮挡和标准基准上均达到最优性能。
Futoshi Futami, Takashi Ishida
stat.ML cs.LG
本文提出了一种统一的弱监督多校准框架,通过结合污染矩阵风险重写与基于见证的校准约束,在缺乏干净标签对的弱监督学习场景中估计和修正多校准误差,并设计了后处理重校准算法WLMC。实验验证了该方法在多种弱监督设置下的有效性。
Chunxiao Wang
cs.CR cs.AI cs.CL cs.IR cs.LG
本文提出Nautilus Compass,一种用于生产环境LLM coding agents的黑盒persona drift检测器,通过计算用户prompt与行为anchor text之间的cosine similarity来检测agent在长对话中的行为漂移。该方法完全在prompt-text层操作,无需访问模型权重,但性能低于白盒方法。
Kevin Zhu et al.
cs.CV cs.LG
本文提出DA-SegFormer,一种基于SegFormer的灾害感知语义分割方法,通过Class-Aware Sampling和OHEM与Dice Loss的结合,在RescueNet数据集上提升了细粒度灾害评估的mIoU。该方法主要针对UAV图像中的纹理退化与类别不平衡问题,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联较弱。
Ziyang Wang et al.
cs.CV cs.AI cs.CL
本文提出了一个名为EgoMemReason的基准测试,用于评估超长视频(如一周)中的记忆驱动推理能力,包括实体记忆、事件记忆和行为记忆三种类型。实验表明,现有模型在该基准上的表现较差,揭示了长时记忆推理仍是未解决的问题。
Saurabh Rai, Sanmay Ganguly
hep-ph cs.LG hep-ex
本文通过mechanistic interpretability方法分析了Particle Transformer架构在Top Quark Tagging任务中的内部计算机制,识别出一个稀疏的六头circuit,并发现residual stream更倾向于编码energy correlator basis而非\(N\)-subjettiness basis。该工作展示了自然语言领域的可解释性方法可迁移至jet physics分类器。
Xia Hu et al.
cs.CV cs.AI
本文发现多模态大模型在视觉推理中依赖“笛卡尔捷径”,即利用正交网格布局的离散坐标进行文本推理。为此,作者提出Polaris-Bench,将任务转换到极坐标空间以打破这种依赖,实验表明模型性能显著下降,揭示了其缺乏拓扑不变视觉推理能力。
Mohammad Partohaghighi, Roummel Marcia
cs.CR cs.LG
本文提出了一种基于分数阶微分隐私的随机梯度下降方法FO-DP-SGD,通过在梯度释放中引入分数阶递归查询来增强隐私保护。该方法在标准DP-SGD框架下保持了sum-then-noise-then-divide结构,并利用有限窗口的幂律加权聚合历史输出,实验表明其在SVHN等数据集上提升了测试精度与隐私-效用权衡。
Kanglin Ning et al.
cs.CV cs.AI
本文提出了一种基于双曲几何约束的跨模态知识蒸馏方法HGC-Det,用于多模态3D目标检测。该方法通过SGVO、HFT和FAGO三个组件分别处理空间对齐、语义损失和特征退化问题,在多个室内外数据集上实现了检测精度与计算成本的平衡。
Edivaldo Lopes dos Santos et al.
math.MG cs.LG
本文提出了可观测Wasserstein距离,通过将概率测度投影到实线上并计算投影分布的Wasserstein距离,为Polish度量空间上的最优传输问题提供了一种可计算的下界估计方法。
Yiwei Ou et al.
cs.CV cs.IR cs.LG
本文提出了Urban-ImageNet,一个基于社交媒体图像的大规模多模态数据集和评估基准,用于城市空间感知。该数据集包含超过200万张图像及文本,并基于HUSIC分类框架定义了10类城市空间分类法,支持场景分类、跨模态检索和实例分割三个任务。
Peng Jia et al.
cs.CV cs.AI
本文提出了一种基于3D Gaussian Splatting的说话头合成框架SDTalk,通过结构化面部先验和双分支运动场实现单张图片的跨身份泛化,无需个性化训练。该方法在视觉质量和推理效率上优于现有方法,但未涉及关键词中的code、context、spectral、Muon、pretrain、agent或attention等概念。
Isao Kurosawa
physics.geo-ph cs.LG math.NA
本文提出MIMIR框架,用Fourier-feature神经网络表示2D速度场,并采用二阶总广义变分(TGV\(^2\))正则化替代传统TV或\(L^2\)平滑,通过联合优化辅助向量场消除内循环计算。在合成地震走时层析成像基准上,该方法与经典基线性能相当或更优,验证了分段仿射先验比分段常数TV先验更适合地下速度恢复。
Jiahao Xiong et al.
cs.HC cs.AI
本文提出HapticLDM,首个基于Latent Diffusion Models的文本到振动生成模型,通过全局去噪机制和动态特征文本处理策略,生成更真实、语义对齐的振动信号。实验表明其优于自回归基线方法,但未涉及code、spectral或Muon等关键词。
Nabin Giri, Steven Farrell, Kristofer E. Bouchard
q-bio.BM cs.AI
本文介绍了Yeti,一种基于lookup free quantization的紧凑型蛋白质结构tokenizer,通过flow matching目标进行端到端训练。与现有模型相比,Yeti在更少的参数下实现了良好的codebook利用率和token多样性,并展示了在多模态生成中的有效性。
Sunwoo Park, Taesung Kwon, Jong Chul Ye
cs.CV cs.AI cs.LG
本文提出了一种名为Geometric 4D Stitching的框架,用于高效生成具有几何一致性的4D场景表示。该方法通过显式识别并补充缺失的几何区域,避免了传统基于辐射场表示所需的昂贵优化,并在单步场景扩展中提升了几何一致性。
Prasanjit Dubey, Xiaoming Huo
stat.ML cs.CL cs.LG
本文研究了在带宽受限的分布式节点上训练语言模型的统计保证,提出了Federated Probe-Logit Distillation (FPLD)和Federated Conformal RAG (FC-RAG)两种协议,并给出了相应的KL-consistency rate和marginal-coverage bound。这些结果主要关注分布式训练和推理的理论可行性,与关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念关联较弱。
Ting Sun et al.
cs.DC cs.LG
本文提出了Lakestream,一个无代理、基于对象存储的训练数据平面,通过引入Transactional Global Batch (TGB)和Decentralized Adaptive Commit (DAC)算法,实现了原子性批次可见性和稳定的数据摄取吞吐量,在64 GPU的大规模多模态预训练和SFT任务中优于Apache Kafka和本地数据加载器。
Shokichi Takakura, Seng Pei Liew, Satoshi Hasegawa
stat.ML cs.CR cs.LG
本文研究了差分隐私约束下的分布采样问题,提出了以Wasserstein距离为效用度量的新框架,并设计了基于Wasserstein投影的WPM机制。该机制在理论上达到了minimax最优,并提供了近似计算算法与收敛性保证。
Xijun Wang et al.
cs.NI cs.AI
本文提出了一种面向6G Agentic AI-RAN的统一记忆范式,通过将生物记忆层次映射到异构计算架构,旨在解决传统接口导致的语义瓶颈问题。该方法利用相干互连实现微秒级反射与长期演化的状态共享,为自主6G网络提供了认知连续性。
Damon McMillan
cs.SE cs.CL
本文通过因子实验研究了代码agent配置文件中四个结构变量(文件大小、指令位置、文件架构、相邻文件矛盾)对指令遵循程度的影响,在1650次Claude Code CLI会话中未发现任何结构变量或交互效应有可检测的对比。主要发现是会话内效应:agent每多生成一个函数,遵循指令的几率约降低5.6%,但该关系是非单调的。
Yufeng Zhu et al.
cs.CV cs.LG cs.MA
本文提出PixelFlowCast,一种两阶段概率预测框架,用于无latent压缩的高效高保真降水临近预报。该方法通过确定性模型捕捉全局演变趋势,并利用KANCondNet提取时空特征,结合Pixel Mean Flows实现快速推理,在SEVIR数据集上优于现有方法。
Puming Jiang et al.
cs.RO cs.AI
本文提出了一种用于机器人策略的引导式流式随机插值策略(SSIP),通过分析Backward Kolmogorov Equation推导出最优引导项,并设计了两种引导机制(STEG和CCG)以实现实时控制。实验表明该方法在动态非结构化环境中优于传统基于chunk的策略。
Alexander Denker, Johannes Hertrich, Sebastian Neumayer
eess.IV cs.LG
本文通过数值实验评估了生成式先验(如扩散模型)在逆问题中的稳定性,包括收敛正则化、对分布外数据和前向算子误差的鲁棒性,并与基于优化的变分方法进行了对比。
Alejandro Luebs et al.
eess.AS cs.AI cs.LG cs.SD
本文提出PoDAR框架,通过随机功率增强和潜在一致性目标将信号功率与不变语义内容解耦,以改善音频潜在扩散模型的可建模性。实验表明该方法能加速下游生成模型收敛并提升性能,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Jianchao Zhao et al.
cs.RO cs.AI
本文提出了一种名为Retrieve-then-Steer的在线成功记忆引导测试时适应框架,用于生成式Vision-Language-Action (VLA)模型。该方法通过存储和检索成功的观察-动作片段,并利用confidence-adaptive prior guidance注入到flow-matching action sampler中,以提升机器人在持续部署环境下的闭环可靠性。
Tingshu Mou et al.
cs.CV cs.AI
ViSRA提出了一种无需训练的视频空间推理框架,通过集成专家模型的空间信息来增强多模态大语言模型的空间推理能力。该方法在多个基准测试上取得了显著提升,但未涉及code、spectral、Muon等关键词相关技术。
Donghyun Kim, Jaehyoung Park
cs.CV cs.AI
本文提出Enhanced HOPE,一种用于自动驾驶的自适应感知架构,通过无监督统计估计器测量LiDAR帧的几何复杂度并动态选择处理路径,同时用线性时间子空间网络替代二次attention机制,并引入持久时间记忆模块以处理遮挡。该方法在nuScenes和CARLA基准上降低了简单场景的延迟,并在长尾场景中提升了精度。
Manyu Li et al.
cs.CV cs.AI
本文提出MicroWorld框架,通过构建多模态属性图(MAPG)来增强多模态大语言模型(MLLM)在显微镜领域的推理能力,无需领域微调即可提升性能。该方法在MicroVQA基准上取得了显著提升,但与我提供的关键词列表关联度较低。
Zengzipeng Tang et al.
cs.NI cs.DC cs.IT cs.LG
本文提出了一种名为GELATO的框架,用于设备-边缘协同的Speculative Decoding (SD)场景,通过结合Lyapunov优化和生成熵来动态调整token卸载策略,以在能量约束下最大化解码吞吐量。该方法主要关注系统层面的资源调度优化,与您提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Yan Shuo Tan et al.
stat.ML cs.LG
本文提出PFN-TS算法,利用Prior-Data Fitted Networks (PFNs) 的Bayesian后验预测分布,通过子采样预测中心极限定理将其转换为均值奖励样本,用于contextual bandits中的Thompson采样。该方法通过几何网格的\(O(\log n)\)个数据集前缀估计后验方差,并证明了子采样方差估计量的一致性及Bayesian regret界。
Mateusz Cedro, Marcin Chlebus
cs.CV cs.AI
本文通过实验评估了11种不同规模和复杂度的视觉模型,发现增加模型深度和参数数量并不能持续提升基于定位的解释质量,且较小的模型有时表现更优。研究还指出,预训练虽能提升预测性能,但不会一致提高解释的定位分数。
Piotr Kawa et al.
cs.SD cs.LG
APEX提出了一种用于音频分类的后验解释框架,通过将解释分解为基于Square、Time、Frequency和Time-Frequency的四种prototype视角,来捕捉音频信号的多维声学特性。该方法无需微调原始backbone,并保持了输出不变性。
Aaditya Baranwal et al.
cs.CV cs.CL
本文提出MolSight,系统研究了基于分子图像(2D骨架图)的分子性质预测,使用多种视觉架构和预训练策略,并引入基于结构复杂度的课程学习,在多个基准上取得有竞争力的结果。
Francisco Madaleno, Francisco C Pereira, Alex Markham
stat.ML cs.AI cs.LG
本文提出了一种在linear non-Gaussian (LiNG) setting下,将包含cycles的高维causal model粗化为低维causal directed acyclic graph (DAG)的方法。该方法放宽了高维无环假设,并证明了该低维DAG在观测等价类中具有不变性,且学习复杂度为立方时间。
Inhyuk Park, Doohyun Park
cs.CV cs.AI
本文提出了一种名为Standardized Loss Aggregation (SLA)的统计框架,用于在样本级别检测噪声标签。该方法通过聚合交叉验证中的标准化损失来量化标签可靠性,并在眼底数据集上验证了其有效性。
Zhiwei Ning et al.
cs.CV cs.CL
本文提出V-ABS框架,通过引入行动-观察者驱动的beam search机制,解决多模态大模型在复杂视觉推理中的想象-行动-观察偏差问题。该方法在多个基准测试上取得性能提升,但未涉及code、spectral、Muon等关键词相关技术。
Farzad Nourmohammadzadeh Motlagh et al.
cs.CR cs.AI
本文提出了一种多层安全框架,用于检测和缓解由大型语言模型驱动的自然语言到SQL查询转换过程中的SQL注入攻击。该框架集成了提示清理、行为异常检测和已知攻击模式签名匹配等模块,并在多种攻击场景下验证了其高检测率与低误报率。
Guangli Chen et al.
cs.CV cs.AI cs.RO
本文提出MTA-RL框架,通过Multi-modal Transformer融合RGB图像和LiDAR点云预测3D Affordance表示,并利用Reinforcement Learning进行决策。实验表明该方法在自动驾驶任务中提升了样本效率和泛化能力,但未涉及关键词中的code, context, spectral, Muon, pretrain, agent, attention等核心概念。
Qianqian Shi et al.
q-bio.NC cs.LG cs.NE
本文通过分析小鼠mPFC和计算网络,发现联合sparse coding和temporal dynamics有助于在context转换时保留先前表征,并减少灾难性遗忘。
Jihyeon Baek et al.
cs.CV cs.AI
本文比较了机器学习与深度学习在out-of-distribution (OOD) detection任务上的表现,发现两者在眼底图像数据集上均能达到接近完美的检测精度,但机器学习方法具有更低的端到端延迟和更高的计算效率。
Paul Vermeeren, Heysem Kaya
cs.CV cs.AI
本文提出了一种结合CNN和Vision Transformer的遥感基础模型,利用荷兰1.2米分辨率卫星影像进行预训练,通过引入时间序列数据来捕捉地形、土地覆盖变化等上下文依赖关系。该模型在荷兰植被监测任务上表现优于单时相方法,并在全球基准上以更少参数取得有竞争力结果。
Vittorio Palladino, Ahmet Enis Cetin
cs.CV cs.AI
本文提出DynGhost,一种基于transformer的架构,通过交替使用spatial和temporal attention blocks来重建动态ghost imaging中的空间信息,并采用量子感知训练框架(包括Anscombe方差稳定归一化)以匹配真实单光子硬件的Poissonian统计特性。该方法在动态和光子匮乏场景下优于传统重建方法和现有深度学习架构。
Zhenhao Shen et al.
cs.RO cs.AI
本文提出HeteroGenManip,一个用于异构物体交互的两阶段操作框架,通过解耦初始抓取与复杂交互执行,并利用多基础模型扩散策略提升泛化能力,在仿真和真实任务中取得显著性能提升。
Shu Tamano, Masaaki Imaizumi
math.ST cs.LG stat.ML
本文提出GANICE方法,通过扩展Wasserstein距离和引入cellwise critic,用于因果分布学习中的条件干预分布估计,并证明了其minimax最优性。实验表明该方法优于现有基于GAN的反事实估计技术。
Yuhan Ye
math.OC cs.CC cs.LG
本文研究了分段仿射函数近似一阶平稳性检验的参数化复杂度,以维度\(d\)为参数给出了XP算法和W[1]-困难性结果,并证明了在指数时间假设下不存在\(\rho(d)\size^{o(d)}\)时间的算法。该结果还推广到了浅层ReLU CNN训练损失的平稳性检验。
Zhipeng Zhang
astro-ph.GA cs.LG
本文使用光谱推断年龄(astroNN)和星震学年龄(APOKASC-3)两种独立年龄尺度,发现银河系厚盘的年龄-金属丰度关系(AMR)斜率、形成时间尺度等关键观测特征在星震学锚定下系统性减弱。通过传输反演实验表明,压缩性传输映射(lambda < 1)足以产生支持快速形成的观测特征,揭示了恒星年龄定义本身对银河系形成历史统计解释的敏感性。
Yuteng Zhang et al.
cs.SE cs.CR cs.LG
本文提出MARGIN框架,通过自适应margin metric learning和hyperspherical prototype modeling来解决软件漏洞检测中的频率和难度不平衡问题。该方法利用von Mises-Fisher concentration调整几何正则化,以改善嵌入空间的几何结构。
Peiru Yang et al.
cs.CR cs.AI
本文提出M\textsuperscript{3}Att框架,针对医疗多模态RAG系统设计知识投毒攻击,仅需假设攻击者了解数据库的有限分布信息。其核心是通过在视觉数据中注入不可感知扰动作为查询无关触发器以操纵检索,并结合医疗诊断的固有歧义性注入隐蔽错误信息,从而在多个LLM和数据集上生成临床看似合理但错误的输出。
Dimos Makris, András Barják, Maximos Kaliakatsos-Papakostas
cs.SD cs.AI
本文提出了一种基于cold diffusion的框架用于鼓声去混响,将混响建模为确定性退化过程,并比较了两种反向过程参数化方法。实验表明该方法在鼓声去混响任务上优于基于score和conditional diffusion的基线方法。
Konstantinos Soiledis et al.
cs.SD cs.AI
本文提出了一种基于Transformer模型的方法,将带有微时序和力度信息的expressive drum grid(一种时间对齐的MIDI表示)映射到neural audio codec的离散token序列,再通过预训练的解码器生成鼓声波形。实验比较了EnCodec、DAC和X-Codec等codec对生成质量的影响,验证了codec-token预测在鼓声合成中的有效性。
Anthony Stephenson
stat.ML cs.LG
本文提出了一种基于neural feature maps的scalable Gaussian process框架,通过构造expressive kernels实现快速精确的GP inference,并在回归和分类任务中超越现有方法。
Lucas Morisset, Alain Durmus, Adrien Hardy
stat.ML cs.LG math.ST
本文分析了数据增强对随机特征回归方法在比例机制下的正则化效果,通过均方误差刻画了测试误差与数据增强统计量的关系。结果适用于未指定的特征映射和仅训练最后一层的网络架构。
Hyunso Kim, Hyo Kang, Jaeyong Song
econ.GN cs.AI cs.ET stat.AP
本文利用Product Hunt平台超过16万产品发布的数据,研究了生成式AI对创业活动的影响。研究发现ChatGPT-3.5发布后单人创业者的进入数量显著增加,但团队创业在高品质产出中仍占主导地位。
Sean Feeney et al.
quant-ph cs.AI cs.SC
本文提出了SCALAR框架,结合量子模拟、符号猜想生成和LLM解释,用于量子电路分析中的自动猜想生成。该框架在MaxCut实例上验证了QAOA参数与图不变量之间的关系,并扩展到多种图拓扑结构。
Btissame El Mahtout, Florian Ziel
stat.ML cs.LG stat.ME
本文提出了一种用于时间序列预测的自适应Mixture-of-Experts (MoE)框架,通过将专家特定的损失信息直接整合到训练过程中来增强专家专业化,并结合部分在线学习策略降低计算成本。实验表明该方法在多个数据集上优于统计方法和Transformer等神经网络模型。
Zichen Wen et al.
cs.CV cs.AI
本文提出EvoStreaming框架,通过让离线VideoLLM自我生成流式交互数据并微调,使其具备实时对话决策能力,在RealStreamEval基准上提升显著。该方法无需改变模型架构,仅用少量自生成样本即可实现从离线到流式助手的适应。
Rashi Sharma, Justin Timothy C. Bersamin, Karthikk Subramanian
cs.CV cs.AI cs.LG
本文提出了一种名为Portable Active Learning (PAL)的框架,用于目标检测中的主动学习。PAL仅依赖于模型推理输出,通过结合类别的instance uncertainty和图像级别的diversity来选择数据,无需修改检测器内部结构,从而提高了标签效率和检测精度。
Danni Xu et al.
cs.MM cs.AI
本文提出了RW-Post,一个用于多模态事实核查的基准数据集,通过LLM辅助的提取和审计流程将社交媒体帖子与人工核查文章中的证据链接起来。实验表明现有模型在证据利用方面仍有较大提升空间。
Makbule Gulcin Ozsoy
cs.DB cs.CL
本文提出将Text2Cypher从单数据库查询生成扩展到多数据库查询推理,并形式化了一个三阶段路线图:数据库路由、多数据库分解和异构查询推理。该工作旨在解决现实系统中信息可能分布在多个独立图数据库中的问题。
Fatima-Zahrae El-Boukkouri, Josselin Garnier, Olivier Roustant
stat.ML cs.LG
本文提出了一种基于cokriging的多保真度Gaussian process回归方法,用于求解非线性PDEs。该方法通过低保真度模拟拟合非平稳kernel,并利用多保真度框架构建高保真度kernel和均值,最终在Burgers方程上验证了性能。
Masaki Adachi et al.
stat.ML cs.LG
本文针对结构化输入上的guided-diffusion black-box optimization (BO)问题,提出了一种基于certificate的expected simple-regret分析框架,避免了传统BO分析中对maximum information gain和RKHS假设的依赖。该框架通过mass lift这一核心量,解释了指数收敛与多项式加速现象,并提供了实用的搜索指数估计方法和certified sampler实例。
Michael Dang'ana
cs.DC cs.DS
本文提出了一种名为FractalSortCPU的CPU自适应直方图压缩基数排序算法,通过全并行键基直方图更新和SIMD加速操作,解决了传统基数排序的分布依赖性和并行度限制问题。实验表明,该算法在16位精度下,对512MB至32GB数据集实现了比现有CPU、GPU和FPGA方案高6倍、3倍和2.5倍的带宽效率。
Minh-Toan Nguyen, Jean Barbier
stat.ML cs.LG
本文研究了在知识迁移场景下,从带噪查询中学习具有层次化特征的单隐层teacher网络的Bayes最优泛化误差,推导了特征可学习性由一系列sharp phase transitions控制的精确表征,并揭示了两种不同的neural scaling laws。
Jiaqi W. Ma
cs.CY cs.AI
本文指出AI生成科学产物的低成本导致了“认知污染”风险,并提议通过设计“蓝图”(blueprints)这种结构化、分解的研究产物来重新平衡生成与验证的成本,但未涉及关键词中的具体技术。
Minqing Huang et al.
cs.CV cs.AI
本文提出CoWorld-VLA框架,通过多专家token(语义交互、几何结构、动态演化、自车轨迹)将世界模型表示作为显式条件,以引导自动驾驶中的action规划。该方法在NAVSIM v1基准上取得了有竞争力的规划性能,但整体创新性有限,未直接涉及关键词中的核心概念。
Jiebin Fang et al.
physics.chem-ph cs.AI
本文构建了高保真实验与计算13C NMR资源,揭示了分子表示中的化学环境坍缩现象,并开发了CLAIM框架,通过对比学习对齐拓扑分子输入与原子分辨NMR观测值,以恢复化学分辨率并改善分子性质预测。
Chaeyoung Lee, Chaeri Jung, Seonghoon Jeong
cs.CR cs.LG cs.NI
本文提出了一种基于Transformer的框架DRIFT,通过混合tokenization策略和多任务自监督预训练来学习不变特征,以缓解DGA检测中因时间漂移导致的性能下降问题。实验表明该方法在长期评估中优于现有基线。
Pierre Le Jeune et al.
cs.CY cs.AI cs.CL
本文提出了StereoTales框架,用于在多语言环境下系统性地发现大语言模型(LLM)在开放式生成中的社会偏见。该框架覆盖10种语言和79个社会人口属性,通过统计测试识别出超过1500个过度关联的刻板印象,并评估其危害性。
Stefano Blando et al.
cs.MA cs.AI econ.GN q-fin.ST
本文使用MultiVeStA工具对Keynes+Schumpeter宏观经济ABM进行统计模型检验,通过瞬态灵敏度分析考察了失业率、GDP增长等宏观变量在不同参数下的变化。结果表明宏观金融参数对模型影响显著,而启发式规则参数影响较弱,展示了SMC方法在复杂经济ABM分析中的适用性。
Kamil Wereszczyński et al.
quant-ph cs.AI
本文提出了一种基于腔增强的集体量子处理架构,将逻辑qubit编码在循环腔内模式的偏振子空间中。通过可编程偏振变换实现单qubit操作,并利用偏振选择性非线性相互作用生成可控相位门,从而构建通用门集。
Anna Lunghi, Matteo Castiglioni, Alberto Marchesi
cs.GT cs.LG
本文研究重复双边交易中受扰动市场下的GFT最大化问题,设计了一种自适应于对抗性扰动水平\(C\)的算法,实现了\(\tilde{\mathcal{O}}(T^{3/4}) + \mathcal{O}(C\log(T))\)的regret界,并保持了最坏情况下的最优性。该工作桥接了纯对抗与纯随机环境之间的性能差距。
Qingyun Guo et al.
eess.SY cs.LG cs.RO
本文提出了一种基于priority-driven reinforcement learning的无模型算法,用于在decentralized multi-agent systems中联合学习通信优先级和控制策略,以解决event-triggered control中的混合动作空间问题。实验表明该方法在基准任务上优于基线方法。
Marius Miron et al.
cs.SD cs.AI
本文系统研究了不同probing策略(包括last-layer和multi-layer probing,以及linear和attention probes)在生物声学基准BEANs和BirdSet上的表现。结果表明,利用时间信息的更大规模probing head性能更优,且multi-layer probing能提升所有测试模型的下游任务性能。
Heegeon Yoon, Heeyoung Kim
cs.CV cs.AI stat.ML
本文提出了一种针对高度不平衡多模态数据的联合长尾识别与多模态融合框架,通过多专家架构和置信度引导的权重动态调节不同模态的贡献,在图像和表格数据上验证了有效性。该方法主要解决多模态长尾分布问题,与关键词中的code、context、spectral等概念关联较弱。
Ali Irzam Kathia et al.
cs.CR cs.AI cs.DC
本文对2020至2025年间AI与DLT(分布式账本技术)的双向融合研究进行了系统性文献综述,将贡献分为AI增强DLT和DLT增强AI两个方向,并分别从多个层级进行分析。研究发现大多数工作集中在少数特定层级,且缺乏生产级部署和关于可扩展性等基本问题的满意答案。
Yiqi Tian et al.
cs.CV cs.AI
本文提出DuetFair机制,通过结合分布感知的混合专家模型(dMoE)与子群条件分布鲁棒优化(DRO)损失聚合,同时处理医学图像分割中的子群间适应性与子群内鲁棒性问题。实验表明该方法在多个基准上提升了最差子群性能。
Cristiano De Nobili
cond-mat.stat-mech cs.CL cs.MA physics.soc-ph
本文利用统计物理方法,在二维方格上研究基于LLM的多智能体系统的集体对齐行为,通过测量磁化率和临界指数,发现集体对齐主要由内在偏差而非智能体间的合作耦合主导,从而为多智能体共识的可靠性提供了定量诊断。
Vittorio Palladino et al.
cs.CV cs.LG
EnergyLens使用symbolic regression从profiling data中推导出一个12参数的closed-form energy model,用于预测multimodal LLM inference serving的能耗。该模型在少量profiling samples下即可达到较高预测精度,但方法本身并非开创性,且与关键词列表中的概念关联较弱。
Disha Hegde, Marvin Pförtner, Jon Cockayne
stat.ML cs.LG math.NA
本文提出了一种名为affine tracing的算法框架,能够从标准affine iterative method的实现中自动构建probabilistic iterative method,并通过符号追踪和等式饱和进行代数简化。该方法将Bayesian PLS统一为non-stationary affine PIM的特例,并证明了其校准性。
Phongsakon Mark Konrad, Toygar Tanyel, Serkan Ayvaz
cs.CR cs.AI cs.LG
本文提出了一种名为Acceptance Cards的四诊断标准评估协议,用于检验安全微调防御声明的可靠性,并通过对SafeLoRA方法的审计展示了该协议的应用。该协议检查统计可靠性、语义泛化、机制对齐和跨任务迁移,但未涉及代码、上下文、谱方法、Muon优化器、预训练、智能体或注意力机制等关键词。
Chen Zhong et al.
cs.CV cs.AI
本文提出了SenseBench,一个用于评估大型视觉语言模型在遥感低层视觉感知与描述能力的基准测试,包含超过1万个实例和6大类22种细粒度退化类型。实验发现现有模型存在领域偏差、多失真崩溃以及感知-描述反转效应等问题。
Zheng Lin et al.
cs.CR cs.AI
本文提出了一种针对大语言模型(LLMs)的防御方法DR-Smoothing,通过将输入prompt先扰乱再修正的两阶段处理集成到平滑防御框架中,以抵御越狱攻击。该方法在无害性和有用性之间取得了平衡,并在理论上给出了防御成功概率的紧界。
Yiming Dong et al.
astro-ph.IM cs.AI
本文提出了GW-Eyes,一个基于大语言模型(LLM)的agentic框架,用于在引力波(GW)与电磁(EM)对应体之间进行自主关联任务。该框架集成了领域特定工具,支持自然语言交互,旨在应对多信使天文学时代数据量激增带来的分析挑战。
Emil Javurek et al.
stat.ML cs.LG
本文提出了一种基于先验数据拟合网络的摊销方法,用于因果敏感性分析,通过拉格朗日标量化生成训练标签,避免了模型特定的解析推导。该方法在测试时计算速度比逐实例方法快数个数量级,但并未直接涉及关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念。
Isaac David, Arthur Gervais
cs.SE cs.AI
本文提出了CrackMeBench,一个用于评估语言模型agent在二进制逆向工程任务上表现的benchmark,通过让agent分析可执行文件并生成被程序接受的输入或key generator来测试其能力。实验在多个模型上进行了评估,并记录了通过率、时间、命令轨迹等指标。
Zheng Lin et al.
cs.CR cs.AI
本文提出一种针对LLM的jailbreak prompt检测方法,通过引入embedding disruption来重新激活模型内置的安全机制。该方法与LLM内部防御机制协同工作,在white-box和black-box设置下均能有效防御jailbreak攻击。
Marc Neu et al.
cs.AR cs.LG
本文针对高能物理实验中实时Graph Neural Network部署的硬件挑战,在AMD Versal VCK190平台上利用FPGA和AI Engine实现了端到端系统,通过半自动化设计流程优化了吞吐量和延迟。该工作主要关注硬件实现而非理论方法创新,与关键词中的code, context, spectral, Muon, pretrain, agent, attention关联较弱。
Feliciano Giuseppe Pacifico et al.
cond-mat.dis-nn cs.LG
本文提出了一种在Neural-ODE中精确植入固定点(velocity field为零的点)的技术,通过显式构造约束来确保梯度训练不改变模型的表达能力,并证明了该约束下Neural-ODE的universality。该方法在两个物理模型上进行了测试,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联较弱。
Nikolaos Gkalelis, Vasileios Mezaris
cs.CV cs.AI
本文提出了一种用于Vision-Language Models (VLMs)的bottom-up cascaded knowledge distillation (CKD)框架,通过引入中间容量的Teacher网络来逐步缩小Teacher与Student网络之间的容量差距,从而改善知识迁移效果。该方法在LLaVA架构上进行了验证,并在多个VQA benchmarks上展示了性能提升。
Michal Byra et al.
cs.CV cs.AI
本文提出bViT,一种单块循环Vision Transformer架构,通过重复应用同一个transformer block处理图像。实验表明,在ImageNet-1K上,12步bViT-B在计算预算下能达到与标准ViT-B相当的精度,同时参数数量减少一个数量级,但该方法主要关注循环计算在视觉任务中的有效性,与关键词中的code、spectral、Muon等概念关联较弱。
Qingxin Xiao et al.
cs.CV cs.LG
本文从“解码即博弈”视角出发,提出了一种无需训练的对抗性反常识均衡(ACE)框架,通过引入反常识图像块扰动来重新平衡MLLM解码中的语言先验与视觉信息,从而缓解幻觉问题。该方法作为一种即插即用策略,在保持低推理开销的同时提升了模型的可信度。
Dahlia Shehata, Ming Li
cs.MA cs.AI
本文研究了多智能体系统中大语言模型(LLM)的“旁观者效应”,通过实验发现模拟的社会压力会导致智能体出现认知懈怠,并形式化了交互深度极限与主权差距等概念,揭示了多智能体拓扑结构可能削弱独立推理能力。
Marianna E.-Nagy, László A. Végh
math.OC cs.DS
本文研究了线性互补问题(LCP)中sufficient matrices的handicap number \(\hat\kappa(M)\),给出了其指数级上界,并基于行缩放优化提出了一个多项式时间算法,但未直接涉及关键词中的概念。
Youssef Chaabouni, David Gamarnik
stat.ML cs.IT cs.LG math.ST
本文研究了混合质量数据(高精度与低精度观测混合)下的稀疏恢复问题,建立了信息论与算法恢复的样本量条件。信息论方面揭示了“质量代价”的线性权衡关系,算法方面则发现LASSO在不知数据质量时仅依赖平均噪声水平,表现出对数据异质性的鲁棒性。
Suvi De Silva et al.
cs.DC cs.AI cs.LG cs.PF eess.SY
本文提出了一种名为AURORA的轻量级框架,用于在计算连续体中诊断和缓解灰色故障。该框架通过集成自由能原理、因果do-calculus和局部因果状态图,在故障的Markov blanket内进行反事实根因分析,并引入双门控执行机制来避免高不确定性下的破坏性干预。实验表明该方法在保持较低修复准确率的同时实现了零破坏性动作率。
Huimin Wang et al.
cs.CV cs.AI cs.LG cs.MA
本文提出AllocMV框架,将音乐视频生成形式化为Multiple-Choice Knapsack Problem (MCKP),通过全局规划器构建结构化persistent state,并利用基于dynamic programming的group-level MCKP求解器在High-Gen、Mid-Gen和Reuse分支间优化资源分配。该方法在严格预算和节奏约束下实现了感知质量与资源消耗的权衡。
Kaicong Huang et al.
cs.CV cs.AI
本文提出iPay框架,通过多模态混合专家网络(含RGB、skeleton、双注意力融合及空间差异判别器)实现车载监控中的支付动作识别,在55小时真实数据上达到83.45%准确率。该方法主要解决监控场景下动作识别的鲁棒性问题,但与我提供的关键词(如spectral, Muon, pretrain等)关联度较低。
David F. Ramirez et al.
eess.IV cs.AI cs.CV
本文提出了一个基于Sentinel-2的视觉问答数据集SMART-HC-VQA,用于遥感活动中的人为活动时空分析,并描述了基于LLaVA-NeXT的多图像MLLM训练框架。该工作为语言引导的遥感活动理解提供了可复现的基础。
Mohamed Eltahir et al.
cs.CV cs.AI
本文提出GridProbe,一种无需训练的后验探测推理范式,通过在\(K{\times}K\)网格上排列帧并运行轻量级行和列探测,利用冻结VLM自身的推理能力自适应选择与问题相关的帧,从而在长视频理解中降低二次注意力成本。该方法通过形状自适应选择规则动态调整帧预算,在Video-MME-v2和LongVideoBench上实现了计算量与精度的权衡。
Mengqi He et al.
cs.CV cs.AI
本文提出了一种针对视觉语言模型(VLM)的轻量级对抗攻击方法UJEM-KL,通过最大化自回归解码中高熵token的熵来翻转拒绝输出,同时稳定低熵位置以保持生成质量。该方法在白盒攻击中表现良好,并显著提升了跨模型迁移性,但未直接涉及关键词中的code、spectral或Muon等概念。
Tao Hu, Da-Wei Zhou
cs.CV cs.AI cs.LG
本文提出DRAPE框架,通过从文本指令生成instance-specific soft prompts并交叉关注visual patch features,实现多模态持续指令调优中的实例级适应,并采用null-space gradient projection和CLIP-based prototype routing缓解遗忘。
Ziyi Wang et al.
cs.CV cs.AI
本文提出了一种动态MLLM混合专家感知引导的遥感场景分割方法,通过设计多个prompt让MLLMs生成高质量遥感描述,并利用DINOv3提取视觉特征,再通过动态混合专家模块和语言查询引导注意力机制融合文本与视觉信息进行分割。该方法在三个公开遥感语义分割数据集上取得了较好性能,但主要聚焦于遥感场景的特定应用,与关键词中的code、spectral、Muon、pretrain、agent等核心概念关联较弱。
David F. Ramirez et al.
cs.CV cs.AI eess.IV
本文探讨了将大型语言-视觉模型(LLVM)应用于MSTAR合成孔径雷达(SAR)自动目标识别(ATR)任务,通过CLIP和LLaVA等transformer架构进行图像描述和视觉问答(VQA)实验,并构建了包含文本标注和问答对的SAR基准数据集。研究采用参数高效微调方法在识别细粒度目标属性上达到98%的准确率,但该方法与关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念关联较弱。
Romain Petit, Clarice Poon, Gabriel Peyré
math.OC cs.LG
本文研究了具有有界非线性的宽浅层模型(包括multi-head attention layers和两层sigmoid网络)在梯度下降下的全局收敛性。通过构建“escaping active set”,证明了所有非全局极小值点都是不稳定的,因此在参数初始分布具有全支撑且隐藏神经元数量趋于无穷时,连续时间梯度下降只能收敛到全局极小值点。
Xuanyu Zhu et al.
cs.CV cs.AI
本文提出DRoRAE,通过能量约束路由和增量校正融合预训练视觉编码器的多层特征,以替代仅使用最后一层特征的表示自编码器。实验表明该方法在ImageNet-256上降低了重建rFID并提升了生成FID,并发现融合能力与重建质量之间存在对数线性缩放规律。
Yesom Park et al.
math.OC cs.LG
本文提出了一种基于Kantorovich dual的隐式神经最优传输方法,通过将c-transform重写为proximal fixed-point问题,避免了对抗训练和多网络架构。该方法使用单一网络并通过proximal optimality conditions强制dual feasibility,且梯度计算无需通过fixed-point iterations进行隐式微分。
Ari Holtzman, Peter West
cs.CR cs.AI
本文研究了前沿语言模型在写作任务中是否会无意泄露提示中的秘密信息。实验发现,模型虽不会直接写出秘密词,但会通过主题、意象等间接方式泄露,且这种泄露在模型间可读,并随模型规模增大而加剧。
Alessio Giorlandino, Sebastian Goldt, Antoine Maillard
stat.ML cond-mat.dis-nn cond-mat.stat-mech cs.LG
本文通过统计物理方法研究了线性联想记忆(linear associative memory)中事实存储的容量极限,引入了一个解耦模型并证明其与原模型在存储容量上等价,揭示了最优解通过将正确得分提升至竞争输出的极值阈值之上来改进Hebbian学习规则。
Juyi Lin et al.
cs.CV cs.AI cs.LG
本文提出了PhyGround基准,用于评估视频生成模型中的物理推理能力,包含250个提示和13条物理定律,并通过大规模人工标注和专用VLM评估器PhyJudge-9B进行评测。该工作主要关注视频生成中的物理规则遵循性评估,与关键词中的code、context、spectral、Muon、pretrain、agent、attention均无直接关联。
Johann Knechtel, Ozgur Sinanoglu, Ramesh Karri
cs.CR cs.AR cs.LG
本文综述了LLM在硬件安全设计中的应用与挑战,包括RTL代码生成、EDA合成和漏洞提取等,并讨论了数据污染和对抗性ML等关键问题。
Saba Pourhanifeh, AbdulAziz AbdulGhaffar, Ashraf Matrawy
cs.CR cs.AI
本文评估了领域自适应语言模型(包括LLMs和SLMs)在结构化威胁建模(使用STRIDE方法)中的表现,实验涉及52种不同配置。结果表明领域自适应模型并不一致优于通用模型,且解码策略对输出有效性有显著影响,揭示了当前模型在该任务中的局限性。
Donghwan Lee
math.OC cs.AI
本文利用joint spectral radius (JSR)框架分析了折扣Markov decision process中的rank-one deflated Q-value iteration (Q-VI)算法。通过将算法解释为switching system的几何结构,作者证明了deflated Q-VI的收敛率可能比标准Q-VI的\(\gamma\)界更紧,但其本质上等价于标准Q-VI的标量中心化变换。
Zuojin Tang et al.
cs.RO cs.AI cs.CV
本文提出ALAM模型,通过代数一致性约束(composition和reversal consistency)将无动作视频中的时序关系转化为结构化的latent transition空间,并用于增强vision-language-action (VLA)模型的policy生成。该方法在MetaWorld和LIBERO等任务上提升了成功率,但整体思路更偏向于latent action模型的工程改进,与关键词中的code, spectral, Muon, attention等概念关联较弱。
Azmi Haider, Dan Rosenbaum
cs.CV cs.LG
本文提出了一种结合NeRF和扩散模型的方法,通过将3D场景表示为随机隐变量并学习其先验,利用扩散模型的score-based inference进行后验采样,从而从多种观测(如单视图、多视图、噪声图像等)中重建3D结构。该方法通过两阶段训练实现,展示了处理不同观测类型中固有不确定性的能力。
Xiran Zhao et al.
cs.CV cs.AI
本文提出了MMVIAD,一个用于工业异常检测的多视角视频数据集,并开发了VISTA模型,通过两阶段后训练流程(PS-SFT和VISTA-GRPO)提升多任务视频理解能力,在异常检测、缺陷分类等任务上超越了现有模型。
Daniel Dratschuk, Paul Swoboda
cs.CV cs.LG
本文提出Transcoda,一种用于光学乐谱识别(OMR)的端到端零样本方法,通过合成数据生成、编码归一化和基于语法的解码来训练紧凑模型,在合成和真实扫描数据上均优于现有基线。
Qi Yang et al.
cs.CV cs.CL
本文提出了BabelDOC,一个基于Intermediate Representation (IR)的框架,用于实现保留布局的PDF翻译。它通过解耦视觉布局元数据与语义内容,并利用自适应排版引擎,在保持翻译精度的同时提升了布局保真度和术语一致性。
Wei Chow et al.
cs.CV cs.LG
本文提出EditMGT,一种基于Masked Generative Transformers (MGTs)的图像编辑框架,利用其局部token预测机制来避免扩散模型中编辑区域与周围上下文的纠缠。该方法通过多层attention整合和区域保持采样实现精确编辑,并构建了CrispEdit-2M数据集进行训练。
Ishpuneet Singh et al.
cs.CR cs.AI cs.CV cs.LG cs.NI
本文介绍了BEACON,一个大规模多模态数据集,用于从《Valorant》游戏数据中学习行为指纹,包含鼠标动力学、键盘事件、网络包捕获等同步数据,旨在为连续认证和行为生物特征研究提供基准。该数据集主要关注游戏场景下的行为信号,与关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念关联较弱。
Timothy Oladunni, Farouk Ganiyu Adewumi
physics.med-ph cs.AI cs.LG
本文提出Attractor-Vascular Coupling Theory (AVCT),利用Takens延迟嵌入和吸引子形态学特征从光电容积描记图(PPG)中估计血压,并通过LightGBM模型在BIDMC ICU和VitalDB数据集上验证了AAMI标准。该方法在单点校准下实现了收缩压MAE 2.05 mmHg和舒张压MAE 1.67 mmHg,但未涉及code、context、spectral、Muon、pretrain、agent或attention等关键词。
Anna C. Doris et al.
cs.CV cs.AI
本文提出了CADBench,一个用于多模态CAD程序生成的统一基准,包含18,000个样本和多种输入模态与评估指标,并测试了多个模型。该工作主要关注基准构建与评估,与关键词中的code、agent等概念关联较弱。
Linus Heck et al.
cs.LO cs.AI
本文针对Markov decision processes (MDPs)中的概率安全性问题,提出了一个将经典shielding方法扩展到概率安全保证的形式化框架,并探讨了不同shielding构造在安全性与允许性上的权衡。
Roxana Geambasu et al.
cs.CR cs.AI
本文提出了一种名为AI Workflow Store的架构,旨在通过引入严格的软件工程流程(如迭代设计、对抗性评估等)来增强AI agent的鲁棒性,以替代当前“即时合成”的脆弱范式。该工作主要聚焦于agent系统的可靠性设计,但与我提供的关键词(如code, spectral, Muon, attention等)关联度较低。
Shankar Bhamidi et al.
math.PR cs.CC cs.DS math.CO math.ST
本文研究了Stochastic Block Model (SBM)中基于modularity的局部算法的理论极限,证明了modularity在该模型上具有overlap gap property (OGP),从而排除了基于modularity的一类局部算法用于社区恢复的可能性,并揭示了相关Markov Chain的慢混合时间。
Md. Sultan Al Rayhan, Maheen Islam
cs.CV cs.AI
本文提出了一种置信度引导的扩散增强框架,用于孟加拉复合字符识别,通过结合class-conditional diffusion modeling和classifier guidance生成高质量样本,并引入Squeeze-and-Excitation增强的残差块提升生成质量。实验表明该方法在多个分类架构上提升了识别准确率,但与我提供的关键词列表(如code, context, spectral, Muon, pretrain, agent, attention)无直接契合。
Albert Alcalde et al.
math.AP cs.LG math.DS
本文研究了低温条件下平均场Transformer中token分布的浓度现象,通过Wasserstein距离证明了分布快速收敛到由投影映射诱导的极限分布,并给出了时间尺度为\(\log\beta\)的浓度估计。

- 数据来源 Data Source: arXiv.org

- 本网页的内容由 bluearXiv-ai 自动生成。实际抓取的是 arXiv 中 "new" 页面的数据,即最近的有所在分类论文变动的一天的数据。

- 感谢 arXiv 提供的服务。评论和精选由 AI 生成,不代表任何人对论文本身的看法。精选依赖于论文与给定关键词的匹配度。

- 计数基于主学科,不计重数。

- This webpage is automatically generated by bluearXiv-ai.

- The data actually captured is from the "new" page, that is, the data of the most recent day when there were changes in corresponding subjects.

- Thanks for services prodived by arXiv. Comments and selection of good papers are generated by AI, not showing anyone's point of view about those papers.

- The selection also depends on the matched-degrees between papers and given keywords.

- The counters are based on main subject, not counting multiplicities.