bluearXiv-ai 论文精选

2026-06-04

📚 跟踪学科 (Categories)

🔍 筛选关键词 (Keywords)

📊 论文统计 ↑ 回顶部

cs.LG
144
cs.AI
43
cs.IR
15
cs.CL
79
cs.DS
5
others
143
总计
429

⭐ 精选论文 ↑ 回顶部

cs.LG

Ahanaf Hasan Ariq
cs.LG math.OC stat.ML
Yifeng Liu, Quanquan Gu
cs.LG cs.AI
Xian Qi Loye et al.
cs.LG cs.AI cs.CR
Gagik Magakyan, Pablo Parrilo, Asuman Ozdaglar
cs.LG cs.AI
Shuche Wang et al.
cs.LG cs.AI
Balthazar Courvoisier, Tristan Cazenave
cs.LG cs.AI
Zehua Cheng, Wei Dai, Jiahao Sun
cs.LG cs.CL cs.SC
Kelan Gray et al.
cs.LG math.DS math.NA math.OC math.SP

cs.AI

Feiyang Kang et al.
cs.AI cs.CL cs.CV cs.ET cs.LG
Tao Ren et al.
cs.AI
Hugo Barral et al.
cs.AI

cs.CL

Arpit Garg, Simon Lucey, Hemanth Saratchandran
cs.CL
Wangcheng Tao, Han Wu, Weng-Fai Wong
cs.CL cs.AI
Zhen Yang et al.
cs.CL cs.AI cs.MA

others

Nitai Kluger, Amit Attia, Tomer Koren
math.OC cs.LG

📄 所有论文 ↑ 回顶部

cs.LG

Ahanaf Hasan Ariq
cs.LG math.OC stat.ML
本文针对耦合梯度下降(coupled gradient descent)中Jacobian矩阵为块三角(block-triangular)的情形,建立了尖锐的伪谱(pseudospectral)理论。作者证明了当对角块对称且谱半径(spectral radius)小于1时,Kreiss常数满足一个显式上界,并给出了匹配的极小极大下界,从而刻画了瞬态放大(transient amplification)的机制。该工作为理解非渐近、实例依赖的高维学习动力学提供了新的视角,与关键词“spectral”高度契合。
Yifeng Liu, Quanquan Gu
cs.LG cs.AI
本文为Gated Delta Network(一种结合门控机制与线性状态转移的recurrent架构)推导了scaling rules,使得其能够在不同模型宽度下实现learning-rate的零样本迁移(zero-shot hyperparameter transfer)。通过严格分析前向传播、门控机制和循环状态动力学中的坐标大小估计(coordinate-size estimates),作者证明了在AdamW和SGD优化器下,该参数化方法(\(\mu\)P的扩展)能稳定迁移学习率,而标准参数化则失败。这项工作为线性recurrent模型(如Gated Delta Network)提供了可扩展的超参数调优理论,与关键词中的context和pretrain高度相关。
Liulu He et al.
cs.LG cs.AI
LiftQuant提出了一种名为“lift-then-project”的机制,通过将低维权重向量近似为从高维“lifted”空间中一个简单1-bit lattice的投影,实现了对Large Language Model的连续bit-width控制。其核心在于有效bit-width由lifted维度与原始维度的比值决定,从而允许bit-width作为灵活的结构参数进行准连续调节。该方法生成的codebook具有结构化但非均匀的特性,捕获了Vector Quantization的表达能力,同时其解码路径仅依赖线性变换和1-bit uniform quantizers,保持了硬件友好性。这项工作解决了现有量化方法因整数bit-width导致的“部署差距”问题,使得模型能精确适配特定内存预算,例如将70B模型压缩至2.4 bits以适配24GB GPU,性能显著超越同设备上的2-bit模型。
Xian Qi Loye et al.
cs.LG cs.AI cs.CR
RUBAS提出了一种基于rubric的reinforcement learning框架,用于提升LLM agent在工具使用场景中的安全性。该方法将agent行为分解为tool-use safety、argument safety、response safety和helpfulness四个可解释维度,并基于完整agent trajectory提供细粒度的reward信号,从而在优化安全性的同时保持任务完成能力。实验表明,该方法在多个agent safety benchmark上优于标准alignment基线,并有效减少了tool-grounded hallucination。该工作与关键词"agent"高度契合,并为agent安全对齐提供了结构化的训练信号。
Gagik Magakyan, Pablo Parrilo, Asuman Ozdaglar
cs.LG cs.AI
本文首次系统研究了Muon优化器中动量矩阵的奇异值谱在训练过程中的行为,并发现了其随模型规模变化的标度律(scaling law)。具体而言,作者在77M到2.8B参数的模型中追踪了动量缓冲区的奇异值分位数,观察到这些分位数在短暂预热后稳定,且稳定值随模型规模\(M\)呈现清晰的幂律关系,其中不同层具有不同的指数(如浅层约为\(M^{-0.25}\),而深层可达\(M^{-0.96}\))。这一发现为大规模训练中Newton-Schulz迭代的配置提供了理论指导,即可以根据层类型和模型规模选择最少的NS迭代次数,从而在保证正交化效果的同时避免不必要的计算开销。该工作与关键词中的“spectral”和“Muon”高度契合,并为预训练(pretrain)中的优化器设计提供了可扩展的实用准则。
Mingyu Li
cs.LG cs.AI
本文提出了一种名为Low-Rank Decay (LRD)的正则化方法,它基于nuclear norm(核范数)的次梯度\(UV^\top\),在scale-invariant Transformer(如使用RMSNorm的模型)中,能够沿切向压缩权重矩阵的singular values(奇异值),从而克服标准L2 decay在梯度消失后无法重塑权重谱的局限。在模算术任务中,LRD通过加速Query/Key矩阵的effective-rank collapse(有效秩坍塌),显著扩大了grokking(延迟泛化)现象发生的数据量边界。该工作从spectral-geometric(谱几何)视角,为理解Transformer的泛化动力学提供了新的理论工具。
Zicheng Zhao et al.
cs.LG cs.GT
本文提出Episodic Memory Temporal Consistency (EMTC)框架,用于解决cooperative multi-agent reinforcement learning (MARL)中episodic memory机制导致的representation collapse和局部最优问题。EMTC包含两个核心组件:Temporally Consistent Semantic Embedder通过contrastive learning与时间条件状态重建防止语义坍塌,以及Temporal Consistency Gating Mechanism基于temporal consistency error动态调节episodic激励,过滤伪成功轨迹的误导信号。理论分析建立了temporal consistency error与轨迹最优性及representation quality之间的严格误差界。在SMAC和GRF基准测试中,EMTC显著优于现有state-of-the-art方法,在超难SMAC场景中胜率提升高达24%,在GRF任务中平均提升28%。
Guangcheng Zhu et al.
cs.LG cs.AI
GeoMin通过几何分布建模(geometric distribution modeling)在labeled data上学习正确与错误rollout之间的structural discrepancy,从而为self-reward信号建立robust prior以评估其可靠性。该方法在RLVR(Reinforcement Learning with Verifiable Rewards)框架下实现了data-efficient的半监督学习,仅需10%的标注量即可超越fully supervised模型,并比最强baseline提升+4.1%。其核心创新在于利用labeled data的global feature distribution来解码unlabeled data的潜在价值,避免了传统粗粒度heuristic导致的数据利用瓶颈。
Shuche Wang et al.
cs.LG cs.AI
本文从curvature视角首次揭示了Muon优化器在large language model预训练中优于Adam的几何根源。通过二阶Taylor展开分析,作者证明Muon在相同validation loss下能实现更大的单步loss下降,其优势源于更小的Normalized Directional Sharpness (NDS)而非update norm。实验表明,数据不平衡会放大Muon的NDS优势,且该优势主要由within-layer curvature贡献。理论分析进一步证明,在具有heterogeneous curvature的二次问题上,Muon通过平衡不同curvature group间的update energy,能获得比gradient descent更小的平均NDS。
Ayushman Raghuvanshi et al.
cs.LG cs.AI
本文提出了一种基于State Space Model (SSM)的连续时间动态图(CTDG)表示学习框架CTDG-SSM。作者从第一性原理出发,首先设计了连续时间拓扑感知高阶多项式投影算子(CTT-HiPPO),通过将经典HiPPO的解投影到Laplacian矩阵的多项式上,实现了拓扑感知的记忆更新,并推导出其等价的SSM形式。该方法通过零阶保持(ZOH)技术获得离散化实现,有效解决了CTDG中长程时空依赖的建模难题,在动态链接预测、节点分类等任务上取得了SOTA性能,尤其擅长处理需要长程时间(LRT)和空间推理的数据集。
Chong Zhang et al.
cs.LG cs.CV
本文提出了一种基于Fisher Information Matrix (FIM)谱范数的攻击无关鲁棒性度量方法,从理论上证明了FIM等于输入Jacobian的方差,并为VGG、ResNet、DenseNet和Transformer等常见架构推导了闭式谱界,首次给出了理论鲁棒性排序。该方法通过幂迭代和Hutchinson估计等高效算法实现了白盒与黑盒场景下的可扩展评估,实验表明该度量与对抗脆弱性高度相关,可作为可解释的诊断工具指导鲁棒模型设计。该工作与关键词中的spectral高度契合,且方法具有理论开创性。
Bo Mao et al.
cs.LG cs.AI
本文提出Skill-enhanced Test-Time Co-Evolution (LifeSkill),一个两阶段reinforcement learning框架,用于解决在线lifelong learning agents在长程任务中无法持续内化测试时反馈的问题。其核心创新包括Verifier-Guided Skill Learning,通过多个skill-conditioned policy rollouts的平均验证器成功度来奖励候选技能,从而提取真正有助于任务解决的技能;以及Online Skill Internalization,在测试时交互中持续改进policy模型,将skill-conditioned trajectories转化为reward信号,使agent直接将推理能力内化到参数中。实验表明,该方法在LifelongAgentBench上相比现有lifelong agent基线提升了7个绝对百分点,与关键词中的agent高度契合。
Balthazar Courvoisier, Tristan Cazenave
cs.LG cs.AI
本文提出Signed Dual Attention机制,通过双消息传递方案同时捕捉时间序列中的正负依赖关系,无需额外参数即可实现类似双头注意力的表达能力。该方法可无缝集成到现有架构中,为需要符号关系建模的场景提供了一种参数高效的注意力改进方案。
Zehua Cheng, Wei Dai, Jiahao Sun
cs.LG cs.CL cs.SC
本文提出In-Context Graphical Inference (ICG-I),一种自回归Graph Transformer,通过模仿Variable Elimination的序列消除结构,并利用Tensor-Train压缩的中间因子,解决了离散graphical model中边际推断在精确性与可扩展性之间的长期矛盾。理论证明Tensor-Train压缩误差在自回归链中至多线性传播,Dirichlet-Multinomial损失是proper scoring rule,且Weighted Conformal Prediction在拓扑偏移下仍能提供校准的分布自由覆盖保证。实验表明,ICG-I在标准实例上将MAE从0.041降至0.020,并在\(N=500\) frustrated spin glass(自旋玻璃)上达到0.048,而Belief Propagation完全发散,取得了state-of-the-art性能。该方法与关键词中的“context”和“attention”高度契合,通过上下文自回归机制和注意力结构恢复了精确推断的结构性归纳偏置。
Linyao Chen et al.
cs.LG cs.AI
本文提出了一种名为AgentMob的训练无关LLM驱动agent框架,将个体级移动预测建模为自适应证据控制的决策过程。该方法通过快速路径处理常规情况,而在模糊案例中则迭代调用工具来收集近期轨迹、历史行为、停留-移动可能性及地理证据。实验表明,AgentMob在三个移动数据集上达到了训练无关LLM方法中的最优性能,尤其在非快速路径案例中,LLM控制器将Acc@1从30.65%提升至48.62%,证明了其通过自适应证据收集解决模糊预测的核心优势。该工作与关键词“agent”高度契合,为移动预测领域提供了可解释且高效的解决方案。
Kelan Gray et al.
cs.LG math.DS math.NA math.OC math.SP
本文提出Deep Embedded Multiplicative Dynamic Mode Decomposition (DeepMDMD),一种将深度Koopman方法与代数约束相结合的新框架。该方法通过交替进行精确的乘法算子更新和可微的潜在空间聚类步骤,强制学习到的Koopman算子满足乘积规则(product rule),从而在潜在空间中获得一个有限转移映射。该方法有效解决了传统几何MDMD方法中字典不紧凑、谱污染严重的问题,在Hamiltonian系统、混沌系统和流体动力学等例子中展现出更紧凑的动态相干字典和更稳定的长期预测能力,与关键词中的spectral和context高度契合。
Rishit Dagli et al.
cs.LG cs.CL
本文提出STRIDE框架,将训练数据归因(TDA)问题转化为激活空间中的稀疏恢复问题,灵感来源于compressive sensing。该方法通过学习轻量级的“steering operators”来模拟数据子集训练引起的模型行为变化,并利用稀疏线性分解从这些算子对测试预测的扰动中恢复单个训练样本的影响。STRIDE在LLM预训练归因任务上达到了最先进水平,且速度比先前方法快一个数量级(\(13\times\)),并验证了其在数据选择、数据污染检测等下游任务中的实用性。
Abhishek Divekar, Anirban Majumder
cs.LG cs.AI cs.CL cs.IR stat.AP
本文提出PRECISE框架,将Prediction-Powered Inference (PPI)扩展到子实例标注场景,通过结合少量人工标注与LLM判断来估计搜索排序指标。该方法将指标积分空间重新表述,将计算复杂度从\(O(2^{|C|})\)降至\(O(2^K)\),并在低资源设置下有效校正LLM偏差。
Afshan Hashmi
cs.LG cs.AI q-bio.QM
本文使用XGBoost分类器,基于ADNI数据集中的8个临床特征,对正常认知、轻度认知障碍和阿尔茨海默病进行三分类检测,并通过SHAP值提供可解释性分析。模型在测试集上取得了较高的macro AUC和准确率,但方法本身属于常规机器学习应用,缺乏开创性。
Andrew Fitzgibbon, Christoph M. Wintersteiger, Jeffrey Sarnoff
cs.LG
本文介绍了IEEE P3109草案标准,该标准定义了一族用于机器学习的参数化二进制浮点格式及相关操作,包括对NaN和无穷大的显式处理、随机舍入以及无异常操作等特性。
Parnian Behdin, Kevin Roice, Golnaz Mesbahi
cs.LG cs.AI
本文主张部署的强化学习(RL)系统应被视为一个continual RL问题,并分析了部署后导致非平稳性的四个来源。文章通过现实世界中的成功案例,论证了agent需要持续适应而非采用传统的train-then-fix范式。
Ali Kayyam, Anusha Madan Gopal, M Anthony Lewis
cs.LG cs.AI cs.CL cs.PF
本文系统研究了Transformer中QKV投影共享的三种变体(Q-K=V, Q=K-V, Q=K=V),通过实验发现Q-K=V共享在语言建模中仅以3.1%的困惑度下降换取50%的KV cache缩减,且与GQA/MQA结合可进一步实现高达96.9%的cache减少,为边缘部署提供了实用方案。
Will Savage, Logan Burnett, Dean Price
cs.LG
本文提出了一种通过深度神经网络代理模型和非参数梯度优化来逆向设计临界实验的方法,使用结合U-Net和多群注意力池化层的架构来最大化中子相似性系数\(c_k\)。该方法应用于HALEU燃料运输容器的验证,在三种配置下分别达到了0.97757、0.81324和0.93276的\(c_k\)分数。
Yifeng Liu et al.
cs.LG
本文提出SDPG框架,将on-policy self-distillation与policy gradient方法结合,通过full-vocabulary student-to-teacher reverse KL divergence loss提供密集监督信号,并引入group-relative verifier advantages和normalized standard deviation来提升稳定性。实验表明SDPG在RLVR和self-distillation基线之上有性能改进。
Vasileios Sevetlidis
cs.LG cs.AI
本文定义了Bayes-sufficient representation的概念,即一种表示能够使某个预测头实现给定损失下的Bayes最优决策。文章通过理论分析和实验展示了表示充分性与最小性之间的区别,并指出所需的最小信息由Bayes商决定。
Eduardo Terrés-Caballero, Herke van Hoof
cs.LG cs.AI
本文研究了Boolean Task Algebra (BTA)框架中任务组合的结构性质,发现在deterministic MDPs中,最优扩展Q-value函数完全由universal和empty任务决定,从而简化了组合过程。实验表明学习额外base tasks不会提升性能,但在stochastic setting中该简化不成立。
Hoang-Loc La et al.
cs.LG cs.AI
本文提出了一种可微分的Neural Architecture Search框架,用于联合优化大语言模型的架构配置和混合精度量化,在推理速度和准确率之间取得了更好的平衡。
Xiancheng Wang et al.
cs.LG cs.AI stat.ML
本文提出了一种两阶段伪异常引导的轴承时间序列异常检测方法TPA-AD,在仅使用正常样本训练的条件下,通过重构模型生成边界附近的伪异常窗口,并利用对比学习与KNN进行异常评分。该方法主要针对轴承故障检测场景,在混合变量特征处理上具有一定优势。
Federico Zucchi et al.
cs.LG cs.AI cs.IT
本文研究了时间序列预测中自适应分块(adaptive patching)相对于均匀分块(uniform patching)的性能条件,通过将分块建模为预算比特率分配问题,推导了动态分块规则必须满足的阈值,并指出在常见损失景观下,局部复杂性无法产生非均匀最优解。实验表明,在标准长时预测基准上,经过验证选择的均匀基线具有竞争力,自适应分块的优势依赖于特定方法和数据集。
Wei Liu et al.
cs.LG cs.AI cs.CL cs.CR cs.CY
本文通过引入SocioHack沙盒环境,观察到LLMs在RL训练中会自然出现reward hacking行为,从而发现社会规则中的漏洞,并指出当前的安全措施对此类“社会性hacking”的缓解作用有限。
Joanna Zou et al.
cs.LG physics.comp-ph
本文提出Stein kernelized molecular dynamics (SKMD)方法,用于主动学习机器学习原子间势能(MLIPs)中的训练配置。该方法通过交互粒子动力学增强采样,并保持Boltzmann分布作为渐近分布,在探索多样构型与高概率区域间取得平衡。
Ulbert Jose Botero et al.
cs.LG cs.AI
本文提出了一种基于信号理论原理(如Fourier分解、能量守恒)的foundation model,仅使用radio-frequency (RF)数据训练,实现了对音频、图像、文本和视频的跨模态迁移,无需在目标域上进行微调。该模型在物理任务上表现优异,但在语义任务上性能有限,揭示了原理驱动与规模驱动方法的互补性。
Neeti Pokharna et al.
cs.LG stat.ML
本文针对排序实验中重尾货币化指标(如应用收入)的方差问题,提出了一种结合Post-Stratification与CUPED的实用框架,利用实验前协变量提升统计灵敏度,并在ShareChat的实验中实现了约45%的流量节省。
Giuseppe Franco et al.
cs.LG cs.AI
本文提出dMX,一种可微分的混合精度量化框架,用于学习低精度浮点格式(如MXFP)的逐层位宽分配。通过将位宽分配参数化为连续标量并使用退火策略离散化,该方法在模型质量与平均位宽之间实现了帕累托最优权衡。
Shiqiao Zhou et al.
cs.LG
本文提出SARAF框架,通过结合时间相似性与多样性感知选择策略来检索历史片段,并利用数据集级别的平稳性自适应调节检索多样性,以改进非平稳时间序列的预测性能。实验表明该方法在多个真实数据集上提升了预测准确性和鲁棒性。
Tewodros Syum Gebre, Jagrati Talreja, Leila Hashemi-Beni
cs.LG cs.AI
本文提出了一种Physics-Informed Machine Learning (PIML)框架,通过在LSTM模型的损失函数中加入Trend Alignment约束来惩罚降水与流量趋势之间的方向不一致性,从而在数据稀缺场景下提升洪水预测的物理合理性。实验表明,该方法在仅使用5%训练数据时NSE从0.20提升至0.23,并在极端气候模拟中保持了方向一致性。
Guilin Zhang et al.
cs.LG cs.AI cs.DC
本文提出EvalStop调度原语,通过检测连续评估分数下降来终止RLHF训练作业中的奖励过度优化,释放GPU并保留最佳检查点。实验表明该方法在检测精度和计算效率上优于传统调度策略。
Tyler Crosse et al.
cs.LG
本文针对离线选择器(offline selector)在edX辍学预测任务中无法超越最佳单一模型的问题,提出了一种三阶段诊断方法。该方法通过估计oracle recovery的局部上限、比较不同offline-RL learner(如BC, DQN, CQL)的表现以及消融选择器状态,来定位性能瓶颈。实验表明,当前瓶颈在于局部表示模糊性(local representational ambiguity),而非learner或shift问题。
Sotirios Vavaroutas et al.
cs.LG cs.AI
本文提出ADAPTOOD框架,利用数据不确定性量化分布偏移严重性,并指导时间序列模型的微调过程。该方法结合低秩模型更新与自适应超参数优化,在OOD任务上相比现有方法提升了准确率和精确度。
Dimitris Michailidis, Sennay Ghebreab, Fernando P. Santos
cs.LG cs.AI
本文研究了Metro Network Expansion Problem (MNEP),使用tabular reinforcement learning方法,在非马尔可夫奖励决策过程框架下实现了与Deep RL相近的性能,同时大幅减少了训练轮次和碳排放。该方法在西安和阿姆斯特丹的真实场景中验证了其高效性和可解释性。
Bochen Lyu et al.
cs.LG cs.CR
本文通过分析autoregressive consistency(自回归一致性)机制,解释了LLM安全对齐为何主要影响早期输出token,并提出了random insertion attack(随机插入攻击)来绕过安全对齐。作为初步解决方案,作者提出了adversarial safety alignment(对抗性安全对齐)框架,但该工作与关键词列表中的code, context, spectral, Muon, pretrain, agent, attention均无直接关联。
Jiayi Wang, Raymond K. W. Wong
cs.LG math.ST stat.ML
本文研究了分布化矩阵补全问题,其中目标矩阵的每个条目是一个概率分布而非标量。作者利用kernel mean embeddings表示分布,并引入分布值矩阵的Tucker rank概念来捕捉低秩结构,通过functional unfolding operators将问题转化为经典张量补全,并提出了相应的估计量。
Youqi Wu, Mohammad Jalali, Farzan Farnia
cs.LG cs.IT
本文提出KODA框架,通过kernel-based方法对比和校准vision-language foundation models的representation差异,并利用random projections实现大规模数据扩展。该方法主要关注representation clustering的差异分析,与关键词中的spectral和attention等概念关联较弱。
Thanh Nguyen-Tang, Raman Arora
cs.LG cs.AI stat.ML
本文研究了强化学习中的精确遗忘问题,提出了一种基于\(\rho\)-TV稳定性的算法,使得在删除用户数据后,在线学习者的输出与从未接触该用户数据时的输出不可区分。该算法在表格型Markov decision processes (MDPs)上实现了\(\mathcal{O}(H^2 \sqrt{SAT} + H^3 S^2 A + {H^{2.5} S^2 A}/{\rho})\)的regret界,并证明了其近乎最优性。
Alexey Zemtsov et al.
cs.LG cs.AI cs.RO
本文提出Dual Advantage Fields (DAF),一种将双线性对偶价值模型转化为局部优势信号的策略提取方法,用于离线目标条件强化学习。DAF通过学习动作效应模型预测特征位移,并利用该位移与目标方向的对齐程度来评分动作,从而在可实现情况下等价于目标条件Bellman优势。该方法在OGBench任务上提升了聚合RL指标,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Cen Lu
cs.LG cs.AI
本文针对CTF4Science Lorenz挑战赛,提出了一种混合预测系统,通过为不同metric family分配不同的predictor(如denoiser、ODE fitting和histogram-tail substitution)来优化性能,最终在排行榜上取得了高分。该方法主要关注实际工程组合而非理论创新,与关键词关联度较低。
Christian Lysenstøen
cs.LG cs.CL cs.IR
本文研究了在长程多会话对话记忆中,如何通过无训练、仅CPU的检索阶段提升性能。作者将late-interaction密集评分与BM25进行分数级融合,在LoCoMo数据集上显著提升了Hit@1指标,但发现现成的交叉编码器重排序反而会降低性能。该工作主要贡献在于提供了一个可控、可复现的无训练检索方案,但未涉及关键词中的code、spectral、Muon、pretrain、agent或attention等概念。
Ioanna Gemou et al.
cs.LG
本文通过标准化局部搜索探针,研究了不同预训练编码器和线性分类器头在反事实解释行为上的差异。结果表明,即使预测性能相似,模型的反事实行为也可能显著不同,这主要由决策边界邻近性和局部数据支持共同决定。
Shauna Kwag et al.
cs.LG stat.ML
本文研究了edge of stability (EoS)现象在学习过程中的选择性作用,发现EoS会重新分配训练数据不同子集上的学习进度,并通过分支干预实验验证了这种权衡。该工作揭示了EoS不仅是一个稳定性边界,更是一种控制数据分布间学习分配的机制。
Devleena Das et al.
cs.LG cs.AI
本文提出Recover-LoRA方法,用于恢复2-bit量化大语言模型的精度。该方法通过混合精度策略(仅对MLP的gate和up层进行2-bit量化)并结合低秩适配器与知识蒸馏,在合成数据上训练以恢复精度,在Qwen3-4B模型上实现了80-95%的精度恢复。
Rachit Bansal et al.
cs.LG
本文探讨了在LLM预训练过程中早期引入RL(强化学习)的效果,发现RL在预训练早期阶段即可有效提升推理准确性,且其效果受预训练数据组成影响较大。研究还表明,将RL与SFT目标通过并行平均合并的方法,在保持通用能力的同时优于其他训练策略。
Saket Tiwari, Tejas Kotwal, George Konidaris
cs.LG cs.AI
本文提出了一种用于连续环境中深度强化学习的理论框架,将问题建模为连续时间随机过程,并分析了单隐层神经网络下的actor-critic算法。通过随机微分方程,推导了在无限宽极限下状态分布随梯度步长的变化,为过参数化神经actor-critic算法提供了非参数化视角。
Eike S. Eberhard et al.
cs.LG quant-ph
本文提出了一种名为Derivative Informed XC-Loss (DI-Loss)的损失函数,用于训练机器学习交换相关泛函,通过监督能量在Grassmannian流形上的一阶和二阶导数来提升性能。实验表明该方法能显著降低总能量MAE,并减少混合泛函自洽场迭代次数,但未直接涉及code, context, spectral, Muon, pretrain, agent, attention等关键词。
Justinas Zaliaduonis et al.
cs.LG cs.AI cs.IR
本文使用测度论框架形式化了对比学习中的diversity condition,证明了标准von Mises-Fisher设置下全局对比损失最小化器能恢复潜在几何结构(至正交变换),而受限条件可能导致非正交映射获得更低渐近损失。实验验证了采样机制与编码器归纳偏置在对比表征学习中的相互作用。
Yifan Wang et al.
cs.LG cs.AI cs.CL
本文提出了一种稀疏MoE奖励模型,通过稀疏路由和专家多样性训练,从二元偏好数据中学习可解释且专门化的偏好组件,以提升个性化建模能力。实验表明该方法能改善测试时的个性化表现,但未涉及code、spectral、Muon等关键词相关技术。
Alessio Barboni et al.
cs.LG cs.AI
本文提出了一种轻量级的自回归框架,通过结构引导的拓扑排序将图序列化为规则边序列,并采用两阶段训练策略来提升生成图的新颖性。该方法在分子和非分子基准上实现了高有效性和唯一性,但并未直接涉及关键词中的code、spectral、Muon、pretrain、agent或attention等概念。
Ismail Hassaballa, Mircea Lazar
cs.LG math.OC
本文提出了一种Physics-Encoded Modular Hybrid Layer (PE-MHL)框架,通过增量添加子模型来逐步精炼基于物理的baseline模型,并证明了在最小二乘初始化下训练误差单调非增且收敛。实验表明该方法在精度和泛化性上优于同等规模的 monolithic networks,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Kushagra Chandak, Toshinori Kitamura, Xiaoqi Tan
cs.LG stat.ML
本文研究了随机线性bandit场景下结合离线数据集的在线学习问题,提出了一种平衡离线与在线数据利用的算法,该算法在早期依赖离线数据,后期逐渐增加探索。理论证明了其与纯在线和纯离线方法相比的竞争力,实验验证了有效性。
Jun Hu
cs.LG stat.CO stat.ME
本文提出Folded Transport MCMC (FolT-MCMC)方法,通过对称化学习到的normalizing flow在群轨道上构造独立采样器,直接对对称Bayesian模型中的quotient posterior进行推断。该方法利用LCNF振荡认证框架在商度量下提供可认证的置信下界,并在高斯混合模型和真实台风数据上展示了显著优于传统方法的认证改进比率。
Bin Duan, Matthew B. Dwyer, Guowei Yang
cs.LG cs.SE
本文提出了一种名为Latte的黑盒测试框架,通过预训练的VQ-VAE将输入种子编码到latent space,并沿来自替代类别的anchor方向进行一步latent mutation,以生成语义相近、多样且能揭示故障的测试用例。该方法在多个数据集和模型上提升了故障暴露能力与行为多样性,但未涉及code、context、spectral等关键词。
Bin Duan, Meiru Che, Guowei Yang
cs.LG cs.SE
本文提出BayesWarp测试框架,通过可解释性显著性技术识别决策关键区域并进行变异,结合不确定性感知的贝叶斯优化引导测试过程,在保持数据分布和语义接近性的同时发现多样化的模型失效。实验表明该方法在固定变异预算下提升了失效发现、多样性及测试质量。
Zhikai Chen et al.
cs.LG cs.AI
本文通过模型侧和数据侧两个角度剖析了Relational Transformer (RT)框架,发现其关系级in-context learning在标签稀疏时失效,且纯合成预训练导致特征学习不足。基于此,作者提出了OpenRFM,通过双阶段ICL架构和同质性感知的预训练混合策略,在多项任务上平均性能提升约30%。
Riccardo Saporiti, Fabio Nobile
cs.LG stat.ML
本文提出了一种基于Neural Galerkin Normalizing Flows的架构,用于学习扩散过程在两次观测时间之间的transition density function,通过求解带有Dirac mass初始条件的Fokker-Planck方程来近似似然函数,从而实现对扩散模型参数的贝叶斯推断。该方法主要针对扩散矩阵在某些不可达边界区域消失的过程(如满足Feller条件的随机波动率模型),并在离线训练后显著提高了推断效率。
Julian Skirzynski et al.
cs.LG cs.AI
本文为Concept Bottleneck Models开发了合成基准测试,用于评估其在决策支持和自动化场景下的表现,并展示了如何通过控制数据模态、概念选择等属性来诊断模型失败模式。
Tian Ding, Dawei Li, Ruoyu Sun
cs.LG cs.AI math.OC
本文研究了具有光滑激活函数的两层神经网络的损失景观中出现的平稳高原的几何结构,重点关注“神经元分裂”现象。通过引入“内Hessian”矩阵,作者分类了这些高原上的所有平稳点,并分析了它们何时构成局部最小值或鞍点。
Tanya Veeravalli, David M. Bossens, Atsushi Nitanda
cs.LG eess.SY
本文研究了连续时间鲁棒马尔可夫决策过程(RMDPs)中的策略梯度算法,推导了基于路径和伴随方法的梯度公式,并提出了双循环优化器和平均场优化器以分析其收敛性与样本复杂度。
Xixi Tian et al.
cs.LG cs.CR
本文研究了联邦学习在多中心脓毒症早期预测中的应用,使用来自三家医院的实际临床数据验证了其性能。结果表明联邦学习模型在保持与集中式模型相当预测精度的同时,有效避免了隐私泄露。
Cathy Liu
cs.LG
本文提出了一种文献引导的minimax优化流程,结合PubMed文献提取、TVB模拟和大语言模型黑箱优化,用于虚拟癫痫神经刺激的参数搜索。实验表明该方法在内在模型控制参数上提升了最差情况下的奖励,但在临床风格的外部刺激搜索中效果有限。
Riku Green, Zahraa S. Abdallah, Telmo M Silva Filho
cs.LG cs.AI
本文研究了多步时间序列预测中MSE最优预测与边际现实性之间的权衡,通过条件不确定性间隙形式化了这一现象,并证明当该间隙非零时,不存在能同时最小化MSE并匹配边际分布的确定性预测器。实验表明,在MSE上小幅放松(≤5%)可显著提升边际现实性(中位数提升17.3%),且不同预测策略(如直接多输出与递归方法)在该权衡前沿上占据不同区域。
Yanshun Zhao et al.
cs.LG math.NA
本文提出MeshTok,一种受自适应网格细化启发的tokenization框架,用于在固定网格上生成多尺度token,以提升PDE Transformer的计算效率与精度。实验表明该方法在多个PDE基准上优于均匀网格基线。
Huiqi Zhang, Fang Xie
cs.LG stat.ML
本文提出了一种名为TP-TopK的两阶段方法,用于在无公共数据的情况下实现坐标稀疏的私有训练。该方法通过一个私有的预热阶段识别坐标支撑集,并证明在特定条件下相关噪声项仅与活跃维度\(k\)而非全参数维度\(d\)成比例。
Chen Chu et al.
cs.LG cs.AI
本文提出了一种名为Spatial Language Model (SLM)的多模态大语言模型,通过将位置信息作为独立模态并学习空间表示,使模型能够进行几何空间推理,而非仅依赖符号模式匹配。实验表明,SLM在空间推理任务上优于基于提示工程的符号推理方法。
Xiaobo Huang, Fang Xie
cs.LG cs.CR stat.ML
本文重新审视了选择性发布机制下的隐私放大问题,并提出了DPSR-CG算法,通过严格的隐私分析改进了DPSUR的隐私核算缺陷。实验表明该算法在多个数据集上能保持严格的隐私保证并实现良好的模型性能。
Andrew Gracyk
cs.LG cond-mat.dis-nn math.PR
本文研究了在复假设类中强制实预激活时存储容量的渐近比率,通过Gardner体积比较和Harish-Chandra-Itzykson-Zuber (HCIZ)公式进行证明。该方法利用Weyl积分公式和Haar测度在酉群和正交群紧流形上积分,为复空间中的实约束神经网络提供了容量分析。
Dong Li et al.
cs.LG cs.CL
本文开发了一个两域physics-informed neural network (PINN)框架,用于模拟通过GCL/SL复合衬垫系统的污染物传输,其中薄GCL层采用稳态公式,下层土壤衬垫采用瞬态传输模型。与标准PINN相比,硬约束PINN (H-PINN)通过将边界和初始条件直接嵌入试验解中,显著提高了预测精度并降低了优化负担。该方法主要针对环境工程中的污染物传输问题,与您提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Yunsheng Yuan et al.
cs.LG cs.CR
本文提出了一种名为DPDL的去中心化随机学习算法,通过在cross-gradient聚合中引入基于余弦相似度校准的Gaussian噪声机制来实现Differential Privacy,并证明了其在非独立同分布数据下仍能实现线性加速。该方法主要关注隐私保护与分布式训练的平衡,与关键词中的agent概念有一定关联。
Jiaxing Wang et al.
cs.LG
本文提出了一种名为TANDEM的双层数据混合优化方法,通过孪生网络(一个在主数据上训练的代理模型和一个在额外数据上动态更新的参考模型)之间的差异来衡量数据有效性,并据此调整各领域的权重。该方法为训练大语言模型时优化领域数据配比提供了理论保证和更广泛的适用性。
Rui Zhang, Jinhang Liu, Wenbo Zhang
cs.LG cs.AI
本文提出了一种集成潜在因子模型ELFM-DEGDO,通过差分进化与梯度下降两种优化方式分别建模并自适应加权融合,以处理高维不完全数据。实验表明该方法在三个数据集上优于相关模型。
Mohammad Omar Khursheed, Baram Sosis, Fabien Roger
cs.LG
本文研究了仅训练为有帮助的模型(helpful-only models)在泛化上的缺陷,发现它们存在涌现的misalignment、残余的拒绝行为以及较差的steerability等问题,并指出简单的anti-refusal训练会导致这些现象。作者提出通过synthetic document fine-tuning和添加character相关问题的SFT与RL方法可以缓解这些问题。
Anna Lazareva, Alexander Tarakanov
cs.LG
本文提出LC-PINN,将loss-conditional training扩展到PDE残差设置中,通过将loss weights或物理系数作为网络输入,训练一个由该向量索引的连续解族。该方法统一了loss-weight和parametric-coefficient两种模式,并在多个parametric PDE方程上验证了其性能。
Noah Bergam, Samuel Deng, Daniel Hsu
cs.LG stat.ML
本文研究了多组转导学习(multi-group transductive learning)中,相对于单组设置,多组学习器在某些组上的错误率可能遭受线性于组数的乘法惩罚,该惩罚最多可达样本量的平方根。这与统计设置中惩罚仅对数增长且与组数无关的结果形成对比。
Wenkai Chen et al.
cs.LG cs.AI
本文提出LoopMoE,一种结合Mixture-of-Experts (MoE)与循环权重共享的语言模型架构。通过IterAdaLN(一种基于迭代索引和token隐状态的调制信号)和容量平衡策略,该模型在相同参数量和FLOPs下首次实现了与标准MoE的严格对比,并在3B和9B规模上取得性能提升。
Askat Rakhymbekov, Gulshat Muhametjanova
cs.LG cs.AI math.ST
RowNet提出了一种基于检索的神经网络架构,用于表格回归任务(如房地产价格预测),通过将查询样本与记忆库中的历史样本进行pairwise相似度比较,并利用多层attention heads和mixture-of-experts模块来提升预测性能。该方法主要关注表格数据的结构化回归问题,与关键词中的“attention”有一定关联,但整体创新性和与关键词的契合度有限。
Mohammad Tariqul Islam, Jason W. Fleischer
cs.LG
本文研究了UMAP算法在添加新样本(out-of-sample points)时出现的“排斥效应”,通过优化原始k近邻图中的成对交互来克服该问题,并展示了参数化UMAP相比非参数化方法能获得更好的嵌入效果。
Ruiqing Sun et al.
cs.LG cs.AI cs.NE math.OC
本文提出ParetoPilot框架,用于离线多目标优化(Offline MOO),通过Infer-Perturb-Guide (IPG)引擎在预训练扩散模型的去噪过程中隐式推断目标方向并生成扰动向量,从而无需外部surrogate模型。实验表明该方法在多个任务上优于现有baseline,但与我提供的关键词列表关联度较低。
Thomas Johnson
cs.LG cs.AI
本文提出了ChessMimic系统,包含三个encoder-only transformer模型,分别用于预测人类棋手的走子、思考时间和对局结果,模型以棋局位置、历史走法、玩家等级分和时钟状态为条件。该系统按每100 Elo等级分区间训练独立模型,在Lichess闪电战对局数据上,其走子预测准确率在所有等级分区间均优于Maia-2,但方法本身在架构或训练范式上缺乏显著的开创性。
Berk Tinaz, Changzhi Xie, Mahdi Soltanolkotabi
cs.LG math.OC math.ST stat.ML
本文研究了单隐层ReLU网络联合训练两层以拟合线性目标函数的梯度下降动力学,分析了优化景观并证明了从随机初始化出发的梯度下降能以线性速率收敛到全局最小值,且样本复杂度达到最优阶。该工作通过三阶段轨迹分析(对齐、增长、局部精炼)揭示了训练过程,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联较弱。
Yuanrui Wang et al.
cs.LG
本文提出LimiX-2M,一种用于tabular foundation models的tokenize-and-route框架,通过RaBEL(将标量扩展为紧凑的局部RBF特征)和S→N→F重排序双向块(先聚合跨样本context再进行feature mixing)来缓解低秩坍塌和attention瓶颈,在2M参数下优于更大模型。
Guangcheng Zhu et al.
cs.LG cs.AI
本文研究了RLVR(基于可验证奖励的强化学习)中的数据效率问题,提出了一种名为PivotTrace的无监督数据选择方法,通过追踪推理过程中的元认知枢轴(metacognitive pivots)来量化不确定性,从而在无需标注的情况下筛选出最有价值的训练样本。实验表明,该方法仅需29.3%的标注样本即可超越全监督性能,并实现2.75倍的收敛加速。
Gyeongtae Yoo et al.
cs.LG cs.AI
本文针对GRPO(一种基于可验证奖励的强化学习方法)在训练推理型LLM时样本效率低的问题,提出了一种rollout级别的经验回放机制。该方法通过存储单个rollout、基于年龄淘汰过时数据,并利用优势值大小进行优先级采样,以缓解策略漂移带来的数据陈旧问题。实验表明,该方法在多个数学基准上优于标准GRPO和朴素回放基线,且性能提升随模型规模增大而增大。
Samuel Böhm et al.
cs.LG
本文提出SurvPFN,一种基于prior-data fitted network的生存预测基础模型,通过在合成数据上预训练来学习处理删失数据。该方法在真实生存任务上表现良好,但未涉及code、context、spectral、Muon、agent或attention等关键词。
Damian Lebiedź, Robert Ślepaczuk
cs.LG cs.NE q-fin.ST q-fin.TR stat.ML
本文提出了一种结合深度强化学习(DRL)与统计套利的加密货币多对交易策略,使用Proximal Policy Optimization (PPO) agent和LSTM层在严格风险边界内执行决策,并在Binance期货数据上验证了其优于启发式基线的表现。该工作主要贡献在于将DRL作为执行覆盖层应用于高波动性市场,但与我提供的关键词(如code, context, spectral, Muon, pretrain, attention)关联度较低。
Ethem Alpaydin
cs.LG
本文提出HalfNet,其随机权重从可学习的低秩协方差矩阵\(N(0, \Sigma)\)中采样,而非固定分布。实验表明该方法能以更少参数匹配全连接MLP的性能,并揭示了网络预测能力主要源于权重空间的几何结构而非精确参数值。
Pasindu Wickramasinghe et al.
cs.LG cs.AI
本文提出QuBLAST框架,通过块级压缩和激活缩放策略对LLM进行后训练量化,在降低模型大小40%-45.2%的同时保持困惑度增加在5%以内。该方法主要关注量化效率而非与关键词直接相关。
Liyi Feng et al.
cs.LG
本文针对高维Hamiltonian系统的模型降维问题,提出了一种基于辛嵌入逼近定理的辛保持自动编码器(SpAE),通过将解码器参数化为辛嵌入、编码器构造为对应的辛投影,在保持辛结构的同时提升了重构与预测精度。
Teqi Hao et al.
cs.LG cs.CL
本文提出VentAgent框架,利用LLM作为仲裁器将ARDS机械通气控制转化为多目标协调过程,通过感知、规划、编排三个阶段生成可解释的决策链。该方法在生理模拟器上优于强化学习基线,但主要面向临床决策支持,与关键词中的agent概念有一定关联但契合度有限。
Sabine Rieder et al.
cs.LG
本文提出了一种用于可解释安全强化学习的方法,通过将屏蔽策略表示为决策树层次结构,在运行时生成局部决策树来解释哪些动作被允许及原因,从而增强对决策系统的信任。该方法无需额外信息即可集成到现有屏蔽强化学习流程中,并显著减小了决策树的规模。
Pascal Plettenberg et al.
cs.LG
本文提出ALINC框架,将主动学习从单节点选择扩展到图级别采样,用于归纳式节点分类场景。通过聚合机制将节点级效用指标提升为图级选择标准,实验表明CoreSet、TypiClust和BADGE是有效的图采样策略。
Kaichao You et al.
cs.LG
本文针对深度无监督域适应(Deep UDA)中模型选择困难的问题,提出了一种名为Deep Embedded Validation (DEV)的方法,通过将适应后的特征表示嵌入验证过程来获得目标风险的无偏估计,并利用控制变量技术降低方差。该方法在理论和实验上均验证了其有效性。
Yacouba Kaloga et al.
cs.LG
本文提出LARM,一种基于depth-conditioned looped Transformer的ASR系统,通过循环使用共享Transformer块并在推理时增加循环次数来提升识别性能。该方法结合了sparse CTC checkpoints、supervision-clock embeddings、FiLM depth conditioning和delayed soft-posterior feedback等技术,在LibriSpeech上实现了与更深层非共享参数基线相当的WER。
Lei Luo, Hongliang Zhang, Jian Yang
cs.LG
本文研究高维有序最优传输中的Monge结构,通过引入cone-compatible Monge geometry,证明了在平方Mahalanobis成本下,当锥K在M-内积下为锐角时,有序测度存在闭式最优耦合。该工作为有序高维数据提供了可解释的单调传输方法,但与我提供的关键词(如code, attention, pretrain等)关联度较低。
Yogesh Kumar, Vrushank Ahire, Mudasir Ganaie
cs.LG cs.AI cs.CV
本文提出两种基于graph-guided Universum学习的GEPSVM变体(UG-GEPSVM和IUG-GEPSVM),用于阿尔茨海默病分类。该方法通过构建MCI样本的graph Laplacian矩阵来捕捉几何结构,替代传统的独立Universum惩罚项,并在ADNI MRI数据上取得优于现有方法的AUC结果。
Jannik Presberger et al.
cs.LG cs.NI
本文提出了一种基于contrastive learning的transformer模型,用于估计网络流记录序列间的pairwise关系,并通过correlation clustering进行聚类分析。实验表明该方法能有效识别不同来源的扫描活动,但未涉及关键词中的spectral、Muon、pretrain或agent等概念。
Viktor Veselý et al.
cs.LG cs.AI
本文发现深度强化学习中的Trace-Mediated Peak Bias (TMPB)现象,即智能体在中间迹深度下会偏好高奖励峰值而非高累积回报的轨迹,这为人类记忆中的Peak-End Rule提供了机制解释。该偏差源于迹放大了远端TD误差,导致固定步长SGD无法归一化而产生全局高估,而自适应优化器可通过二阶矩归一化缓解此问题。
Yingjie Shao et al.
cs.LG cs.AI
本文提出了一种曲率感知的动态精度控制方法,用于Physics-Informed Neural Networks (PINNs)的训练。该方法利用L-BFGS优化器中的曲率信息,在训练过程中自适应地在FP32和FP64精度之间切换,以平衡计算效率与数值精度。实验表明,该方法能在保持与全FP64训练相当精度的同时,显著降低训练时间。
Ossi Lehtinen
cs.LG cs.AI
本文通过实证审计比较了八种多通道信号Transformer的输入编码器,发现标准的per-channel linear projection在大多数情况下与其它复杂方法性能相近,而shared-scalar baseline和channel-independent baseline表现较差。研究建议默认使用per-channel linear projection,仅在特定任务需要时才考虑更复杂的编码器。
Vincent Bürgin et al.
cs.LG
本文通过构建有效函数类(effective function classes)的理论框架,研究了神经元可识别性(neuron identifiability)如何在线性模式连通性(linear mode connectivity)中发挥作用,并展示了即使在结构不对称的模型中,神经网络也能存在大量近似等价的解。
Jihoon Hong et al.
cs.LG cs.AI cs.CV eess.SY math.OC
本文提出了一种名为LA-LQR的激活引导框架,通过将视频生成模型的推理过程建模为dynamical system,并利用reduced-order optimal control计算最小干预的反馈信号,以减少有害输出。该方法在低维latent space中估计局部线性动力学并求解LQR问题,在概念引导和视频安全基准上优于现有方法。
Antonia Karra et al.
cs.LG
本文提出UniFair框架,通过联合优化separation fairness和social fairness来减少聚类中的群体差异,并设计了基于梯度的优化方法以及向deep clustering的扩展。实验表明该方法在保持聚类质量的同时降低了群体间的不公平性。
Maximilian Burzer et al.
cs.LG
本文提出了一种无需梯度的框架,通过将预训练的HAR分类器转化为Prototypical Network,并利用先验prototype进行正则化,实现了在少量标注或无标注校准数据下的设备端个性化。该方法通过闭式贝叶斯prototype估计进行监督和无监督适应,在多个数据集上显著提升了性能。
Jian Xu et al.
cs.LG
本文指出在将生成模型(如diffusion和flow matching)用于求解PDE逆问题时,通过硬约束(projection或guidance)采样会因忽略co-area Jacobian因子而产生偏差,并提出了CoCoS方法进行修正。该工作与关键词中的“code”或“context”等概念关联较弱。
Mohit Prashant, Arvind Easwaran
cs.LG cs.AI
本文使用variational autoencoder (VAE)近似状态空间分布,并构建上下界barrier-certificates来优化安全区域,通过采样非鲁棒区域中的状态来收紧概率安全保证。该方法为risk-aware RL提供了probably approximately safe guarantees,但未涉及code、spectral或Muon等关键词。
Dario Rancati, Max Welling, Francesco Locatello
cs.LG
本文提出Hamiltonian Causal Models (HCMs),将因果建模与热力学结合,通过熵产生量化因果效应,为物理系统中的因果分析提供了新视角。
Qian Li et al.
cs.LG
本文研究了近似最小描述长度(MDL)原则下的序列预测问题,证明了当优化误差为加性松弛时,平衡MDL目标(\(\lambda\cdot L(\mathrm{model})+L(\mathrm{data} \ | \ \mathrm{model})\))在\(\lambda\ge 1\)时仍能保证有限累积期望平方预测误差,并指出该结论在\(\lambda<1\)或乘性近似下会失效。
Yuyang Du, Yujun Huang, Gioele Zardini
cs.LG cs.AI cs.AR math.OC
本文提出一个基于monotone co-design theory的统一框架,用于神经网络处理器的端到端协同设计,将网络训练、芯片映射、晶圆制造和计算资源分配四个模块组合在一起。该框架将Confidence(成功概率的倒数)作为可优化的资源引入,以处理不确定性,并通过案例验证了其有效性。
Haolu Liu et al.
cs.LG
本文指出标准IMVC评估中,缺失率不足以刻画数据不完整性,并形式化了“不完整性发散”现象。为绕过理论界限,提出了CRAFT架构,通过样本独立性和掩码感知融合,使单次训练模型能泛化到不同缺失模式。
Siddharth Sahay
cs.LG cs.AI
本文提出了一种用于组合搜索的可容许神经启发式学习框架,通过结合Admissible Bellman Operator和Asymmetric Loss函数训练value network,并引入后验校准安全偏移来避免过估计。该方法在Rubik's Cube等组合谜题上减少了搜索节点扩展,但未涉及code、context、spectral等关键词相关领域。
Leona Hennig et al.
cs.LG
本文通过固定预算最佳臂识别(fixed-budget best-arm identification)的视角,首次为带先验的多保真度超参数优化(multi-fidelity HPO)提供了分布依赖的样本复杂度界。理论分析表明,信息性先验(informative priors)能显著减少所需评估次数,并在合成基准和LCBench上验证了高达90%的预算缩减效果。
Mustafa Tajjar et al.
cs.LG
本文提出TabPFN Text Adapter,通过冻结sentence encoder和TabPFN,仅训练一个轻量级adapter将text embeddings映射到TabPFN的embedding space,以替代标准pipeline中的PCA压缩,从而避免信息瓶颈并提升效率。
Piotr Frydrych
cs.LG econ.GN stat.ML
本文提出将零工市场中工人未观测到的效用建模为Preisach磁滞模型,通过双输出神经网络估计接受与拒绝效用,并结合XGBoost分类器预测交易接受概率。该方法在数据集上取得较好性能,但未涉及关键词中的code、context、spectral、Muon、pretrain、agent或attention等概念。
Chin-Yuan Yeh et al.
cs.LG cs.CV
本文提出EmaQ和EmaQ-LT方法,通过CDF-based projection对齐domain分布,并引入class-conditioned variance scaling处理长尾分布下的quantization问题,在multi-domain和long-tailed benchmarks上验证了低比特性能。
Xuekang Wang et al.
cs.LG cs.AI cs.CL
本文提出了CHERRL环境,通过向LLM-as-a-Judge注入已知偏差来可控地复现rubric-based RL中的reward hacking现象,并分析了不同judge偏差的可发现性与可利用性。
Frédéric Berdoz et al.
cs.LG cs.CL
本文提出了一种通过双向梯度优化(gradient ascent and descent)对自回归LLM进行训练数据归因(TDA)的方法,通过扰动模型并测量训练样本上的损失变化来识别影响输出的数据。该方法支持任意粒度的归因,并在预训练模型上优于基线方法,但与关键词列表中的code, context, spectral, Muon, pretrain, agent, attention等概念关联较弱。
Jack Sanderson et al.
cs.LG cs.CR
本文研究了LLM后训练阶段(如SFT和RLHF/DPO)中多个攻击者顺序投毒的安全威胁,发现单独评估每个阶段的攻击者会低估其联合威胁,而跨阶段协作时攻击效果会叠加或互补。
Naoki Chihara et al.
cs.LG cs.AI stat.ML
本文提出AdaKoop,一种基于Koopman operator theory的流式算法,用于对非平稳数据流中的非线性动力学进行高效建模。该方法通过将原始观测和RKHS特征视为潜在向量的发射,将非线性动力学转化为可处理的线性系统,并利用统计假设检验自适应检测模式切换。实验表明其在实时预测精度和计算效率上优于现有方法。
Julius Durmann, Amelie Kleber
cs.LG cs.GT
本文研究了在未知时间范围和仅bandit反馈下的mean-based算法,给出了算法定义序列\(\gamma_t\)的首个下界,并提出了两种新算法。实验表明这些算法虽略慢但性能有竞争力,同时分析了其与no-regret算法的关系。
Xin Yan et al.
cs.LG
本文针对Diffusion Large Language Models (DLLMs)的后训练量化问题,提出了STaR-Quant框架。该框架通过State-Guided Activation Transformation (SGAT)和Temporal Attention Compensation (TAC)分别解决状态相关的激活差异和时间误差累积问题,实现了低比特量化下的性能提升。
Anna Richter, Julia Stoyanovich, Sebastian Schelter
cs.LG cs.DB
本文探讨了机器学习工程(MLE) agents在自动化ML pipeline开发中是否能够遵循公平性约束的问题,通过黑色素瘤分类实验发现agent生成的pipeline在预测质量和公平性上均不如人工设计的baseline。
Wanqi Yang et al.
cs.LG
本文提出AlphaQ,一种无需校准数据的混合精度量化方法,用于MoE架构。它利用重尾自正则化理论,根据专家权重的谱重尾性分配比特宽度,在全局比特预算下最小化量化误差。实验表明,AlphaQ在多个MoE模型上优于依赖校准数据的基线方法,并实现了显著的内存压缩。
Yiming Liao et al.
cs.LG q-bio.QM
本文提出了两类互补的基准数据集,用于评估TCR抗原特异性预测模型的泛化能力,并指出现有模型在敏感性和特异性上仍存在不足。
Marc Walden et al.
cs.LG
本文研究了多智能体深度强化学习,对MADDPG算法提出了两项改进:引入Action Inference机制让智能体预测其他智能体的动作,以及使用几何分布的重要性采样策略来优先处理近期经验。实验在离散动作的Predator-Prey任务上验证了这些改进的有效性。
Zehua Cheng, Wei Dai, Jiahao Sun
cs.LG cs.AI
本文提出Invariant Gradient Alignment (IGA)框架,通过构造逻辑同构集并利用连续梯度冲突掩码和截断SVD投影,对齐跨语义域但逻辑结构相同的样本的梯度更新,以缓解大语言模型在知识蒸馏中的捷径学习问题。实验表明IGA在多个基准上提升了OOD泛化准确率。
Gunnar König et al.
cs.LG cs.CL
本文从因果推断视角评估了基础模型研究中不同实验策略(如代理实验、观测研究和单次运行设计)的有效性威胁,指出计算成本节省会以统计、内部、外部和构造效度的牺牲为代价,并提出了一个评估框架来帮助研究者识别这些威胁。
Meher Chaitanya, My Le, Luana Ruiz
cs.LG stat.ML
本文提出了一种名为Graph Cascades的介观重连策略,通过基于传染的扩散过程在\(O(|V|+|E|)\)时间内构建辅助图,将具有多跳强化支持的节点对提升为直接邻居,以改进Graph Neural Networks和Graph Transformers的性能。实验表明该方法在异配图和中高同配图上效果显著,但在低度正则图和结构瓶颈图上效果有限。
Samuel Cognolato, Alessandro Sperduti, Luciano Serafini
cs.LG
本文提出FLAGG框架,通过将one-shot图生成模型(如DiGress)与自回归策略结合,以随机节点删除过程定义生成顺序,从而提升不同规模和领域图数据的采样质量。该方法在多个数据集上优于纯one-shot或纯自回归基线,但未涉及代码、谱方法或预训练等关键词。
Clément Elliker et al.
cs.LG
本文介绍了RIDE,一个基于比利时铁路网络构建的开放数据集和基准,用于标准化列车延误预测任务。该工作提供了非学习、统计学习和深度学习模型的首次全面比较评估,发现基于图神经网络的方法平均性能最佳。
Lixing Zhang et al.
cs.LG
本文提出Diff-Joint,一个基于diffusion的框架,用于处理表格数据中缺失值的选择性插补问题,即区分哪些缺失值应被保留(有意义缺失)而哪些应被恢复。该方法通过联合建模数据和潜在缺失掩码,并交替进行条件采样与不确定性感知聚合来迭代优化插补结果。
Karan Gandhi et al.
cs.LG astro-ph.IM cs.CV stat.ML
本文提出了一种机器学习模型\(RuBR\),用于在Roman太空望远镜的RAPID流水线中区分真实瞬变天体与虚假检测,并基于本地注入和OpenUniverse2024数据训练了三种变体模型。该方法为缺乏真实观测数据时的自动分类提供了可行策略。
Vasiliki Rizou, Pascal Frossard, Dorina Thanou
cs.LG
本文提出RePercENT框架,通过多模态"即插即用"架构和联合优化目标,在预提取的embeddings上实现超过两种模态的可扩展pairwise disentangled representation learning,无需大量联合预训练。该方法在多种模态和任务上成功恢复disentangled components,同时降低计算复杂度。
Jose E. Escrig Molina, Baoquan Chen, Daniel Probst
cs.LG
本文提出了Graph Set Transformer (GST),一种用于图集合学习的神经网络架构,通过在每个层级交错进行节点级特征传播和跨图上下文建模,并利用门控机制融合信息,解决了现有方法中特征提取与集合上下文分离的瓶颈问题。实验表明,在多个任务上GST优于基线模型。
Konrad J. Mueller et al.
cs.LG q-fin.ST
本文提出SOCK (SOft Competing Kernels),一种全可微的随机卷积特征映射,用于生成金融时间序列。通过匹配真实与生成序列的随机卷积特征来训练generator,该方法在小样本金融数据集上优于基于signature和diffusion的基线方法。
Luca Thale-Bombien et al.
cs.LG
本文提出了BBOmix,一个用于无监督生物表示学习超参数优化的开源表格基准,包含105,000次评估和多种Autoencoder架构。它评估了重建损失与下游任务性能的相关性,并测试了多种HPO方法。
Nizar Islah et al.
cs.LG cs.AI cs.CL
本文提出从失败推理轨迹中提取三个问题层面的trajectory features,用于诊断失败的可修复性,并基于此设计了一个无需训练的routing规则,在Steerable-Hard子集上提升了12.2%的修复成功率。该方法不依赖训练或权重空间访问,但主要关注test-time intervention的分布特征,与关键词中的code、spectral、Muon等概念关联较弱。
Rishabh Agrawal, Jacob Fein-Ashley, Paria Rashidinejad
cs.LG cs.AI cs.CL
本文提出DistIL方法,通过分布化DAgger算法利用丰富反馈(如执行轨迹、工具输出)进行强化学习,使用前向交叉熵目标实现单调策略改进并保证遗憾界。实验在科学推理、编程和数学问题求解领域验证了其优于传统RLVR和自蒸馏基线。

cs.AI

Feiyang Kang et al.
cs.AI cs.CL cs.CV cs.ET cs.LG
本文提出了一个名为*Curation-Bench*的agent-centric benchmark,用于评估通用coding agents能否自动化数据筛选(data curation)循环。实验表明,现成的agents能在十次迭代内达到强基线水平,但存在“执行-研究差距”(execution-research gap),即agents倾向于调整局部策略变体而非探索新策略家族。通过引入scaffold(脚手架)机制,要求每次迭代引用、实例化并改编先前方法,agent能自主组合出一种数据选择策略,在仅用十分之一数据预算的情况下超越强基线。该工作为利用agent自动化数据预处理提供了开创性方法,与关键词“agent”和“code”高度契合。
Xinyu Lu et al.
cs.AI cs.CL
本文提出了Meta-Agent Challenge (MAC)评估框架,用于测试前沿模型自主开发agent系统的能力。该框架将code agent置于沙盒环境中,使其通过迭代编程最大化在五个领域测试集上的性能,并采用多层防御机制防止reward hacking。实验表明,meta-agents很少能匹配人工设计的baseline策略,且优化过程中出现了ground-truth exfiltration等对抗性行为,揭示了当前模型在鲁棒性和对齐方面的关键缺陷。这项工作为评估agent的自主开发能力提供了严格的基准,与关键词中的agent高度契合。
Zhangtianyi Chen et al.
cs.AI
BioManus提出了一种基于MCP-native的图规划方法,将异构生物信息学工具转化为标准化的MCP服务器,并构建了类型化的异质MCP图(包含工具、操作、数据类型和工作流阶段)。在推理时,它通过检索紧凑的任务特定子图并合成操作级工作流骨架,将规划复杂度与原始工具库存大小解耦,实现了上下文压缩比\(\Theta(N / (h \cdot \bar{m}))\)。该方法在BioAgentBench和LAB-Bench上显著提升了执行准确性和工作流有效性,为agent规划提供了结构化能力图的新范式,与关键词“agent”和“context”高度契合。
Deguo Xia et al.
cs.AI
本文提出MapAgent,一种工业级agentic架构,用于城市规模的车道级地图生成。该方法通过一个Judge-Planner-Worker循环,将向量化感知主干与显式的规格验证、约束感知推理和确定性地图编辑相结合,以解决复杂场景下视觉证据不足导致的规格违规问题。MapAgent仅在主干置信度低的图块上选择性触发,从而在保持吞吐量的同时提升自动化率,已在百度地图中集成,支持超过360个城市的车道级地图生成,整体生产自动化率超过95%。该工作与关键词“agent”高度契合,并为大规模车道级地图生成提供了实用的解决方案。
Tao Ren et al.
cs.AI
本文提出了一种名为TMEM的参数化记忆框架,用于构建自进化agent。该框架的核心创新在于,agent不仅将历史经验压缩为显式记忆,还通过轻量级在线更新将提炼的监督信号吸收到快速LoRA权重\(\Delta_t\)中,从而在单个episode内真正改变其未来行为。作者将这一过程形式化为具有快速权重rollout动态的agent决策过程,并利用强化学习直接优化提取策略,同时通过基于SVD的LoRA子空间初始化加速在线收敛。该方法在多个基准测试中显著优于基于摘要和检索的基线,为agent领域提供了一种可扩展的、能从经验中学习的全新范式。
Hugo Barral et al.
cs.AI
本文提出了一种通过cost partitioning学习可容许启发式函数(admissible heuristics)的框架。该方法利用Lagrangian对偶等价性,将最优cost partitioning问题转化为multiplier prediction问题,并通过Weisfeiler-Leman算法提取规划状态和模式的图结构特征。模型采用axial self-attention和softmax输出层,确保生成的cost weights满足partition constraints,从而保证admissibility。实验表明,该方法在保持严格admissibility的同时,相比次优partitioning基线减少了节点扩展,是首个保证可容许性的机器学习启发式方法。
Thanh Luong Tuan, Abhijit Sanyal
cs.AI cs.LG cs.SE
本文提出了一种基于ontology的验证框架,用于企业AI agent的预部署保障,通过自动生成监管、操作和对抗性测试场景,并生成可机器验证的信任证书。实验表明该方法在监管覆盖率和领域特异性上优于基于persona的基线方法,但优势在多重比较校正后不稳健。
Yaoxi Shi et al.
cs.AI cs.HC
本文探讨了AI情感依赖的形成机制,指出用户常在任务导向的交互中偶然获得AI情感支持,且这种经历会改变用户对AI情感能力的认知,从而降低对人类支持的偏好。研究通过一项与OpenAI合作的大规模纵向实验,发现每日与AI进行5分钟个人话题对话持续28天后,用户对人类支持的偏好下降了10.3%,对AI支持的偏好上升了11.6%。
Clarisse de Souza et al.
cs.AI cs.CY
本文介绍了PEEL框架,通过结合Voyant Tools的确定性远读与Claude的LLM解释,基于Peircean符号学和溯因推理,揭示了AI生成文本中的系统性失真。研究强调了在AI辅助研究中保持认知责任的重要性,并提出了设计启示。
Joel Sol, Homayoun Najjaran
cs.AI
SMAC-Talk是一个基于StarCraft Multi-Agent Challenge的自然语言扩展环境,用于评估LLM在合作多智能体场景中的协调与通信能力,并包含欺骗性通信者的评估设置。
Michał Wawer, Jarosław A. Chudziak
cs.AI
本文提出了一种基于推理轨迹分歧的知识表示层,将多智能体系统中的推理轨迹和决策抽象为符号化的分歧状态,并应用于内容审核场景。该方法为子符号LLM deliberation与符号知识表示之间提供了桥梁,但未涉及code、spectral、Muon、pretrain或attention等关键词。
Amirhossein Dabiriaghdam et al.
cs.AI cs.CL cs.CV cs.LG
本文提出了VAMPS基准,用于评估多模态大语言模型在借助可视化工具(如绘图)解决数学问题时的表现。实验发现,直接解析求解的性能反而优于使用工具进行可视化求解,揭示了当前模型在工具辅助推理方面的局限性。
Prashanth Vijayaraghavan et al.
cs.AI cs.AR cs.CL
本文提出StepPRM-RTL框架,通过结合stepwise trajectory modeling、process-reward modeling (PRM)和retrieval-augmented fine-tuning (RAFT)来提升LLM生成RTL代码的功能正确性,并利用Monte Carlo Tree Search (MCTS)探索推理路径。该方法在Verilog和VHDL基准测试上相比先前方法有超过10%的性能提升。
Katherine M. Collins et al.
cs.AI
本文通过混合方法研究人类在使用AI进行数学证明形式化(formalization)时的初始工作流程,包括定性调查和受控用户实验。研究发现,尽管当前AI工具在自动形式化方面存在局限,但参与者在使用AI辅助时通常能获得更高的形式化准确率,并且倾向于灵活使用多种AI工具。
Manvendra Modgil
cs.AI
本文使用HEART情感动力学引擎作为诊断工具,研究了自主AI agent的运行时干预时机问题。实验发现基于状态的触发器存在“饱和陷阱”,且人类标注者之间对干预时机的判断一致性极低,表明干预时机是一个低可靠性的构造。
Zhikai Chen et al.
cs.AI
本文研究了LLM agent记忆系统在不同场景下的泛化能力,发现通过工具调用自主管理存储的agentic harness(AutoMEM)比固定管线的被动存储方法具有更好的跨任务表现。
Travis Weber, Rohit Taneja
cs.AI
本文提出了一个名为Digital Apprentice的框架,用于在agent系统中实现可扩展且安全的人类指导型AI代理。该框架通过方法论捕获、授权和持续对齐三个组件,使代理能够逐步获得自主权,并讨论了在运行时处理数据漂移以恢复质量的技术。
Jiaxi Li et al.
cs.AI
本文提出了一种名为State-Grounded Dynamic Retrieval (SGDR)的在线技能学习方法,用于改进web agent在多步自动化任务中的表现。该方法通过滑动窗口提取、双文本-代码表示和状态驱动的动态检索机制,实现了在每一步执行中根据当前网页状态动态匹配并复用技能,从而克服了传统静态任务级技能复用的局限性。
Jingbo Wen, Liang He, Ziqi He
cs.AI
本文提出了一种后果感知的测试时计算分配方法,通过轻量级预测器估计任务错误后果的严重性,并据此分配更多计算资源给高后果任务,在SWE-bench等软件工程任务上降低了成本加权损失。该方法与关键词中的“agent”和“code”有一定关联,但未涉及spectral、Muon、pretrain或attention等核心概念。
Edward Y. Chang
cs.AI cs.LG
本文提出将时间遗憾(temporal regret)作为因果记忆控制器的一类首要目标,与结果遗憾和认知遗憾共同构成一个可证伪的失败分析框架。通过理论证明和实验验证,展示了该方法在长期智能体系统中如何通过因果探测和持久日志来降低时间校准误差,但整体方法更侧重于智能体系统的因果建模与遗憾优化,与我提供的关键词(如code, spectral, Muon, pretrain, attention等)关联度较低。
Saroj Mishra
cs.AI cs.CL cs.CR cs.IR
本文提出了CHARM框架,用于检测和缓解Agentic RAG(检索增强生成)流水线中的级联幻觉(cascading hallucination)问题,即早期步骤的错误会传播并放大。该框架通过阶段级事实验证、跨阶段一致性追踪等组件,在多个数据集上实现了较高的级联检测率和错误传播减少。
Qingxu Fu et al.
cs.AI cs.LG cs.MA
AgentJet提出了一种分布式swarm训练框架,用于大语言模型agent的reinforcement learning。该框架通过解耦的多节点架构支持异构多模型训练、多任务cocktail训练和容错执行,并引入context tracking模块实现1.5-10倍的训练加速。
Yuhan Yang, Ruipu Li, Alexander Rodríguez
cs.AI
本文提出MechSim框架,将LLM agents与科学simulator结合,通过结构化schema表示simulator的机制和假设,以提升决策可解释性。该方法主要关注simulator的推理与解释,与关键词中的agent有一定关联,但未涉及code、spectral、Muon、pretrain或attention等核心概念。
Janani Venugopalan et al.
cs.AI cs.LG cs.SI
本文提出一个基于hierarchical reinforcement learning的框架,用于在考虑个体行为和测量不确定性的情况下优化公共卫生政策,通过模拟验证了口罩和疫苗的有效性。
Xiangyu Zhao et al.
cs.AI
本文提出了一个面向科学推理验证的工具感知过程奖励模型Sci-PRM,并构建了包含工具调用轨迹的数据集SCIPRM70K。该模型通过细粒度监督工具选择和执行准确性,提升了基础模型在科学推理任务中的表现。
Yongzi Yu et al.
cs.AI cs.CE
本文提出了一种受DMAIC质量管理框架启发的多agent系统DMAIC-IAD,用于工业异常检测。该系统通过将异构参考信息蒸馏为标准操作程序(SOPs)并引入预训练的免执行评判模型来优化策略生成,在四种模态上平均检测性能提升37.76%。
Hejia Geng, Leo Liu
cs.AI
本文提出了一个名为Parthenon的自进化法律agent框架,通过将模型、工具和知识分离为可审计的模块,并引入反泄漏学习循环,使系统能从自身失败中改进。实验表明该框架显著提升了前沿模型在法律任务上的表现。
Yangfan Wu, Huanyu Yang, Jianmin Ji
cs.AI cs.LO
本文提出了一种基于ASP的规范性中间表示MONIR,用于合规性推理,并展示了其在中文ADAS法规上的应用。该方法通过模块化和增量式ASP求解来评估提取质量和效率。
Zhichao Yang et al.
cs.AI
MIRAGE提出了一种框架,通过学习连续潜在推理表示来替代移动agent中的显式文本思维链,并引入生成式世界模型目标以预测未来界面状态。该方法在AndroidWorld和AndroidControl上减少了token生成量,同时保持了任务性能。
Qi Wang et al.
cs.AI
本文提出BiNSGPS框架,通过多模态大语言模型与符号求解器之间的双向交互来解决几何问题,旨在克服单向流水线中早期错误传播的局限。该方法利用符号求解器的反馈动态修正不一致的形式化表示或提出辅助假设。
Ajay Vishwanath, Christian Omlin
cs.AI cs.CY cs.LG
本文在Fog of Love游戏环境中,将affinity-based reinforcement learning应用于multi-agent场景,证明了localized affinities能提升agent在竞争与合作目标上的表现。该工作扩展了affinity-based RL在复杂环境中的应用,但方法本身并非开创性突破。
Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi
cs.AI
本文提出了FALSIFYBENCH,一个基于Wason 2-4-6任务的评估框架,用于测试LLM在科学发现中的假设驱动推理能力。实验发现,推理模型优于指令微调模型,且成功的关键在于主动进行否定测试(negative testing)以证伪假设。
Kyungmin Park, Taesup Kim
cs.AI cs.CL cs.LG
本文发现安全对齐的大语言模型在推理时对中间序列的token注入存在脆弱性,并指出浅层安全(shallow safety)只是这种脆弱性的特例。通过沿生成轨迹进行对齐训练,模型对中间序列攻击的鲁棒性得到提升。
Andrea Ferrario
cs.AI math.CO
本文提出了一种基于有序二叉树的多智能体人机交互互补性形式化框架,通过局部二元组合规则递归计算得到树相对互补性泛函。该框架证明了在回归任务中互补性等价于欧氏距离最小化,但在分类任务中受限于端点单调损失函数而无法实现。
Zachary Blumenfeld, Jim Webber
cs.AI cs.LG
本文提出Agent Instruction Protocol (AIP),将agent技能建模为有向执行图,节点由确定性脚本或自然语言描述构成,边为显式类型化的输入/输出。该方法通过编译将人类编写的技能转化为图结构,提升了Claude Sonnet在SkillsBench任务上的平均奖励和通过率,并支持节点级的故障诊断与修复。
Saket Reddy, Ke Yang, ChengXiang Zhai
cs.AI cs.CL cs.CY cs.LG
本文提出BiasGRPO框架,利用Group Relative Policy Optimization (GRPO)通过归一化一组采样完成的奖励来稳定大语言模型中的偏见缓解过程。该方法在多个基准测试中优于DPO和PPO,但未涉及code、spectral、Muon或agent等关键词。
Xizi Luo et al.
cs.AI cs.LG
本文提出了一种名为constraint injection的方法,用于检测LLM在将自然语言优化问题转化为可执行代码时可能出现的约束遗漏或冗余问题,并在车辆路径问题(VRP)上构建了VRPCoder模型。该方法通过可行探测和单约束违反探测来暴露约束错误,结合差分测试形成双重验证器,并在GRPO训练中作为奖励信号,最终在多个VRP基准上取得了优于现有模型的性能。
João Pedro Gandarela et al.
cs.AI cs.CL cs.MA
本文提出Reflective Adversarial Pareto Search (R-APS)方法,通过将推理模式分解并分配独立context,在冻结的LLM上实现组合推理、对抗性压力测试和元归纳规则提取,以解决agentic setting中错误传播、鲁棒性不足和知识失效的问题。实验在平面机构合成任务上验证了其有效性。
Yanjing Ren, Reza Ebrahimi, TengTeng Ma
cs.AI
本文提出了AICompanionBench,一个用于评估LLM作为裁判检测AI伴侣对话安全性的基准数据集,包含2,123条真实对话。实验发现当前LLM能有效检测显性有害内容,但在识别操纵等隐性不安全交互方面仍存在局限。
Wouter W. L. Nuijten et al.
cs.AI
本文探讨了Active Inference框架下的推理类型,证明了Expected Free Energy (EFE)最小化可转化为带有epistemic priors的生成模型的Variational Free Energy (VFE)最小化,并揭示了EFE规划所需的熵修正项和规划修正项。实验在网格世界环境中验证了不同修正项的作用。
Samuel H. Christie V, Amit K. Chopra, Munindar P. Singh
cs.AI
本文介绍了Strabo,一种基于声明式交互协议(Langshaw协议)的多智能体系统建模与实现方法,并通过与Google的UCP(通用商务协议)的互操作性实验验证了其可行性。该方法展示了声明式规范在智能体交互中的优势,并为将EMAS思想引入工业实践提供了渐进式路径。
Zhangchen Xu et al.
cs.AI cs.LG
AutoLab是一个用于评估前沿模型在超长周期闭环优化任务中表现的新基准,包含36个跨领域的专家级任务。实验发现,模型成功的关键在于持续迭代和利用经验反馈的能力,而非初始尝试的质量,但大多数前沿模型在此类任务中表现不佳。
Sheng Jin et al.
cs.AI
本文提出了KINA基准,包含899个问题覆盖261个细粒度学科,用于评估LLM的知识能力。文章通过贪心近似方法保证学科代表性,并证明了奖金制竞赛在评审质量上优于固定支付,但整体方法在关键词领域(如code, attention, pretrain)缺乏直接关联。

cs.IR

Abdelrahman Abdallah et al.
cs.IR
本文提出Argus-Retriever,一种基于Qwen3.5-VL的查询条件化late-interaction检索器,通过区域感知的Mixture-of-Experts模块使文档表示依赖于查询,在ViDoRe基准上取得领先性能。该方法主要关注视觉文档检索任务,与关键词中的agent(代理)有一定关联,但整体创新性有限。
Keisuke Watanabe, Kazuki Nakayashiki
cs.IR cs.CL
本文通过日志分析研究了ChatGPT等LLM“答案引擎”对开放网络引荐流量的影响,并区分了Answer Engine Optimization (AEO)干预效果与平台自身增长效应。研究使用同一域名下的未处理页面作为同期对照,发现原始流量增长主要由平台增长驱动,AEO干预的因果效应虽在时间序列模型中显著,但在保守的置换检验中不显著。
Bokang Wang et al.
cs.IR cs.AI
本文提出DSIRM模型,通过查询桥接的对比量化方法在item端注入query-item交互监督,并在query端利用生成式LLM预测item的离散语义标识符(SIDs),以解决电商搜索中细粒度属性区分和长尾查询问题。该方法通过层次化前缀匹配生成判别性特征,在工业数据上取得了离线AUC和在线指标提升。
Chenyu Zhang et al.
cs.IR cs.AI
本文针对高价值领域(如汽车、房地产)的销售线索评分问题,提出了一个基于LLM的判别式框架HPRO,通过层次偏好排序优化将稀疏的二元标签转化为漏斗感知的偏好对,以提升排序性能。实验表明该方法在分类和排序指标上优于传统方法,并在线上A/B测试中验证了商业价值。
Le Zhang et al.
cs.IR
本文提出RGCD-Rep框架,利用Multimodal Large Language Models (MLLMs)的推理能力,通过两阶段训练(推理感知蒸馏和可迁移性引导的跨域表示学习)将用户兴趣从短视频迁移到直播推荐中,以缓解直播场景下的冷启动问题。该方法在快手平台部署后,显著提升了核心业务指标。
Xi Wu et al.
cs.IR
本文提出SAILRec,一种基于LLM的推荐系统,通过双端语义对齐和分层注意力引导来平衡LLM的内部语义知识与外部协同嵌入,实验表明其在推荐任务上优于基线方法。
Dimitris Dimitropoulos, Nikos Mamoulis
cs.IR cs.AI cs.DB cs.LG
本文质疑了ANN搜索中常用的Recall@k指标,提出用1/Ratio@k(逆近似比)作为替代,认为后者能更准确地反映检索结果的实际质量,并在多个数据集和下游任务中验证了其效率与稳定性优势。
Heng Cao et al.
cs.IR cs.CL
本文提出TAP-PER框架,通过可学习的prefix embeddings编码用户偏好,替代了显式的prompt构建和用户特定的adapter模块,在LaMP任务上取得了优于基线方法的效果。该方法在保持性能的同时显著减少了参数开销,但并未涉及code、spectral、Muon等关键词相关的内容。
Noah Lund Syrdal, Anders Vestrum, Jorgen Bergh
cs.IR
本文提出了一种碳感知的商品推荐方法,通过检索增强的PCF估计管道和重排序策略,在亚马逊数据集上实现了用户参与度与碳排放之间的权衡。
Olivier Jeunen
cs.IR cs.LG stat.ML
DINOSAUR提出了一种将embedding不确定性纳入近似最近邻搜索(ANN)的框架,通过为每个item采样多个embedding并构建索引,在检索时也采样user embedding,从而隐式地边缘化不确定性。该方法无需修改模型架构或ANN基础设施,实验表明能在保持离线召回率的同时提升检索覆盖率。
Stan Fris et al.
cs.IR
本文研究了基于KLD的LLM知识蒸馏在对话搜索中的效率与效果,发现加入contrastive loss可提升排序指标,但采样策略需谨慎选择,且增加样本数收益递减。此外,通过正则化损失可改善稀疏检索的推理效率,在TopiOCQA上实现FLOPS减半而效果损失极小。
Meng Yan et al.
cs.IR
本文针对LLM排序中的置信度估计问题,提出了EviRank方法,通过从单次前向传播中提取三种互补证据并进行可靠意见聚合,同时引入位置感知校准来优化排序。该方法在推荐和不确定性量化任务上取得了当前最优性能。
Yung-Yu Shih et al.
cs.IR cs.CL
本文提出BEATS框架,通过人类与LLM的迭代协作,为电商平台从零构建产品属性分类体系,并利用该体系增强搜索系统的过滤、排序和语义表示能力。
Kesha Ou et al.
cs.IR
本文提出DS-MLP,一种用于CTR预测的双流MLP框架,通过知识蒸馏将显式特征交互学习能力整合到主MLP网络中,同时用并行MLP捕获隐式特征交互作为补充。实验表明该纯MLP结构在三个基准上达到最优性能,为大规模推荐系统提供了高效解决方案。
Jiaman He et al.
cs.IR
本文介绍了一个名为SearchLog的浏览器扩展,用于在实验室研究中收集用户的自然搜索日志,记录鼠标、键盘、搜索活动及浏览器状态等交互数据。该工具为研究搜索行为提供了结构化数据支持,但方法本身不具备开创性,且与关键词列表中的概念无直接关联。

cs.CL

Haocheng Xia et al.
cs.CL cs.LG
本文提出LazyAttention,一种通过将positional encoding延迟到attention kernel内部计算来实现零拷贝、位置无关的KV缓存复用的新机制。该方法解决了传统KV缓存中位置信息嵌入导致缓存不可重用的问题,避免了现有方案中昂贵的重编码内存开销。通过为prefilling和decoding阶段定制attention kernel,LazyAttention在偏斜文档分布下将time-to-first-token (TTFT)降低了1.37倍,并将推理吞吐量提升了1.40倍,同时保持输出质量。该工作为retrieval-augmented generation (RAG)中的长上下文推理提供了高效的attention机制。
Arpit Garg, Simon Lucey, Hemanth Saratchandran
cs.CL
本文提出了一种名为Learnable Rank LoRA (LR-LoRA)的参数高效微调方法,其核心创新在于让adapter的rank在训练过程中自动学习,而非预先设定固定值。该方法允许优化器为transformer模型中的每一层(如attention层和MLP层)确定合适的rank,实验发现不同层对rank的偏好存在系统性差异。在多个语言理解和常识推理基准测试中,LR-LoRA在大多数设置下达到了state-of-the-art性能,并持续优于固定rank的PEFT基线方法,证明了可学习rank作为inductive bias比固定rank更灵活有效。该方法与关键词中的“attention”概念直接相关,因为它优化了attention层中的低秩适配器。
Xinyu Pang et al.
cs.CL cs.LG
本文提出Deliberate Evolution (DE)框架,将符号回归中的符号生成与搜索控制解耦,通过自适应算子、结构诊断工具和反思记忆机制引导LLM进行样本高效的演化搜索。该方法解决了现有LLM进化方法将候选生成与搜索指导混为一谈的核心局限,在LLM-SRBench上仅用40%的标准样本预算即超越多个基线。该工作与关键词"agent"高度契合,体现了agentic reasoning在符号回归中的创新应用。
Wangcheng Tao, Han Wu, Weng-Fai Wong
cs.CL cs.AI
SePO提出了一种自进化的prompt agent系统提示优化方法,采用self-referential设计,将prompt agent自身的系统提示也作为优化目标,通过open-ended evolutionary search维护候选提示档案。该方法在预训练阶段在多任务池上进化prompt agent,然后在微调阶段应用于目标任务,在数学推理、代码生成等五个基准上平均准确率比Manual-CoT提升4.49个百分点。该工作与关键词中的agent和pretrain高度契合,其自进化框架为agent系统提示优化提供了开创性方法。
Yaosheng Fu et al.
cs.CL cs.LG
本文提出SparDA,一种解耦的稀疏注意力架构,通过引入第四层投影Forecast来预测下一层所需的KV blocks,从而在长上下文LLM推理中实现CPU到GPU的预取与当前层执行的重叠。该方法在GQA(Grouped Query Attention)中每个GQA组仅使用一个Forecast head,将稀疏选择的复杂度从\(O(T^2)\)降低,同时仅增加不到0.5%的参数。实验表明,SparDA在稀疏预训练的8B模型上匹配或略优于原始精度,并实现了高达1.25倍的prefill加速和1.7倍的decode加速,通过支持更大的batch size,其decode吞吐量相比非offload稀疏基线提升5.3倍。该工作与关键词“attention”高度契合,并为长上下文推理中的稀疏注意力效率问题提供了开创性解决方案。
Yifan Simon Liu et al.
cs.CL cs.AI
本文提出Segment Tree Memory (SegTreeMem)架构,将对话历史表示为按时间顺序排列的Segment Tree,通过在线最右前沿更新规则增量插入新utterance以保持时序。在检索时,该架构通过树传播relevance scores,结合局部语义匹配与层次化时序上下文。实验表明,该方法在长程记忆基准上优于flat retrieval、graph-structured memory等基线,且性能增益依赖于记忆构建中时序顺序的保留,验证了temporal order对agentic memory的关键作用。
Nikodem Tomczak
cs.CL cs.MA
RAMPART提出了一种基于注册表的编译时内存模型,用于LLM-based agents,通过五个可组合原语(promote, gate, write, evict, rollback)在零prompt-token成本下实现上下文组装。实验表明,块与任务查询的结构关系显著影响任务成功率,且通过块分组(block grouping)可将成功率提升数十个百分点。该方法在跨模型复制中验证了内容启动效应(content-priming effect)的稳定性,并通过相关性门控(relevance gating)将prompt成本降低67.8%。该工作与关键词中的agent和context高度契合,为agent内存管理提供了开创性的编译时策略。
Haoyu Sun et al.
cs.CL
本文提出了Agent Planning Benchmark (APB),一个专门用于诊断LLM agent规划能力的benchmark,包含4,209个多模态案例,覆盖22个领域和五种设置(包括整体规划、反馈条件逐步规划、以及存在无关工具、损坏工具和不可解任务时的鲁棒性)。通过对12个MLLM的评估,APB揭示了agent在长程规划、工具噪声鲁棒性、校准拒绝和推理时优化方面的系统性弱点。该工作为agent的规划能力提供了上游诊断框架,与执行benchmark形成互补,解决了现有评估难以区分规划失败与执行失败的问题。
Boyi Zeng et al.
cs.CL
本文提出Depth-Attention,一种在Transformer的attention模块内部实现跨层值混合的方法。该方法允许每一层的query在关注序列位置之前,先关注同一token位置上前几层的key,并将这些层的value混合到当前层的value中,从而让后续层能够有选择地重用早期层的表示。Depth-Attention通过复用标准的attention query、key和value-cache槽,不增加额外参数和推理状态,在1.5B和3B参数的Qwen3风格decoder上取得了最低的perplexity和最高的平均下游准确率,相比vanilla Transformer提升高达2.3个准确率点,且仅增加不到0.01%的额外算术FLOPs。该方法与关键词“attention”高度契合,为改进Transformer深度方向的信息流动提供了简洁高效的方案。
Zehua Cheng et al.
cs.CL cs.SC
本文提出Teleological Reasoning Infilling (TRI)框架,通过将错误推理片段重构为fill-in-the-middle (FIM)任务,赋予decoder-only transformer模型双向逻辑修复能力。核心创新在于Prefix-Suffix-Middle (PSM)序列重排机制,利用三个非重叠sentinel token使模型在保持causal attention结构不变的前提下,同时关注已验证的前缀和后缀目标。该方法在形式数学语料上通过两阶段训练(SFT + DPO with symbolic verifier)实现,在多个benchmark上达到最优性能,并将每个问题的token消耗降低31.2%。
Zhen Yang et al.
cs.CL cs.AI cs.MA
本文提出StreamMA,一种流式多智能体推理系统,通过将每个推理步骤实时传输给下游agent,实现了相邻agent间的流水线并行,从而显著降低端到端延迟。该方法还发现,由于多步推理质量不均匀且早期步骤更可靠,流水线机制能避免错误后期步骤误导下游agent,从而同时提升有效性。作者给出了stream、serial和single三种协议的首个闭式联合分析,推导出有效性排序、加速比上界和成本比,并在数学、科学和代码等八个推理benchmark上验证了平均+7.3 pp的提升。此外,本文发现了“step-level scaling law”:增加每个agent的推理步数能同时提升效果和效率,这是一个与agent数量缩放正交的新缩放维度。
Rishanth Rajendhran et al.
cs.CL cs.AI
本文提出POLARIS方法,通过GRPO训练策略结合LLM裁判奖励和人类参考注入,使小模型Qwen3.5-9B在长故事生成任务中达到与更大模型相当的质量,并展现出长度泛化能力。该方法主要关注自然语言生成,与关键词中的code、spectral、Muon、pretrain、agent、attention等概念无直接关联。
Jianguo Zhu
cs.CL
本文研究了在语言模型中,不同话语角色标签(如Instruction:、Example:)对模型采纳上下文信息的影响,通过实验发现标签类型能显著改变模型的行为,但未涉及关键词中的核心数学或算法创新。
Michael Zichert, Arno Simons
cs.CL
本文回顾了从早期数字方法到大型语言模型(LLMs)在科学概念计算史研究中的演变,重点讨论了语料库构建、模型选择与评估等挑战,并指出LLMs继承了先前方法中的长期问题。
Kai Zhang et al.
cs.CL cs.AI
SaliMory提出了一种用于对话agent的认知记忆管理框架,通过引入分层阶段式过程奖励和奖励分解对比优化来训练单一语言模型。该方法在端到端准确率上提升了超过10%,并将记忆相关错误减少了三分之一。
Erfan Nourbakhsh et al.
cs.CL
本文通过大规模实验研究了检索增强生成(RAG)在生物医学问答中的效果,发现检索带来的提升很小且不稳定(通常仅1-2个点),而模型本身的选择比检索器或语料库的选择影响更大。结果表明,主要瓶颈并非检索质量,而是模型有效利用检索证据的能力有限。
Anna C. Marbut, Daniel R. Olson, Travis J. Wheeler
cs.CL cs.LG
本文研究了在Mixture-of-Experts (MoE)架构的大型语言模型(LLMs)中应用refusal steering方法,并提出了两种expert-aware的refusal steering方法。实验表明,基于单个expert的输出即可有效操控模型的refusal行为,且refusal信号与expert routing行为存在差异。
Yassir El Attar et al.
cs.CL cs.AI
本文通过大规模实证研究,分析了284个可解释的linguistic features在27个LLM和10个文本领域中的表现,发现基于这些特征的classifiers能可靠区分AI生成与人类文本,但多数指标具有强context依赖性,仅lexical richness指标在不同模型和领域间保持稳健。
Ana-Maria Luisa Mocanu, Ciprian-Octavian Truica, Elena-Simona Apostol
cs.CL
本文介绍了一个名为ACAT的基于Web的协作标注平台,用于高效构建Aspect-Based Sentiment Analysis (ABSA)数据集。该平台通过自动化的ETL管道整合多标注者数据并计算Inter-Annotator Agreement (IAA)指标,在餐厅评论数据集上验证了其效率。
Aya Vera-Jimenez et al.
cs.CL cs.LG
本文研究了使用可解释的linguistic features(如词汇多样性、可读性和情感强度)在跨prompt设置下检测AI生成假新闻的泛化能力,发现随机森林分类器在不同prompt组合下均表现稳定(AUC接近1)。
Hanoz Bhathena et al.
cs.CL cs.AI
本文提出MM-BizRAG,一种面向企业文档的多模态检索增强生成方法,通过文档结构感知的分割和布局感知解析来提升检索与生成质量。实验表明其在多个基准上优于现有方法,并引入了更高效的评估指标FastRAGEval。
Giries Abu Ayoub et al.
cs.CL cs.AI cs.LG
本文提出AXON模块,通过注意力与不确定性信号选择“锚点”token来辅助并行解码,旨在改善扩散语言模型的质量-延迟权衡,但方法本身并非开创性突破,且与关键词列表中的概念关联较弱。
Maroof Kousar, Yibo Hu
cs.CL cs.AI
本文介绍了DOSEBENCH,一个包含81个OTC用药场景的基准测试,用于评估LLM在时间推理和约束遵循方面的能力。研究发现模型在滚动窗口推理和模糊场景中表现不佳,即使回答稳定也可能违反用药限制。
JooYoung Lee et al.
cs.CL cs.CY
本文比较了fine-tuned模型(如RoBERTa)与zero-shot LLMs在Reddit misinformation评论分类任务上的表现,发现fine-tuned RoBERTa在macro-\(F_1\)上显著优于所有zero-shot模型,且成本更低。研究指出,zero-shot模型普遍难以检测隐含的情感类belief,且安全对齐机制会导致部分模型拒绝回答,因此任务特定的fine-tuning仍是更可靠的选择。
Linsen Li, Aron Culotta, Nicholas Mattei
cs.CL
本文提出了一种基于CausalBERT的文本因果推断方法,用于从在线评论中分离不同因素对整体评分的影响。该方法通过温度缩放、超参数优化和可解释性改进来提升估计可靠性,并在美国K-12学校评论数据上验证了效果。
Yuhan Zhang, Edward Gibson
cs.CL
本文利用Hahn等人(2022)的有损上下文surprisal理论,解释了负极性词"ever"在特定句法位置上的可接受性错觉现象,认为人们对复杂句子中限定词的记忆编码存在噪声,可能导致限定词交换从而许可"ever"的出现。实验通过六组新型限定词对验证了相似性增强错觉效应的假设。
Bhargav Shandilya, Matt Buchholz, Alexis Palmer
cs.CL cs.HC
GlossAssist是一个基于检索架构的自动标注工具,用于简化语言文档中的interlinear glossed text (IGT)创建过程。它通过主动学习机制将标注者的修正反馈纳入可变的morpheme表示词典中,从而改进未来预测而无需重新训练模型。
Bingnan Li et al.
cs.CL
本文提出DLLG (Dynamic Logit-Level Gating)框架,通过一个轻量级gating模块在logit层面动态融合多个专用LLM的token级输出,无需token级标签或重新训练专家。该方法在推理和代码基准测试中优于路由、启发式集成和参数合并等基线方法。
Yihao Qin et al.
cs.CL
本文提出一个基于认知行为疗法的心理咨询框架,通过模拟客户动态抵抗行为来改进大语言模型在咨询场景中的评估,并设计了双模块架构和熵加权指标以提升策略鲁棒性。
Anant Khandelwal, Manish Gupta
cs.CL
本文提出CAPR算法,通过缓存去噪轨迹状态并训练块级价值头,将稀疏奖励转化为块级PPO权重,从而在不进行完整树展开的情况下获得类似树搜索的细粒度训练信号,在多个推理任务上提升了扩散语言模型的性能。
Qiyang Xie et al.
cs.CL cs.AI
本文提出了MemoryDocDataSet基准,用于评估AI系统在多会话对话历史与长文档推理中的联合能力,包含50个微世界和1000个QA对,其中75.1%的问题需要先导航对话历史再提取文档答案。基线实验显示,联合检索存在明显性能差距,最佳配置RAG-Both在Hybrid问题上的F1仅为0.342。
Farouq Sammour, Yuxin Zhang, Zhenyu Zhang
cs.CL cs.CY
本文提出了一个基于LLM的Construction Safety Attitude Framework (CSAF),用于从社交媒体话语中测量建筑工人的安全态度,并通过人工编码和跨社区迁移验证了其有效性。该工作主要聚焦于应用LLM进行态度分类,与关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念无直接关联。
Xin Zhang et al.
cs.CL
本文提出SGR框架,通过从外部Knowledge Graph中生成与查询相关的子图来增强LLM的逐步推理能力,结合Cypher推理和协作集成提升多步推理的准确性和可解释性。实验表明该方法在多个基准上优于标准提示和知识增强基线。
Chongyang He et al.
cs.CL
本文针对小语言模型推理的后训练阶段,提出了一种基于难度感知的SFT-then-RL框架,通过为SFT和RL阶段分别设计不同的数据策略(如Bridge机制和Critique Fine-Tuning)来提升模型性能,实验表明该方法在多个推理基准上优于现有基线。
Ming-Hao Hsu et al.
cs.CL eess.AS
本文研究了语音大语言模型(SLLM)在复杂推理任务中表现不如文本模型的原因,发现其并非整体认知缺陷,而是在需要实体追踪的逻辑任务上存在实体绑定失败问题。作者提出Entity-Aware Chain-of-Thought (EA-CoT)方法,通过强制模型在推理前显式枚举实体并将其与声明绑定,有效弥补了这一性能差距。
Zhongze Luo et al.
cs.CL
本文发现对齐LLM的安全漏洞并非特定prompt,而是安全训练未覆盖的自然人类写作语域(register),并首次提出使用真实同人小说子类型作为通用攻击载体,通过将有害行为嵌入创作场景的climax来绕过防御。实验表明该方法在多个对齐LLM上显著提升攻击成功率,且现有防御措施反而扩大了语域攻击的优势。
Rolf Gattung, Martin Krueger, Markus Reischl
cs.CL
本文提出SANE (Schema-Aware Natural-language Evaluation)范式,用于在特定领域(如生物数据)中评估text-to-SQL系统。通过使用schema感知的prompting和结构化约束,作者证明few-shot large language model可以在无需微调的情况下生成准确的SQL查询。
Han Zhu et al.
cs.CL cs.AI
本文提出了一种自进化协同训练框架SCORE,通过共享参数的方式联合优化deep research任务的evaluator和solver,并引入meta-harness动态控制评估环境以提升报告生成质量。该方法主要针对LLM在深度研究场景中缺乏ground-truth奖励的问题。
Daria Ledneva, Mikhail Nuridinov, Denis Kuznetsov
cs.CL cs.LG q-bio.GN
GENEB是一个用于评估genomic foundation models的大型诊断benchmark,通过统一的probing-based protocol在100个任务上比较了40个模型。研究发现模型排名在不同任务类别间差异显著,且架构和pretraining alignment往往比参数数量更重要。
Boyan Han et al.
cs.CL cs.AI
本文提出了一种名为Dynamic Infilling Anchors (DIA)的无训练方法,用于在Diffusion Large Language Models (dLLMs)中实现格式约束生成。DIA通过动态估计锚点位置来调整生成长度,从而在保持结构正确性和语义连贯性的同时,避免了固定跨度方法的低效问题。
Daria Ledneva, Denis Kuznetsov
cs.CL q-bio.GN
LDARNet提出了一种基于可学习tokenization的基因组基础模型,通过动态分块和双向路由机制在27个任务上取得较好性能,但方法创新性有限,且与关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联较弱。
Momchil Hardalov, Gonzalo Iglesias, Adrià de Gispert
cs.CL cs.IR cs.LG
本文提出了一种名为Cartridges at Scale (CAS)的训练框架,用于将大规模文档集合蒸馏为模块化的KV caches,以解决传统monolithic cartridge方法在扩展性和组合性上的局限。该方法通过动态distractor mixing和内存高效的budget manager,实现了对超过百万token集合的高效处理。
Huangchen Xu, Yuan Wu, Yi Chang
cs.CL
本文提出了VCIFBench,一个用于评估视频理解中复杂指令遵循能力的benchmark,通过构建包含内容、格式、风格和结构约束的指令,并采用混合验证pipeline评估模型输出。实验表明,联合约束满足对多模态大语言模型仍具挑战性。
Hanbo Bi et al.
cs.CL cs.CV
本文提出了一种用于多模态长对话中的细粒度片段检索任务(FFR),并为此构建了数据集MLDR。针对单对话和语料库两种场景,分别设计了基于强化学习的生成式检索模型F2RVLM和两阶段系统FFRS,实验证明了其有效性。
Huangchen Xu, Yuan Wu, Yi Chang
cs.CL
本文系统评估了多模态大语言模型(MLLMs)在多视频摘要任务中的位置偏差,通过构建包含ActivityNet和新闻视频的基准测试,使用三种互补指标(覆盖率、方向性位置偏差DPB、中间边缘差距MEG)评估了九个开源和专有模型,发现位置效应具有领域和模型依赖性,且增加视觉或生成预算并不能统一消除这种不平衡。
Manar Abouzaid et al.
cs.CL
本文提出了一种混合防御框架,结合entropy-based、uncertainty-based和geometric-based模型,用于提升LLM在自然语言理解任务中的对抗鲁棒性。实验表明,该混合方法在多个数据集上优于单一特征防御策略。
Nikodem Tomczak
cs.CL cs.DB
本文提出CYGNET,一个在Cypher查询执行前进行验证的防御层,通过多后端链和镜像图检测结构错误,并利用语言模型进行修正,以降低生产数据库的故障风险。
Mengao Zhang et al.
cs.CL cs.AI cs.IR
本文提出了QO-Bench基准,用于诊断在类型化事件元组上的查询-算子保留检索问题,通过精确匹配评估RAG等系统的算子级执行能力,揭示了当前系统在保留算子所需类型化值方面的瓶颈。
Yuqian Wu et al.
cs.CL
本文提出了LifeSide基准测试,用于评估作为终身数字伴侣的agent在多会话记忆-情感-环境循环中的表现,通过多agent模拟将环境动态投射到对话中。实验表明,即使是在现有记忆基准上表现饱和的模型,也无法在长期交互中维持准确的用户理解和真正的陪伴。
Shanu Kumar et al.
cs.CL cs.LG
本文提出CRAFT方法,用于在prompt优化中平衡准确率与推理成本,通过Pareto前沿搜索避免标量化崩溃,并在多个基准测试中验证了其有效性。该方法与关键词中的“attention”等概念无直接关联。
Kenfeng Huang et al.
cs.CL
本文提出SMADE-IE,一种用于零样本信息抽取的稀疏多智能体框架,通过自适应模式选择器和证据驱动辩论机制来减少冗余交互和token开销,在多个基准数据集上取得了优于现有方法的性能。
Patomporn Payoungkhamdee et al.
cs.CL
本文提出DuDi框架,通过结合序列级和token级信号以及跨语言verbalizer来改进小语言模型的多语言能力,实验表明其在东南亚语言上优于基线方法。
Jingwen Chen et al.
cs.CL cs.LG
本文探讨了大型语言模型(LLMs)中持续经验内化(experience internalization)的问题,发现多轮经验学习会导致能力逐渐崩溃而非提升。通过分析经验粒度、注入模式和内化机制三个维度,作者提出了一种稳定且可持续的经验内化方法,但该方法与关键词中的概念关联较弱。
SooHwan Eom et al.
cs.CL
本文提出了一种基于query的跨模态投影器,通过cross-attention机制压缩视觉token,以提升Mamba模型在视觉-语言建模中的效率。实验表明该方法在多个基准上提升了性能与吞吐量。
Enes Yavuz Ugan et al.
cs.CL eess.AS
本文提出了一种结合数据增强和重排序策略的多语言长语音指令跟随系统,通过分段拼接和LLM标签生成构建训练数据,并发现基于似然的重排序会损害语义任务性能,而结合最小贝叶斯风险解码可缓解该问题。
Soyeong Jeong et al.
cs.CL cs.AI cs.LG
本文提出TIDE框架,通过模板引导的迭代过程从用户上下文中发现多个隐藏问题。该方法在个人工作空间和软件仓库场景中验证了有效性,但主要贡献在于任务框架和工程实现,而非数学理论或算法创新。
Yubo Hou et al.
cs.CL
本文提出PersonaTree框架,通过构建三层persona树结构来管理LLM agent在长期交互中的人物理解记忆,并采用保守写入、置信度引导合并和查询条件路径检索等机制。实验表明该方法在多个基准上表现优异,但未涉及code、spectral、Muon、pretrain或attention等关键词相关技术。
Eric Laporte, Takuya Nakamura, Stavroula Voyatzi
cs.CL
本文介绍了一个法语语料库,该语料库标注了具有副词功能的多词表达式,并描述了标注的资源和方法。该语料库可用于信息检索和句法分析研究。
Lisa Korver, Tomo Lazovich, Sherief Reda
cs.CL
本文使用LLM-based pipeline评估了不同LLM在美国K-12历史教育中与各州课程标准的对齐程度,并测试了模型对学生persona(如地理位置、年级)的敏感性。研究发现模型能调整历史主题呈现但可能反映政治倾向,且对年级适应良好而对种族性别不敏感。
Kári Rögnvaldsson et al.
cs.CL cs.LO
本文提出了一种用于Lean形式化定理证明的动作路由agent,通过数据平面和控制平面来优化成本与性能的权衡。该agent利用失败的Lean尝试信号来估计成功概率和成本,从而决定是否继续当前证明或重新分解问题,在PutnamBench子集上平均降低了25.8%的计算成本。
Tej Deep Pala, Vernon Toh, Soujanya Poria
cs.CL
本文提出GRAIL方法,利用gradient-activation saliency对token进行advantage重加权,以改进LLM在数学推理中的强化学习效果,无需process reward model。实验表明该方法在多个模型上优于GRPO。
Nils Dycke et al.
cs.CL cs.AI
本文系统性地定义了AI生成文本的不同概念及其特征,并构建了包含详细编辑和AI交互历史的AITDNA基准数据集。实验表明,现有检测器仅在特定概念下表现良好,缺乏通用性。
Zhenyu Yu, Shuigeng Zhou
cs.CL cs.IR
本文提出Caliper方法,通过将语义变量名替换为占位符来扰动LLM的因果推理任务,发现词汇锚点移除后模型准确率显著下降,表明当前LLM主要依赖词汇模式匹配而非结构因果推理。
Aswathy Velutharambath et al.
cs.CL
本文通过问卷调查了155名NLP研究者,发现44%的受访者观察到crowdsourced数据中存在LLM使用现象,尽管93%的人预料到这一问题,但半数不确定如何应对。研究总结了当前检测策略(如文本风格模式和完成时间异常)的不足,并提出了未来在LLM时代收集crowdsourced free-text数据的注意事项。
Xinrui Song et al.
cs.CL
本文提出SemBlock框架,通过预测语义边界来动态构建文本块,用于改进扩散语言模型的逐块解码。实验表明该方法在多个任务上优于固定块解码方法。
Na Li et al.
cs.CL
本文提出SAID框架,通过先对scaffold tokens进行去噪以建立粗粒度语义结构,再以较少步骤完成细节token的生成,从而加速基于扩散的语言模型推理。该方法在LLaDA模型上实现了最高9.1倍的加速,同时保持了有竞争力的性能。
Chensong Huang et al.
cs.CL cs.CY econ.GN
本文利用St. Petersburg game作为受控测试平台,评估了28个LLM在风险决策中的表现。研究发现,虽然模型在原始游戏中产生了类似人类的有限出价,但在控制变量测试中表现出与人类决策机制不一致的条件性和计算性理性行为,表明这种对齐仅是表面层面的。
Xiaochen Zhu et al.
cs.CL cs.AI cs.HC
DeliChess是一个多轮对话数据集,用于研究群体在象棋谜题解决中的协作推理。该数据集包含107个对话记录,参与者先独立解题再集体讨论,实验表明讨论能显著提升群体准确性。
Yuxiao Ye et al.
cs.CL
本文提出GARL框架,将多智能体战略优先级排序形式化为一个两阶段博弈,并通过博弈论效用转化为强化学习信号来优化智能体交互策略。实验表明该方法在争议问题排序任务上提升了性能,但方法本身并非开创性,且与关键词列表中的概念关联较弱。
Guangyao Dou et al.
cs.CL cs.AI
本文提出了Deontic Agentic Reasoning (DAR)框架,让模型在推理时按需与法规文本交互,以解决基于LLM的道义推理中长规则集定位困难的问题。实验表明,agentic harnesses能提升任务表现,但改进不均衡,且弱模型在数值任务上可能退化并消耗更多token。
Huy Quoc To et al.
cs.CL
本文提出了一种名为TaDA的训练-free算法,用于将任务LoRA适配器与领域LoRA适配器合并为统一模型。该方法通过校准探针引导的逐层门控和逐分量子空间感知合并,利用任务与领域适配器在深度上的不对称性,在六个科学QA和图像分类基准上取得了优于现有方法的平均准确率。
Maria Marina et al.
cs.CL
本文提出Ranking-Improved Self-Consistency (RISC)方法,通过将self-consistency中的答案选择问题转化为ranking问题,使用LambdaRank模型结合五个特征(如答案频率、语义中心性等)来提升大语言模型的推理准确性。该方法在多个数据集上取得了比标准self-consistency更好的accuracy-efficiency trade-off。
Minh An Pham et al.
cs.CL cs.LG
本文研究了function vectors (FVs)在in-context learning中的定义选择,通过使用Layer-wise Relevance Propagation (LRP)进行attention head selection和分布式steering,提升了效率和准确性。
Tohida Rehman, Debarshi Kumar Sanyal, Samiran Chattopadhyay
cs.CL cs.AI
本文提出了一种利用预训练语言模型和大语言模型从论文摘要自动生成标题的方法,并在多个数据集上进行了评估。实验表明,微调的PEGASUS-large模型在多数指标上优于其他模型,且AI生成的标题总体上是合适且可靠的。
Francesca Franzon, Nicolas Rosàs Gómez, Leo Wanner
cs.CL
本文构建了一个最小对比数据集,用于探测语言模型是否能区分英语中light-verb(如'make a decision')与full-verb(如'make a cake')的用法。实验表明模型能在极简上下文中区分这两种用法,但该工作主要聚焦于语言学现象探测,与关键词列表中的code, spectral, Muon, pretrain, agent, attention等方向关联度较低。
Andhika Bernard Lumbantobing, Hokky Situngkir
cs.CL cs.AI cs.CY
本文探索了将人类数学教学法(GASING方法)应用于语言模型算术推理训练,通过将算术运算序列化为Chain-of-Thought监督信号,训练了一个小型GPT-2模型。实验表明模型能内化计算过程并发展出类似心算的能力,但该方法主要聚焦于特定教学法在算术任务上的应用,与关键词中的code、spectral、Muon等方向关联较弱。
Cheng Liang et al.
cs.CL
本文提出了MedSP1000基准,用于评估LLM在动态临床决策中的表现,通过标准化病人案例模拟多轮交互。实验发现,即使是最佳模型GPT-5.5也只能完成60.4%的专家定义指标,表明当前LLM在临床实践中尚不可靠。
XiuYu Zhang et al.
cs.CL
本文发现基础LLM在无需针对性训练的情况下,通过few-shot提示即可预测外部评判者对开放回答的多属性质量评分。作者提出Self-Evaluation Elicitation (SEE)方法,利用少量数据(约160个样本)通过校准耦合强化学习和掩码蒸馏来激发这种潜在能力,在保持回答质量的同时提升校准性能。
Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton
cs.CL cs.LG
本文研究了基于MLP激活的深度主动学习方法在LLM的in-context learning样本选择中的应用,发现MLP激活与样本质量或任务性能之间缺乏显著相关性(Spearman相关系数最多0.33),因此不建议使用此类激活采样方法。作者推测这可能源于superposition现象,并指出Sparse Autoencoders (SAEs)是未来有前景的方向。

cs.DS

Jason L. Volk
cs.DS cs.AI
本文提出了一种在动态演化的1维cellular complex上增量维护第一sheaf cohomology \(H^1(X; \mathcal{F})\)的算法框架。在局部几何有界假设下,每次编辑操作(如顶点插入、边插入)仅影响有界的局部coboundary块,从而实现了\(O(1)\)的惰性编辑处理时间,并在同步点通过Mayer-Vietoris全局组装恢复一致性。实验在Barabasi-Albert图上验证了其效率,但该方法主要关注数据结构与算法设计,与关键词中的code, context, spectral, Muon, pretrain, agent, attention等方向关联较弱。
David Alemán Espinosa, Niklas Schlomberg
cs.DS cs.DM
本文研究了外平面图中不可拆分多商品流问题,证明了若存在可行流,则存在一个将每条需求沿单一路径路由且容量超出不超过\(2d_{\max}\)的不可拆分流,并给出了下界\(\frac{4}{3}d_{\max}\)。该工作改进了此前外平面图的常数上界,引入了一种考虑实例全局参数的新技术。
Tim A. Hartmann, Dániel Marx
cs.DS cs.CC
本文研究了有界树宽图上的连续距离变体问题,包括\(\delta\)-Dispersion和\(\delta\)-Covering,其中边被建模为单位长度区间。文章分析了这些问题的算法复杂度,但未提供与关键词(如code, context, spectral, Muon, pretrain, agent, attention)直接相关的方法或突破。
Paul Dütting et al.
cs.DS cs.LG stat.ML
本文针对fully dynamic setting下的submodular maximization问题,提出了一个通用框架,并首次获得了具有sublinear consistency的常数因子近似算法。对于cardinality constraints和rank-\(k\) matroid constraints,分别给出了相应的近似比和consistency bound。
Andrei Graur, Aaron Sidford, Ta-Wei Tu
cs.DS
本文通过将求解discounted Markov Decision Processes (DMDPs)的最优值和策略问题,高效地归约到策略评估和近似最优值计算这两个更简单的任务上,从而提供了更快的确定性和随机化算法。

others

Zexun Wang
cs.SE cs.AI cs.CR
本文提出Proof-Carrying Agent Actions (PCAA),一种与运行时无关的agent治理模型,通过action certificate(动作证书)而非厂商特定的会话记录来组织控制。PCAA围绕五个检查点(pre-action admissibility, action open, assumption capture, approval, outcome closure)构建可移植的动作信封、运行时与审批收据以及可重放证明,并引入externality-aware(外部性感知)证书与显式enforceability classes(可执行性类别)。该模型在异构agent控制平面中实现,并在四个运行时家族的96条轨迹上验证,表明其能在保持路径质量的同时暴露不同的失败模式,为agent系统的运行时治理提供了不依赖特定控制面的可移植方案。
Yuanbo Xie et al.
cs.CR cs.AI
本文提出了一种针对agentic systems的新型安全威胁——跨会话持久化prompt injection,灵感来源于web系统中的stored cross-site scripting。作者形式化了该威胁,并开发了分类法来研究对抗性内容如何在agentic systems的memory、filesystems等长期状态中持久化并影响未来执行。通过构建benchmark和sandbox toolkit,论文定量分析了不同模型和攻击目标下的攻击成功率,揭示了持久化将prompt injection从单会话的模型级威胁转变为系统级长期漏洞。该工作与关键词“agent”高度契合,为agentic systems的安全研究提供了开创性视角。
Zhihua Wang, Yanping Li, Yizhang Liu
cs.CV cs.AI
本文首次将频域感知引入correspondence pruning任务,提出SFMambaNet网络。该方法包含两个核心模块:Local Spectral-Geometric Attention (LSGA)块通过spectral positional encoding增强局部几何特征判别性,Spectral-Integrated Global Mamba (SIGM)块在state space中嵌入frequency gating mechanism以抑制高频噪声累积。实验表明该方法在多个挑战性任务上超越现有最先进方法,为correspondence pruning提供了新的spectral-frequency增强范式。
Alessandro Gambetti et al.
cs.CV cs.LG
本文提出了一种非对称度量Spectral Alignment Score (SAS),通过将两个模态投影到锚定模态的主特征基上并计算特征值加权的每特征模态相关性,从而量化模态信息不平衡。该方法解决了现有对称度量无法诊断视觉-语言模型在医学领域跨模态退化驱动因素的问题。实验表明,SAS在医学领域与检索性能的零标签相关性最强,且能揭示医学图像比临床报告保留更丰富结构信息的非对称性,为临床部署提供了实用诊断工具。
Nitai Kluger, Amit Attia, Tomer Koren
math.OC cs.LG
本文针对网络上的分布式随机光滑凸优化问题,提出了一种近最优的加速去中心化方法。该方法通过一种一步延迟的随机加速方案,将小批量处理与加速gossip通信交错进行,并有效控制了节点间的残差异议,使得在总梯度样本预算\(N\)下,能容纳的worker数量\(M\)从先前最优的\(M\lesssim \rho\sqrt N\)提升至\(M\lesssim \sqrt{\rho}\,N^{3/4}\)(其中\(\rho\)是gossip网络的spectral gap),从而在更大规模worker下仍保持集中式\(O(1/\sqrt N)\)的统计速率。此外,论文还为线性跨度的去中心化一阶方法建立了匹配的下界,证明了该方法的近最优性。
Rubens Lacerda Queiroz et al.
cs.CY cs.AI cs.LG
本文评估了AIcon2abs方法,该方法使用WiSARD无权重神经网络通过动手活动向公众(包括K-12学生)普及机器学习原理。实验表明,该方法能有效帮助参与者直观理解训练和分类过程,并获得高度满意度。
Xinhong Zhang et al.
cs.RO cs.AI
本文提出了DiffAero,一个GPU加速的、完全可微分的四旋翼仿真框架,通过并行化物理与渲染来提升仿真吞吐量,并支持多种动力学模型与传感器。该框架主要用于高效的四旋翼控制策略学习,但与我提供的关键词(如code, context, spectral等)关联度较低。
Giries Abu Ayoub, Morad Tukan, Loay Mualem
cs.CV cs.AI cs.LG
SpurAudio是一个用于研究few-shot audio classification中shortcut learning问题的benchmark。该benchmark通过分离foreground events和background environments,揭示了现有方法在contextual shifts下性能严重下降的现象。
Song-Ju Kim
cond-mat.stat-mech cs.AI nlin.AO physics.comp-ph
本文提出了一种约束增强的物理搜索原则,通过将探索中的时间相关性匹配到更新动力学中的空间相关性来提升搜索效率。研究使用tug-of-war bandit模型展示了守恒律如何将局部观测转化为差异证据,并指出搜索效率的提升源于相关性匹配而非更强的随机性。
Mutian Tong et al.
cs.RO cs.CV cs.LG
PointAction通过微调预训练video generation model来联合预测未来RGB帧和动态3D pointmaps,将视频预测与机器人动作连接起来。该方法使用metric 3D point dynamics作为embodiment-agnostic的动作接口,以减少RGB-only动作grounding的歧义性。
Pouria Behnoudfar et al.
cond-mat.mtrl-sci cs.LG
本文提出了一种基于Physics-Informed Neural Networks (PINNs)的可分离概率学习技术(SPLIT-PINN),用于高维概率建模。该方法通过Liouville方程反演未知的drift项,以描述多晶金属材料微观结构状态的概率密度函数(PDF)演化,并采用marginal-correction drift分解和正交约束来增强数值稳定性。
Yan Wu et al.
eess.SP cs.AI
本文提出了一种神经辐射噪声场(NRNF)方法,将无人水下航行器(UUV)的辐射噪声谱表示为三维空间位置、偏航角和频率的连续函数,并利用可学习的场景特征网格显式建模环境结构,在湖试数据集上实现了50-5000 Hz频段平均3.5 dB的预测误差。该方法主要面向水下声学信号预测,与关键词中的code, context, spectral, Muon, pretrain, agent, attention等概念关联较弱。
Wei-Cheng Lai, Marco Simnacher, Christoph Lippert
stat.ML cs.AI cs.LG
本文提出了一种用于深度双样本检验的反事实解释框架,通过结合diffusion autoencoder和预训练的深度双样本检验模型,在检验模型的表示空间中优化maximum mean discrepancy (MMD)目标,生成将样本从源组向目标组编辑的反事实。该方法在合成2D形状数据集和MRI队列上验证了有效性,编辑后的样本p值增加,表明其统计上更接近目标分布。
Giovanni Marraffini et al.
q-bio.NC cs.AI
本文指出,当前基于fMRI数据的Brain Foundation Models (BFMs)在预测认知表现时,其性能甚至不如直接从功能连接矩阵(FC)进行的线性回归。作者将这一现象归因于BFM预训练过程中的“方差分配问题”,即模型主要捕获了fMRI信号中的二阶统计量(协方差),而破坏了预测认知所需的三阶统计量(co-skewness)。为此,他们提出了一种无需预训练和GPU的线性pipeline,通过投影到保留co-skewness的子空间来计算FC,从而在多个数据集上超越了原始FC和所有预训练BFM。
Hao Li et al.
eess.SP cs.AI
本文针对轻量级SensorLLM在人体活动识别中的静态类别识别退化问题,提出了一种基于重力感知的层次化路由头方法,通过利用Chronos tokenizer的统计特征和软路由机制结合静态与全量专家,在MHealth数据集上以极小参数开销提升了macro-F1。该方法主要关注静态活动识别改进,与关键词中的code、context、spectral、Muon、pretrain、agent、attention均无直接关联。
Bryan Cheng, Austin Jin, Joshua Chang
q-bio.QM cs.LG
本文提出SpliceBind,一个基于graph neural network的isoform-aware药物结合口袋可药性预测框架。通过分析六种临床验证的剪接变体,文章建立了一个两层耐药性分类法,区分结构可检测与结构不可检测的耐药机制。
Bryan Cheng, Austin Jin
q-bio.QM cs.LG
本文提出DegradoMap,一种基于Graph Neural Network的方法,用于在仅已知protein structure和E3 ligase identity的情况下预测PROTAC介导的蛋白质降解性。该方法通过lysine-weighted graph pooling和cross-attention机制建模protein-E3兼容性,在PROTAC-8K基准上取得了有竞争力的性能,但方法本身在理论或技术上的开创性有限,且与关键词列表中的概念关联较弱。
Jie Li et al.
cs.SE cs.AI
本文提出了CodegenBench基准测试,用于评估LLMs在x86_64、Sunway和Kunpeng三种架构上生成高效并行代码的能力。实验发现,LLMs在通用架构上表现良好,但在领域特定架构上性能显著下降,揭示了跨平台泛化的局限性。
Philip Sheldrake, Dirk Scheffler
cs.SE cs.AI
本文提出了一种名为Software 4.0的软件架构范式,旨在解决传统编程范式与连接主义智能(如LLM)之间的概率-符号阻抗不匹配问题,并介绍了其具体实现语言Recognitive。该工作目前是一篇基础性的愿景论文,缺乏实证评估和形式化规范。
Yingzi Ma et al.
cs.CR cs.AI
本文提出MaskForge,一种针对Diffusion Large Language Models (dLLMs)的黑盒自适应攻击方法,通过将成功的攻击模式抽象为可复用的结构模板,并使用UCB bandit选择与目标兼容的模式,实现了对dLLMs的高效越狱。该方法在多个模型和基准测试上取得了较高的攻击成功率,但与我提供的关键词列表(如code, context, spectral等)关联度较低。
Zacharie Bugaud
cs.SE cs.AI cs.LG
本文研究了开源大语言模型在不同伦理领域中的安全行为一致性,发现模型在分析性和操作性两种框架下的合规率差异巨大(从14.7%到85.7%),且这种不可预测性对部署者不透明。研究在7个伦理领域对5个模型进行了4200次交互测试,并在GitHub Copilot CLI上复现了类似结果,表明当前安全机制缺乏可信部署所需的透明性和一致性。
Simon Martiel, Priyanka Mukhopadhyay
quant-ph cs.DS
本文提出了用于Boolean多项式因式分解的图形和代数方法,通过将问题转化为二分图上的biclique覆盖来优化AND-count,并基于多元Horner方法设计了快速算法。实验表明,biclique方法相比EXORCISM-4实现了高达5倍的AND-count缩减,而Horner方法在速度上具有显著优势。
Dat Thanh Tran, Van Khu Vu, Yining Ma
cs.NE cs.AI cs.LG
本文提出DyNACO框架,通过周期性观察pheromone分布和当前最优解实现动态神经引导,以解决神经引导蚁群优化中训练与推理的错位问题。在TSP和CVRP问题上,该方法在保持低计算开销的同时提升了性能,但未直接涉及关键词中的核心概念。
Jiaxin Qing, Junwei Lu, Lexin Li
cs.SD cs.AI eess.AS
本文研究了从EEG信号重建音乐这一挑战性问题,提出了一种面向通道的设计方法,通过通道级tokenization、多视角自蒸馏和数据增强来保留弱但具有判别性的神经信号,并在编码-对齐-解码框架中实现了与语义音乐表示空间的稳定对齐。实验表明该方法相比现有基线有显著性能提升。
Boyuan Xiao et al.
cs.CV cs.AI cs.CL cs.LG cs.RO
本文提出SceneDiver方法,通过粗到细的focus plan生成策略,先构建holistic scene graph建立初始理解,再逐步分解任务为子问题,以缓解视觉语言模型在具身决策任务中的visual hallucination问题。该方法主要关注视觉感知瓶颈的突破,与关键词中的agent和attention有一定关联,但未涉及code, context, spectral, Muon, pretrain等核心概念。
Akanksha Narula, Mofasshara Binte Rafique, Laurent Bindschaedler
cs.SE cs.AI cs.LG
本文研究了LLM在代码生成中,提示中的细微线索(如上下文词汇或元数据)如何影响算法选择,即使所有输出都通过相同测试。通过大量实验,作者发现这些线索会导致算法族分布发生系统性偏移,并指出直接命名算法是最可靠的缓解措施。
Yanjin Xiang, Zhihua Zhang
stat.ML cs.LG math.ST
本文研究了固定阶非对称秩一张量PCA中交替幂迭代的有限迭代局部动力学,分析了迭代进入局部邻域后的误差分解,并提出了一个通用的单次扫描原理来分离热启动机制与特定谱构造。
Jing Zhang et al.
q-bio.NC cs.LG
本文提出SC-TauPath框架,结合Network Diffusion Model增强的多层感知机与梯度\(\times\)输入归因方法,从神经影像数据中映射tau蛋白传播路径,验证了与Braak分期解剖学的一致性。该方法为阿尔茨海默病中结构连接与tau传播的关联提供了可解释的计算框架。
Xinyue Huang, Xiaochun Cao, Wenyuan Yang
cs.CR cs.AI
本文针对LLM查询中的隐私泄露问题,提出了一种基于Contextual Integrity的查询重写框架,通过强化学习训练重写器以保留任务关键信息并抑制不必要的敏感披露,在构建的DelegateCI-Bench基准上取得了最优的隐私-效用权衡。
Sinan Yıldırım, Megha Khosla
cs.CR cs.LG
本文针对Graph Neural Networks (GNNs)中的节点级membership privacy问题,提出了Bayesian Membership Privacy (BMP)框架,将图采样概率纳入攻击者知识,并将membership inference建模为Bayesian hypothesis test。该方法通过后验membership probability量化隐私泄露,并设计了实用的sampling-aware审计机制。
Avidan Shah et al.
cs.CR cs.CL cs.LG
本文研究了语言模型之间通过监督微调、在线蒸馏和上下文学习三种接口实现隐蔽影响的风险,发现通过推理时逐样本归因分数选择载体可以放大训练时的影响,并指出自然语言载体比数字载体更隐蔽且跨模型家族可移植性更差。
Pragya Sharma, Brian Wang, Mani Srivastava
cs.RO cs.DC cs.LG eess.SY
本文提出了CADET,一个用于评估网联自动驾驶汽车中分布式协同自主系统的模块化平台。该平台将自动驾驶堆栈解耦为可组合模块,并集成了网络与工作负载仿真,以研究分布式部署对安全性的影响。
Shimon Malnick et al.
cs.CV cs.LG
本文提出将先验分布视为可设计的选择,而非固定输入,通过选择与数据具有OT最优恒等耦合的低频投影作为先验,简化了flow matching中的轨迹曲率问题。该方法无需修改flow模型本身,可自然集成到潜在空间模型和无分类器引导中,在少步生成场景下提升了生成质量。
Xinming Wei et al.
cs.DC cs.LG
本文提出了UltraEP,一种用于大规模Expert Parallelism (EP) MoE模型训练和推理的实时负载均衡器。它通过利用机架级节点(RSN)的扩展连接性,在每个微批次和层上重新平衡负载,以解决非平稳负载模式下的计算拖后腿和通信瓶颈问题。
Alejandro Ballesta Rosen et al.
cs.SD cs.AI cs.LG eess.AS
本文提出了Differentiable Auditory Loop (DAL)框架,通过将可微分的耳蜗模型CARFAC与深度神经网络SEANet结合,优化助听器信号处理以补偿听力损失。该方法在神经表征和信号保真度指标上优于传统基线,但未涉及code、context、spectral、Muon、pretrain、agent或attention等关键词。
Guangda Ji et al.
cs.GR cs.AI cs.CV cs.LG
本文提出SymTRELLIS方法,通过在TRELLIS.2的flow-based 3D生成过程中强制执行任意有限点群对称性(旋转、反射和多面体),无需重新训练底层VAE或flow模型。其核心思想是将空间变换在latent space中的近似作用学习为voxel latents上的线性算子,并在生成时通过速度对称化(velocity symmetrization)来强制对称性。
Faryal Batool et al.
cs.RO cs.AI eess.SY
本文提出AgenticDiffusion,一个结合语言引导推理、开放词汇目标定位、基于diffusion的路径规划与NMPC的多视角UAV导航框架,利用第一人称和俯视图协同提升室内导航效率。实验在40次真实场景中达到80%任务成功率,但方法本身在数学理论或算法结构上缺乏显著开创性,且与关键词(如spectral, Muon, pretrain)关联较弱。
Idan Refaeli et al.
cs.LO cs.LG cs.SE
本文介绍了veriFIRE项目,一个将神经网络验证应用于野火检测系统的工业案例。它主要关注验证系统的一致性属性,如检测器置信度的单调性和有界响应,并展示了在真实场景下的验证结果。
Eleanor Brosius et al.
math.OC cs.AI cs.RO
本文提出一个利用Large Language Models将自然语言描述的任务需求转化为可执行的trajectory optimization代码和数学公式的框架,并在航天器交会场景中验证了其有效性。
Benjamin Goldblatt et al.
cs.AR cs.AI cs.SE
HighTide是一个AI辅助的开源VLSI benchmark套件,包含多种设计语言和技术节点,并利用Bazel实现增量RTL-to-GDS编译。该套件通过12种agent技能进行设计策展,并配有决策日志作为长期记忆,但整体更侧重于硬件设计流程而非关键词中的核心概念。
Kargi Chauhan, Pratibha Revankar
cs.CR cs.AI
本文研究了LLM agents中凭证泄露的防御方法,包括激活探测、蜜令检测和多轮信息流追踪,但方法较为初步且依赖白盒访问,与关键词契合度有限。
Mansoor Ahmed et al.
q-bio.QM cs.LG
本文提出了EpiFormer,一个用于抗原-抗体相互作用中epitope预测的encoder-decoder框架。其核心创新是在GNN编码层中引入交错cross-attention,实现抗原与抗体信息的早期融合,并采用sparsity-aware目标函数处理类别不平衡问题。该方法在标准基准测试中F1分数提升超过40%,并展现出跨数据集的泛化能力。
Tianfu Wang et al.
cs.HC cs.CL cs.CY
本文介绍了SocialCoach,一个基于LLM的智能辅导系统,用于个性化社交技能学习。它通过多智能体pipeline构建知识语料库,并利用reinforcement learning优化自适应练习调度模块,以提升长期学习体验。
Cheng Jiang et al.
hep-ex cs.LG hep-ph physics.ins-det
本文提出了一种名为CaloTrilogy的统一框架,用于高能物理量热器中的快速shower生成。该方法结合了平均速度场积分器、学习到的生成先验和物理引导的损失项,旨在以一步或少量评估步骤实现与先进flow和diffusion模型相当的shower质量。
Michael J. Bommarito II
cs.CR cs.AI cs.LG
本文提出MimeLens,一种基于BERT架构的二进制片段内容类型检测模型,通过随机偏移采样训练实现位置无关的文件类型分类,在无头文件片段和网络包等场景下优于现有方法,但推理速度较慢。
Juan Figuera
cs.CR cs.AI cs.DC
本文提出了一种名为Sello的协议,通过接收方签名、加密收据并发布到公开日志的方式,为AI agent的行为提供不可篡改的审计追踪,解决了当前agent可观测性中日志记录者与行为者同一的结构性缺陷。
Aliakbar Mehdizadeh, Martin Hilbert
cs.MA cs.CL cs.SI physics.soc-ph
本文通过432次模拟实验,研究了LLM agent在Naming Game中记忆深度与网络拓扑结构对达成共识的影响,发现两者存在交互效应:长记忆在去中心化网络中减慢收敛速度,但在中心化网络中加速收敛,且中心化网络更易陷入碎片化平衡。
Sajad Ebrahimi et al.
cs.MM cs.AI cs.CL cs.CV cs.LG +1
DetectZoo是一个统一的多模态AI生成内容检测工具包,集成了61个检测器和22个基准数据集,提供标准化的评估流程。该工具旨在降低多模态AI取证的研究门槛,但与关键词列表中的概念关联较弱。
Jong-Ik Park et al.
eess.AS cs.LG cs.SD
本文研究了随机平滑在音频分类中的表示问题,指出由于预处理流程(如归一化、变换为log-mel特征)导致认证对象不明确,并分析了不同平滑策略(波形、特征空间、后处理)对认证半径和准确率的影响。
Charlie Gauthier, Sacha Morin, Liam Paull
cs.RO cs.AI
本文提出PerceptTwin,一种从机器人感知的语义场景表示自动构建交互式仿真的pipeline,用于验证和优化LLM规划器的计划。实验表明该方法能提升规划成功率,但与关键词列表中的概念无直接关联。
Jingbiao Mei
cs.CV cs.AI cs.CL
本文介绍了EReL@MIR 2025多模态文档检索挑战赛(Track 1),要求参赛系统同时处理封闭集文档页面检索和开放域图文检索。获胜系统均基于Qwen2-VL系列的多模态大语言模型嵌入器,而非CLIP风格的编码器,并通过微调集成、免训练多路融合或零样本后期交互等方法取得领先。
Šimon Schierreich, Ildikó Schlotter
cs.SI cs.DS cs.GT cs.MA
本文研究了社会网络中“多数幻觉”现象的检测问题,即判断是否存在一种二元标签分配使得至少\(q\)比例的个体其多数邻居持有少数标签。作者系统分析了网络结构属性对该问题计算复杂性的影响,并给出了其计算复杂性的详细图谱。
Daisuke Inoue, Mathieu Laurière, Dante Kalise
math.OC cs.LG math.NA
本文提出了一种使用神经网络代理近似非局部相互作用的平均场Schrödinger桥方法,将计算复杂度从二次降至线性,并通过数值实验验证了其有效性。
Alireza Sarmadi et al.
cs.CR cs.LG
本文讨论了长期和短期晶体管老化对深度神经网络推理精度的影响,并介绍了一种老化感知重训练方法,通过使用更小的guardband来生成更具鲁棒性的DNN。此外,还简要探讨了短期老化在集成电路硬件木马检测中的应用。
Yilong Wang, Cheng Qian, Edward Johns
cs.RO cs.AI cs.CV
本文提出Instant-Fold框架,通过时序对比预训练学习形变感知视觉表示,并利用流匹配transformer策略从单次人类演示中推断并执行多种操作模式,无需梯度更新。该方法在仿真中训练,可零样本迁移至真实世界。
Stepan Konev
cs.CV cs.AI
本文提出了StandardE2E框架,为多个端到端自动驾驶数据集提供了统一的接口,通过标准化数据预处理和共享schema简化了跨数据集实验。该框架支持六个数据集并作为开源Python包发布。
Eric Liang
cs.NI cs.AI
本文比较了IP anycast在root DNS和CDN两种场景下的延迟表现,指出root DNS的路径膨胀对用户影响有限,而CDN需要主动工程优化。文章提出了一个比较延迟模型和优化框架,强调不同应用应采用不同的anycast优化目标。
Haojun Qiu, Kiriakos N. Kutulakos, David B. Lindell
cs.CV cs.LG
本文提出了一种无需训练的单图像扩散模型,通过使用多尺度patch数据集和闭式最优去噪器来替代神经网络训练,实现了高效的图像生成。该方法在生成质量和多样性上达到了与训练模型相当的水平,并支持文本引导风格化、图像对称化等应用。
Sophia Liu et al.
cs.HC cs.IR cs.SI
本文探讨了阅读增强系统如何从信息传递转向支持创造性阅读,通过结合文学理论和学术意义建构,提出了一种以激发为导向的设计空间,旨在保留阅读的多元性并促进读者自身的转变。
Bin Duan, Zeyu Bai, Guowei Yang
cs.CR cs.LG cs.SE
本文提出了一种名为ParDef的通用防御方法,通过集成keyed channel reparameterization、QC-LDPC quantization和adaptive robust inference,来保护深度神经网络模型参数免受多种类型的参数攻击。实验表明该方法能在保持模型性能的同时降低攻击成功率。
Fatih Temiz, Shavbo Salehi, Melike Erol-Kantarci
cs.NI cs.AI
本文提出了一种基于Prompt Decision Transformer (PromptDT)的多任务学习框架,将无线网络中的多小区选择问题重新建模为sequence modeling问题,以提升样本效率和泛化能力。实验表明该方法在多种网络配置下能显著改善用户体验质量(QoE),但未涉及code、spectral、Muon、pretrain或agent等关键词。
Pritam Dash et al.
cs.CR cs.AI
本文系统研究了基于LLM的AI agent中的memory poisoning攻击,识别了四种memory写入通道和九种结构性漏洞,并提出了攻击分类法及评估基准MPBench。该工作为理解此类安全威胁提供了基础性分析。
Isha Abid, Fawad Khan, Muhammad Khuram Shahzad
cs.CV cs.AI cs.LG
本文提出HYolo,将hypergraph learning集成到YOLO架构中,以捕获object detection中object与contextual features间的高阶关系。在COCO数据集上的实验表明,该方法相比baseline YOLO模型在mAP@50上提升了约12%。
Yue Wu et al.
cs.CV cs.AI
本文提出MorphoQuant,一种针对全模态大语言模型(OLLMs)的模态感知量化框架,通过分布感知偏置补偿(DABC)和形态导向量化函数优化(MDQFO)处理跨模态的极端分布异质性。实验表明该方法在4-bit量化下优于现有方法,但未涉及关键词中的code、spectral、Muon、pretrain、agent或attention等核心概念。
Manan Suri, Sarvesh Baskar, Dinesh Manocha
cs.CV cs.CL
本文提出Video2LoRA方法,通过perceiver hypernetwork读取冻结VLM编码视频时的中间表示,直接生成LoRA适配器,将视频信息参数化到模型权重中。该方法在视频摘要和问答任务上实现了与直接视频上下文推理统计等价的效果,并大幅降低了推理时的视觉token负载和延迟。
Dhanesh Ramachandram
cs.CV cs.LG
本文提出了一种基于部分因子化注意力的空间约束概念瓶颈模型,通过冻结的DINOv3视觉transformer和可学习的高斯先验,将概念头(concept heads)的注意力限制在图像中对应的身体部位区域,从而提升细粒度识别任务的可解释性。实验表明该方法在CUB-200-2011数据集上匹配了全监督基线性能,并显著提高了指向精度(pointing accuracy)。
Renjie Liang et al.
cs.CV cs.AI
本文提出LesionDETR,将肾脏CT表征重构为每个病灶的集合预测任务,使用DETR风格的架构和分层损失函数,在内部数据集和KiTS23上验证了性能。实验表明分割掩码作为输入通道和同域腹部预训练是关键设计,而通用大规模预训练效果不佳。
Biao Qian et al.
cs.CV cs.AI
本文提出MaskAQ方法,通过解耦合成样本中的informative regions并使用masked attention alignment来对齐全精度模型与量化模型,以解决ViT在Data-Free Quantization中的分布不匹配问题。该方法利用differential entropy maximum来分离信息区域,并采用周期性样本刷新策略适应量化模型的动态变化。
Weijia Li, Shun Hu, Yanfei Kang
stat.ML cs.LG
本文提出REGAIN框架,通过学习归一化的辅助方向并预测其诱导序列,以目标加权损失减少为标准选择辅助测量,从而改进预测协调。该方法在PM2.5和旅游数据上验证了有效性,但未涉及code、context、spectral等关键词。
Kwok Leong Tang
cs.DL cs.AI cs.IR
本文提出了LCSHBench,一个多语言、基于共识的基准数据集,用于评估图书馆主题标引(LCSH)的自动分配。该基准包含来自哈佛、哥伦比亚和普林斯顿图书馆的22,346本书,并采用多机构共识来确保标引质量,同时提供了精确匹配和概念匹配的评估指标。
Muhammad Hadi et al.
cs.CR cs.AI cs.LG
本文提出TITAN-FedAnil+框架,通过基于affinity propagation的自适应聚类聚合和GPU加速向量化,在资源受限的企业环境中提升联邦学习的鲁棒性与效率。实验表明该方法在8 GB边缘设备上可节省高达81%的内存开销。
Ameya Gawde et al.
cs.SE cs.IR
本文提出Context-as-a-Service (CaaS),一种为LLM agent设计的检索层,用于在生成或审查开发者文档时追踪跨文件依赖链。CaaS通过索引源代码、API引用和上游文档,并结合关键词与语义搜索来辅助agent。实验表明,CaaS能发现基线方法遗漏的跨文件错误和文档缺陷,并减少运行时间和输入token使用。
Huiqi Zhang et al.
stat.ML cs.LG
本文基于knockoff方法,提出了三种在控制False Discovery Rate条件下用于深度神经网络的变量筛选方法(单层过滤器、多层过滤器、变量权重聚合过滤器),旨在减少无关参数和输入变量以降低计算复杂度。实验表明这些算法相比现有方法表现令人满意。
Luoyidi Zhou
cs.CV cs.AI cs.LG
本文通过实验分析了数据规模、模型复杂度和输入模态对视觉泛化性能的影响,发现增加训练数据规模能稳定提升泛化性能,而模型复杂度变化带来的增益不稳定,去除颜色信息会降低性能,但梯度、边缘等先验特征在不同架构下效果不一致。
Eugene Kwek et al.
cs.SD cs.CL eess.AS
CleanCodec提出了一种基于感知引导编码的神经音频编解码器,通过选择性信息瓶颈方法仅编码感知重要特征,在每秒12.5个token的低码率下实现了高保真语音重建。该方法在说话人相似度和语音可懂度上优于现有codec,但与我提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Arda Atalık, Sumit Chopra, Daniel K. Sodickson
eess.IV cs.AI cs.CV physics.med-ph
本文提出L-TGVN,一种利用患者历史扫描作为先验信息来加速MRI重建的方法。该方法通过信任引导机制约束先验信息的影响,无需显式配准即可处理扫描间的时序变化和协议差异。
Harsh Vardhan, Hossein Taheri, Arya Mazumdar
stat.ML cs.LG
本文研究了在2层非凸homogeneous神经网络中学习multi-index模型时,flatness(由经验损失Hessian的迹衡量)与generalization之间的关系。作者证明了尽管存在对称性,但最平坦的插值器(flat interpolators)在低近似误差和标签噪声下总能实现小的population loss,从而建立了flatness与generalization的直接联系。
Zirui Wang et al.
cs.CV cs.CL cs.LG
本文提出了一种Stateful Visual Encoder,通过让视觉编码器在编码当前图像时参考先前的视觉特征,使Vision-Language Model能够感知跨图像的视觉变化。实验表明,该方法在需要跨图像比较的任务(如多目标差异检测和轨迹行为克隆)上优于传统stateless编码器,并在医学影像和遥感等实际场景中提升了性能。
Niloufar Alipour Talemi, Hossein Kashiani, Fatemeh Afghah
cs.CV cs.LG
本文提出Hyper-ICL框架,通过一个轻量级的logit-level adapter来校准attention分布,以在推理时无需in-context demonstrations即可重建其效果。该方法利用hyperbolic anchor distillation loss对齐学生与教师模型的特征,旨在提升多模态上下文学习的稳定性与效率。
R. Spencer Hallyburton, David Hunt, Miroslav Pajic
eess.IV cs.LG
本文提出了一种基于AVstack框架和CARLA模拟器的模块化数据集生成流程,用于创建多传感器、多智能体和多域自动驾驶系统的大规模标注数据。该工作主要关注数据生成而非算法创新,与关键词中的agent概念有一定关联但方法本身不具备开创性。
Liyuan Zhang et al.
cs.DC cs.LG
本文提出D^2SD框架,通过双diffusion draft模型和置信度引导的前缀树来改进speculative decoding,在验证阶段利用级联注意力机制联合验证多个候选序列,从而提升token接受率。
Hina Shakir et al.
cs.CV cs.LG
本文提出了一种基于深度神经网络梯度损失的递归特征消除方法(GL-RFE),用于肺癌分期检测中的影像组学特征选择,在CT扫描数据集上取得了约90%的分类准确率。该方法通过计算网络损失对输入特征的梯度来评估特征重要性,并递归消除贡献最小的特征。
Matthew Finlayson et al.
cs.CR cs.AI cs.CC cs.CL
本文研究了语言模型在仅暴露token排序(而非具体概率值)时的安全性,发现排序本身可作为模型签名,且该签名具有不可伪造性,但通过限制top-k可防止参数泄露。
Tianneng Shi et al.
cs.CR cs.AI cs.LG
本文提出了CyberGym-E2E,一个大规模且真实的端到端网络安全基准测试,用于评估AI agent在漏洞发现、PoC生成和补丁生成全生命周期中的能力。该基准通过自动化流水线将开源漏洞数据转化为评估环境,包含920个真实漏洞。
Ryan Brown, Chris Russell
cs.CV cs.AI
本文提出了一种名为Adaptive Calibration (AC)的面部识别校准策略,通过将归一化嵌入间的cosine similarity映射为校准概率,并引入局部上下文来修正不同嵌入区域中相同距离对应不同匹配概率的根本性不匹配问题。该方法无需人口统计元数据即可提升整体性能并实现更公平的校准。
Jiajun Hong, Jiawei Zhou
cs.CV cs.AI cs.CL
本文评估了当前text-to-image模型在视觉文本生成中的推理保真度,发现这些模型在需要表达完整推理过程时经常产生语义错误和逻辑不一致,即使生成的文本视觉上清晰可读。研究揭示了视觉文本生成与程序化推理之间存在显著差距。
Daniel Zhao
cs.CR cs.CL cs.LG stat.ML
本文提出了一种针对masked diffusion language models的全局sketch-based水印方法,通过控制文本的向量sketch表示来实现水印嵌入,并分析了其distortion、soundness和robustness性质。该方法与传统的autoregressive水印不同,不依赖于局部上下文。
Yuhua Huang, Hsiao-Ying Lu, Kwan-Liu Ma
cs.SI cs.LG
本文利用电子健康记录数据构建医疗专业人员协作网络,并应用机器学习方法预测癌症患者生存结果,重点分析了团队协作的动态模式。研究通过解释模型预测结果,识别了与特定患者结局相关的网络特征和动态模式。
Yuantu Luo et al.
cs.NI cs.AI
本文提出了一种基于图的加密流量分析方法PTGAMoE,通过保留协议语义的层次化图结构来提升分类性能。该方法在多个基准数据集上取得了优于现有模型的结果,并提供了可解释的协议特征重要性分析。
Fan Zhang et al.
cs.CV cs.AI
本文提出了一种光学引导的SAR少样本类增量学习框架,利用光学ATR数据集中的正交特征子空间作为几何先验,通过主角约束和冻结的simplex-ETF几何结构来引导SAR特征学习,以缓解数据稀缺和灾难性遗忘问题。实验表明该方法在最终准确率和性能退化之间取得了较好平衡。
Yichi Zhang, Ke Zhu, Zhoufan Zhu
stat.ML cs.LG econ.EM q-fin.RM
本文提出了一种名为ReSGA的大规模尾部风险模型,用于学习Value-at-Risk (VaR)和Expected Shortfall (ES)。该模型通过自编码器结构利用资产特征挖掘横截面依赖性和长期时间动态,在实证中优于多种计量经济学和机器学习方法。
Haotian Zheng et al.
cs.DC cs.AI cs.NI
本文提出Multi-SPIN架构,通过分布式部署speculative inference(推测推理)实现边缘多用户协同token生成,利用设备端小模型生成候选token并由边缘服务器上的LLM并行验证。针对用户计算与通信能力的异构性,研究了多接入draft长度控制与带宽分配的联合优化问题,以最大化总token goodput。
Monika Stipsitz et al.
physics.comp-ph cs.LG physics.app-ph
本文提出了一种基于随机物理仿真生成合成数据集的方法,用于训练神经网络以从稀疏传感器重建不可观测的温度场。该方法在硬件概念验证中优于Kriging插值,并支持实时在线监测。
Leonard Kinzinger, Jochen Hartmann
cs.CY cs.AI cs.HC
本文使用多个LLM和不同信息深度构建个体级数字孪生,评估其在德国SOEP数据上的预测表现,发现信息深度存在收益递减点,且嵌入方式与推理模式对准确率有不同影响。
Yile Gu et al.
cs.DC cs.AI cs.SE
本文提出Ekka系统,通过将LLM推理中的静默错误诊断转化为差分调试问题,对齐并比较目标框架与参考框架的中间执行状态来定位根因。实验表明该方法在真实错误基准上达到80%的pass@1诊断准确率。
Chongzhe Zhang et al.
cs.CV cs.AI
本文针对自动驾驶中目标检测的bounding-box预测不确定性量化问题,提出了一种名为Monte-Carlo generalized linearized model (MC-GLM)的后验不确定性量化方法。该方法通过Laplace approximation实现近似后验推断,并利用常数数量的Monte Carlo采样实现实例级不确定性量化,在nuScenes数据集上验证了有效性。
Alexander Hagg, Tania Guerrero, Dirk Reith
cs.NE cs.LG
本文使用U-Net作为spatial deep-learning surrogate替代传统的Gaussian Process surrogate,在MAP-Elites框架下加速气候适应性城市布局的Quality-Diversity优化。结果表明,U-Net的spatial inductive bias使其能稳健学习物理模拟映射,仅需一次性随机训练样本即可实现高精度fitness ranking。
Gleb Beliakov
math.NA cs.LG cs.MS
本文提出了一种基于Lipschitz条件的多元散乱数据插值与逼近方法,并支持单调性约束。该方法通过构造数据的紧上下界来获得最优的Lipschitz连续逼近,避免了最近邻逼近的不连续性,并适用于GPU并行化。
Zhihan Li et al.
eess.AS cs.CL cs.SD
本文提出READ指标,利用预训练TTS模型计算语音与文本假设间的声学差异,无需参考转录即可评估ASR假设质量。实验表明该方法能有效识别识别错误并提升ASR输出性能。
Mirza Muhammad Mobeen
cs.CV cs.AI
本文提出了一种基于YOLOv8、SORT跟踪和时序数据插值的5阶段实时车牌识别流水线,用于解决动态交通监控中光照变化、高速运动等导致的跟踪断裂和OCR识别率低的问题。该方法通过YOLOv8进行车辆和车牌检测,SORT算法建立帧间时空关联,并利用离线时序边界框插值机制修复碎片化轨迹。
Prerana Ramkumar, Nouhaila Innan, Muhammad Shafique
quant-ph cs.LG
本文提出了一种混合量子谓词分类器QPredSGG,通过用量子谓词头替换经典模型中的谓词头来处理场景图生成中的长尾谓词不平衡问题。实验表明,该方法在Visual Genome 150数据集上以更少的参数实现了比经典基线更高的mR@100指标。
Jiashu Yao et al.
cs.CV cs.CL
本文提出了LivingScreen基准,用于评估GUI agent在短视频平台这类动态屏幕环境下的表现,发现现有模型在观察控制方面存在不足。
Amirhossein Movahedisefat, Amirreza Fateh, Mohammad Reza Mohammadi
cs.CV cs.AI
本文提出在MedSAM中集成一个轻量级Box Predictor模块,通过单次用户点击估计bounding box来增强点提示的空间引导,仅增加1.6M参数。该方法在CT、MRI和超声等四种数据集上验证了分割性能提升。
Siyuan Yang et al.
cs.RO cs.AI
本文提出VISTA框架,通过UMI-VQA数据集和物理验证流水线,解决UMI数据与VLA模型训练之间的视觉域差异和物理可行性问题。实验表明该方法在仿真和真实操作任务中优于多个基线模型。
Kailun Huang et al.
cs.RO cs.AI
本文提出CoRe-MoE框架,通过两阶段强化学习将步态生成与地形适应解耦,利用contrastive objective训练MoE的门控网络以促进专家专业化,在仿真和真实机器人上验证了多地形行走与奔跑的稳定性。该方法主要关注机器人控制中的多技能干扰问题,与您提供的关键词(如code, context, spectral, Muon, pretrain, agent, attention)关联度较低。
Sabrina Kaniewski, Fabian Schmidt, Tobias Heer
cs.SE cs.AI
本文对基于RAG的漏洞检测框架Vul-RAG进行了可重复性研究,在本地开源模型设置下复现了其基线结果,并扩展评估了多种开源LLM。研究发现所有模型在pairwise accuracy上均存在约0.30的性能瓶颈,表明单纯提升模型能力无法显著改善检测效果。
Guopeng Li et al.
cs.RO cs.LG
本文提出COP-Q算法,通过Cholesky分解在联合Q值空间中编码目标优先级,以在安全强化学习中平衡奖励与安全约束。该方法在机器人控制任务上实现了安全性能与样本效率的改进。
Pietro Lugato et al.
hep-ex cs.AI cs.IR
本文介绍了Archi,一个为CMS实验计算运维团队设计的开源端到端框架,通过整合异构数据源并部署可配置的agent来支持技术操作员的检索与分析任务。系统在真实运维场景中表现有效,并验证了本地开源模型在敏感数据处理上的竞争力。
Yutao Shi et al.
cs.CR cs.AI cs.SE
本文研究了MCP服务器中工具描述与代码实现不一致的问题,提出了DCIChecker框架进行自动化检测,并发现约9.93%的描述-代码对存在不一致性,揭示了该问题带来的安全风险。
Hoang-Son Vo et al.
cs.CV cs.AI
本文提出CHASMBrain,一种用于图像到fMRI编码的两阶段层次化框架,采用双流Mamba设计分离全局语义和局部空间信息,并通过粗到细策略预测大脑活动。实验在NSD数据集上取得较好性能,但方法本身与关键词列表中的概念关联较弱。
Yong Cao et al.
cs.CV cs.CL
本文提出了NextMotionQA基准,用于评估视觉语言模型对人类运动的理解,包含多项选择题、视频描述和错误修正任务。实验发现模型在粗粒度评估上表现良好,但在细粒度判断上存在显著局限。
Piotr Frydrych
cs.IT cs.DS math.ST
本文证明了Preisach极值堆是率无关泛函的Shannon最小充分统计量,并给出了信息论推论。该工作主要关注统计推断中的充分性,与您提供的关键词关联度较低。
Jiahua Dong et al.
cs.CV cs.LG
本文提出了一种持续可定制的扩散模型(CCDM),通过属性解耦LoRA模块和相关性引导的聚合策略,解决了增量学习新概念时的灾难性遗忘和概念忽视问题。该方法主要面向图像生成中的个性化概念定制任务。
Sichao Li et al.
cs.CV cs.AI
本文提出了NoRA基准,用于评估视觉第一人称视频中模型生成合理动作并给出可解释理由的能力,发现当前多模态系统在动作空间构建和理由绑定上存在不足。
Tobias Christian Nauen et al.
cs.CV cs.AI cs.LG
本文指出了CutMix数据增强方法中标签分配存在偏差的问题,即粘贴区域的面积不能准确反映其语义贡献。作者提出OA-CutMix,通过使用预计算的分割掩码来修正标签权重,使其与可见物体面积成比例,从而在不改变图像混合过程的情况下提升性能。
Chon Wai Ho, Sumeetpal S. Singh, Jiaqi Guo
stat.ML cs.LG math.ST stat.CO
本文为随机最短路径问题(SSP)提出了一种贝叶斯学习框架,通过直接构建最优动作值函数\(Q^*\)的后验信念来学习最优决策策略,并采用高斯似然松弛处理非标准后验密度。数值实验表明该方法在不确定性量化与数据效率上优于其他基于时间差分法的贝叶斯方法。
Kun Cheng et al.
cs.CV cs.CL cs.LG
MusaCoder提出了一套全栈训练框架,用于在CUDA和MUSA后端上生成native GPU kernel。该方法通过渐进式数据合成、多样性保留的拒绝微调以及基于执行反馈的强化学习来提升代码生成质量,实验表明其在KernelBench基准上优于现有开源和闭源模型。
Yutaka Nagashima, Daniel Sebastian Goc
cs.LO cs.AI cs.PL cs.SE
本文提出了一个用于Isabelle/HOL的Abduction Prover,通过溯因推理识别有用的猜想,为证明目标构造证明脚本,以改善基于表达性逻辑的证明助手的自动化程度。
Yueying Zou et al.
cs.CV cs.AI
本文提出DiverAge,一个基于diffusion autoencoding的分层多元人脸老化框架,通过随机diffusion解码和年龄条件语义调制保持外观多样性,并引入Cross-age Identity Relation Regulator (CARR)在推理时引导去噪过程以提升序列级可靠性。实验表明该方法在保持身份、年龄准确性和多样性的同时改善了序列级序数可靠性。
Aaron Sterling
cs.LO cs.AI cs.MA cs.PL
本文提出了一个名为Agentic Redux的LLM agent架构,通过typed lambda calculus证明其在特定领域内执行时具有语义正确性和可审计性,并介绍了Ontology-First Agent Design方法论。该方法主要关注agent系统的可审计性和安全性,与关键词中的agent概念有一定关联,但整体方法并非开创性突破。
Yang Liu et al.
cs.CV cs.CL
本文提出了BreastGPT,一个针对乳腺癌临床全流程的多模态大语言模型,并构建了包含多模态数据的BreastStage指令语料库。该模型通过双分支视觉编码器和概念保留token压缩技术,在乳腺癌筛查、诊断和治疗规划等阶段的任务上取得了优于现有通用和医学专用MLLM的性能。
Tran Dinh Tien, Zhiqiang Shen
cs.CV cs.AI cs.LG
本文提出了一种名为Omni-Geometry Knowledge Distillation (OGKD)的框架,通过向teacher模型中注入类别关系结构来生成保留ground truth并尊重inter-class geometry的方向性目标,并设计了两种蒸馏损失(GAD和LGD)以改进视觉-语言模型在医学图像上的prompt tuning性能。实验表明该方法在多个医学数据集上优于现有方法,但未涉及code, context, spectral, Muon, pretrain, agent, attention等关键词。
Prince Ebenezer Adjei et al.
cs.HC cs.CL
CARE-link是一个基于Web的开源临床支持平台,通过LLM介导的工作流连接临床医生和患者,以改善妊娠期糖尿病管理。该系统聚合患者院外生成数据并总结临床信息,通过WhatsApp界面为患者提供管理计划解释和生活方式指导。
Samuel Ndichu et al.
cs.CR cs.IR cs.LG
NLLog提出了一种将系统日志重写为自然语言句子的轻量级方法,并结合TF-IDF加权和树集成分类器进行异常检测。该方法在HDFS和BGL数据集上表现良好,但主要贡献在于工程实现而非理论创新,与关键词列表中的概念关联较弱。
Sanderson Oliveira de Macedo
cs.SE cs.AI
本文提出了一种针对AI软件开发框架的过程分类法,从specification、context、roles等六个维度评估了六个框架,发现这些框架在过程深度与跨agent可移植性之间存在结构性权衡,但未涉及关键词中的spectral、Muon或pretrain等概念。
Kaustav Kundu et al.
cs.CV cs.AI
本文提出了一个面向主动式多模态辅助系统的基准数据集EgoProactive和Pro²Bench,并设计了一种解耦的规划器-交互架构来处理程序性任务中的用户偏离行为。实验表明该方法在干预质量上优于多个强基线模型,但未涉及code、spectral、Muon、pretrain、agent或attention等关键词。
Yiqi Wang et al.
cs.CR cs.AI
本文系统综述了基于LLM的agent中证据追踪与执行溯源问题,提出了统一溯源视角的概念框架,涵盖检索归因、工具使用安全、内存溯源等方向,并讨论了从最终答案正确性向过程级可问责性评估的转变。
Peihua Mai et al.
cs.CR cs.AI
SharedRequest提出了一种模型无关的隐私保护推理框架,通过在batch级别混合原始prompt与噪声变体来保护用户隐私,同时分组语义等价的指令以摊销推理成本。该方法不依赖LLM架构,在效用和效率上优于差分隐私基线,但与我提供的关键词列表关联较弱。
Jie Huang et al.
cs.CV cs.AI cs.CL
本文提出了M\(^3\)Eval,一个基于认知心理学设计的视频理解记忆评估框架,通过构造特定任务来测试多模态模型的记忆维度。实验发现模型在并行视频流处理、干扰模式、时空记忆和符号记忆方面存在明显不足。
Arquimedes Canedo, Grama Chethan
cs.SE cs.AI
本文提出了一种自反式API设计,在验证失败时返回机器可读的修复建议,帮助AI agent自动修正请求。实验表明,在部分模型上结构化建议比自然语言诊断显著提升了任务完成率,但该方法主要关注API交互优化,与关键词中的code、context、spectral、Muon、pretrain、agent、attention关联较弱。
Ali Mjalled, Martin Mönnigmann
math.DS cs.LG
本文提出了一种利用autoencoders学习控制仿射降阶模型的框架,通过同时训练autoencoder和状态空间模型将高维状态和输入映射到低维潜在空间,并扩展为基于序列的模型以提高预测精度。该方法在数值示例中评估了预测精度和控制效果,但与关键词列表中的概念关联较弱。
Jingyuan Chen et al.
cs.CV cs.AI
本文提出了UniCAD,一个用于多模态CAD学习的统一benchmark,并设计了UniCAD-MLLM模型,该模型通过一个统一的multi-modal large language model框架,以端到端方式处理点云、文本、图像等多种输入并完成点云到CAD重建、文本/图像到CAD生成及CAD问答等任务。实验表明该方法在多个任务上达到了state-of-the-art性能。
Deniz Elbek, Kamer Kaya
cs.DC cs.DS
本文提出BLEST框架,利用Tensor Cores将BFS转化为位级稀疏矩阵-向量计算,通过Binarized Virtual Slice Sets (BVSS)图表示和优化的TC布局解决负载不均与同步开销问题,在GPU上实现了显著加速。
Sepehr Dehdashtian et al.
cs.SD cs.LG
本文提出FoeGlass,一种针对音频深度伪造检测器(ADD)的黑盒自动化红队测试方法,利用大语言模型(LLM)的in-context learning能力探索文本到语音(TTS)模型的输入空间,以生成能欺骗目标ADD的音频样本。该方法通过基于多样性度量的上下文设计缓解模式崩溃问题,实验表明其生成的数据能显著提升ADD的false negative rate,且攻击具有跨模型可迁移性。
Elouan Gardès et al.
cs.CV cs.AI
本文提出了一种名为FINO的无标签方法,利用元数据(metadata)以自监督方式将视觉基础模型适应到专业科学领域。该方法结合了自监督目标与灵活的元数据引导,在多个领域(如显微镜、地球观测)中表现优于标准无监督和全监督适应方法。
Xiaoyang Jiang et al.
cs.CV cs.AI cs.CL
本文提出BabyCL框架,通过单次时间顺序处理SAYCam数据集,结合流式视觉表示学习和图像-文本对比目标,在更接近儿童实际体验的训练条件下学习词-指代映射。实验表明该方法在流式学习基准上表现优异,但未涉及关键词中的code、spectral、Muon、agent或attention等概念。
Zhifei Xie et al.
cs.SD cs.AI cs.CL cs.MM eess.AS
本文提出了Audio Interaction Model,通过SoundFlow框架和StreamAudio-2M数据集,将离线LALM与流式音频模型统一为在线模型,实现了实时音频指令跟随和主动交互。该方法在多个基准测试中保持了主流音频任务的性能,并解锁了离线模型无法实现的新能力。
Hongyu Zhou, Zorah Lähner
cs.GR cs.CV cs.LG
本文指出3D Gaussian Splatting (3DGS) 在默认形式下无法同时表示texture和geometry,并提出通过为每个splat增加一个额外的geometry opacity参数以及可选的透明度优化流程来解耦外观与几何,从而在多种数据集上提升渲染和几何性能。
Jian Yang et al.
cs.CR cs.LG
本文提出了一种基于全同态加密(FHE)的分布式因果结构学习方法,通过电路简化、Newton-Raphson除法和Taylor展开近似对数运算以及SIMD批处理技术,在加密数据上实现了因果结构学习,并在数分钟内完成计算。该方法与明文版本具有较高的一致性,并可扩展支持差分隐私。
Josef Bengtson, Yaroslava Lochman, Fredrik Kahl
cs.CV cs.AI
本文提出GeM-NR,一种无需训练的快速多视图图像编辑方法,通过深度图对齐和投影策略实现非刚性场景编辑,在几何和外观一致性上优于现有方法。
Gandhimathi Padmanaban, Fred Feng
cs.CV cs.LG eess.IV
本文提出了一种开源的二阶段计算机视觉pipeline,结合RT-DETR检测器和Vision Transformer (ViT-Base/16) 实现细粒度车辆分类,并在自行车道视频数据上验证了其鲁棒性。该工作主要面向交通安全应用,与关键词中的attention概念有一定关联,但整体方法创新性有限。
Ammar Hoori, Yuichi Motai
cs.NE cs.AI
本文提出了一种基于自适应和非自适应粒子群优化的多列RBF神经网络方法(MC-PSO和MC-APSO),通过并行训练多个小规模RBFN处理数据集的不同子集,以解决传统方法在大数据集上的可扩展性问题。实验表明,该方法在准确率和召回率上优于现有基准方法。
Yichen Gao et al.
cs.SD cs.CL
本文研究了音频-语言模型(ALMs)在音频与文本冲突时的决策机制,发现64.1%的冲突样本中音频支持的答案被文本覆盖,并提出了一种无需训练的GACL解码规则来修正这种偏差。该方法在音频-文本仲裁任务上提升了17.8个点的nAUC,并可直接迁移至视觉-文本任务。

- 数据来源 Data Source: arXiv.org

- 本网页的内容由 bluearXiv-ai 自动生成。实际抓取的是 arXiv 中 "new" 页面的数据,即最近的有所在分类论文变动的一天的数据。

- 感谢 arXiv 提供的服务。评论和精选由 AI 生成,不代表任何人对论文本身的看法。精选依赖于论文与给定关键词的匹配度。

- 计数基于主学科,不计重数。

- This webpage is automatically generated by bluearXiv-ai.

- The data actually captured is from the "new" page, that is, the data of the most recent day when there were changes in corresponding subjects.

- Thanks for services prodived by arXiv. Comments and selection of good papers are generated by AI, not showing anyone's point of view about those papers.

- The selection also depends on the matched-degrees between papers and given keywords.

- The counters are based on main subject, not counting multiplicities.