会员服务
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。
HLTCOE Evaluation Team at TREC 2025: VQA Track
Arxiv
0+阅读 · 12月8日
Faster and Memory-Efficient Training of Sequential Recommendation Models for Large Catalogs
Arxiv
0+阅读 · 12月1日
Statistical Analysis of Conditional Group Distributionally Robust Optimization with Cross-Entropy Loss
Arxiv
0+阅读 · 11月3日
Multi-Agent Cross-Entropy Method with Monotonic Nonlinear Critic Decomposition
Arxiv
0+阅读 · 11月26日
Multi-Agent Cross-Entropy Method with Monotonic Nonlinear Critic Decomposition
Arxiv
0+阅读 · 11月24日
Lightweight Baselines for Medical Abstract Classification: DistilBERT with Cross-Entropy as a Strong Default
Arxiv
0+阅读 · 10月21日
The Coverage Principle: How Pre-training Enables Post-Training
Arxiv
0+阅读 · 10月16日
Low-Rank Adapting Models for Sparse Autoencoders
Arxiv
0+阅读 · 1月31日
Class Distance Weighted Cross Entropy Loss for Classification of Disease Severity
Arxiv
0+阅读 · 1月10日
Disentangled Interleaving Variational Encoding
Arxiv
0+阅读 · 1月16日
Disentangled Interleaving Variational Encoding
Arxiv
0+阅读 · 1月15日
Minimally Invasive Flexible Needle Manipulation Based on Finite Element Simulation and Cross Entropy Method
Arxiv
0+阅读 · 2024年11月12日
Analysis on Riemann Hypothesis with Cross Entropy Optimization and Reasoning
Arxiv
0+阅读 · 2024年9月29日
ProFuser: Progressive Fusion of Large Language Models
Arxiv
0+阅读 · 2024年8月9日
Ziv-Merhav estimation for hidden-Markov processes
Arxiv
0+阅读 · 2024年8月16日
参考链接
微信扫码咨询专知VIP会员
Top