会员服务
交叉熵（Cross Entropy）是Shannon信息论中一个重要概念，主要用于度量两个概率分布间的差异性信息。语言模型的性能通常用交叉熵和复杂度（perplexity）来衡量。交叉熵的意义是用该模型对文本识别的难度，或者从压缩的角度来看，每个词平均要用几个位来编码。
Low-Rank Adapting Models for Sparse Autoencoders
Arxiv
0+阅读 · 1月31日
Class Distance Weighted Cross Entropy Loss for Classification of Disease Severity
Arxiv
0+阅读 · 1月10日
Disentangled Interleaving Variational Encoding
Arxiv
0+阅读 · 1月16日
Disentangled Interleaving Variational Encoding
Arxiv
0+阅读 · 1月15日
Minimally Invasive Flexible Needle Manipulation Based on Finite Element Simulation and Cross Entropy Method
Arxiv
0+阅读 · 2024年11月12日
Analysis on Riemann Hypothesis with Cross Entropy Optimization and Reasoning
Arxiv
0+阅读 · 2024年9月29日
ProFuser: Progressive Fusion of Large Language Models
Arxiv
0+阅读 · 2024年8月9日
Ziv-Merhav estimation for hidden-Markov processes
Arxiv
0+阅读 · 2024年8月16日
System Report for CCL24-Eval Task 7: Multi-Error Modeling and Fluency-Targeted Pre-training for Chinese Essay Evaluation
Arxiv
0+阅读 · 2024年7月11日
Classically Spoofing System Linear Cross Entropy Score Benchmarking
Arxiv
0+阅读 · 2024年5月1日
ProPML: Probability Partial Multi-label Learning
Arxiv
0+阅读 · 2024年3月12日
Fourier Basis Density Model
Arxiv
0+阅读 · 2024年2月23日
Cross Entropy versus Label Smoothing: A Neural Collapse Perspective
Arxiv
0+阅读 · 2024年2月7日
Cross Entropy versus Label Smoothing: A Neural Collapse Perspective
Arxiv
0+阅读 · 2024年2月6日
A Cross Entropy Interpretation of R{é}nyi Entropy for $α$-leakage
Arxiv
0+阅读 · 2024年1月26日
参考链接
微信扫码咨询专知VIP会员
Top