成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
预训练
关注
23
在搭建网络模型时,需要随机初始化参数,然后开始训练网络,不断调整直到网络的损失越来越小。在训练的过程中,一开始初始化的参数会不断变化。当参数训练到比较好的时候就可以将训练模型的参数保存下来,以便训练好的模型可以在下次执行类似任务时获得较好的结果。
综合
百科
VIP
热门
动态
论文
精华
MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training
Arxiv
0+阅读 · 4月22日
An Efficient Approach for Studying Cross-Lingual Transfer in Multilingual Language Models
Arxiv
0+阅读 · 3月29日
Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration
Arxiv
0+阅读 · 4月2日
Accelerating Transformer Pre-Training with 2:4 Sparsity
Arxiv
0+阅读 · 4月2日
Dwell in the Beginning: How Language Models Embed Long Documents for Dense Retrieval
Arxiv
0+阅读 · 4月5日
Federated Foundation Models: Privacy-Preserving and Collaborative Learning for Large Models
Arxiv
0+阅读 · 3月19日
Zero Resource Code-switched Speech Benchmark Using Speech Utterance Pairs For Multiple Spoken Languages
Arxiv
0+阅读 · 3月18日
An Empirical Study of Parameter Efficient Fine-tuning on Vision-Language Pre-train Model
Arxiv
0+阅读 · 3月13日
Could Small Language Models Serve as Recommenders? Towards Data-centric Cold-start Recommendations
Arxiv
0+阅读 · 3月4日
BLAT: Bootstrapping Language-Audio Pre-training based on AudioSet Tag-guided Synthetic Data
Arxiv
0+阅读 · 3月5日
ARIA: On the Interaction Between Architectures, Initialization and Aggregation Methods for Federated Visual Classification
Arxiv
0+阅读 · 3月1日
UniScene: Multi-Camera Unified Pre-training via 3D Scene Reconstruction
Arxiv
0+阅读 · 2月15日
Spike No More: Stabilizing the Pre-training of Large Language Models
Arxiv
0+阅读 · 2月2日
Document Structure in Long Document Transformers
Arxiv
0+阅读 · 1月31日
M2-RAAP: A Multi-Modal Recipe for Advancing Adaptation-based Pre-training towards Effective and Efficient Zero-shot Video-text Retrieval
Arxiv
0+阅读 · 1月31日
参考链接
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top