NLP

4 篇文章
transformer

transformer

Transformer NLP(自然语言处理)发展史 自然语言处理(Natural Language Processing,NLP)是一门借助计算机技术研究人类语言的科学。 大致可以分为两个阶段: NNLM神经网络模型 NNLM 模型的思路与统计语言模型保持一致,它通过输入词语前面的 N−1 个词语

hugging face 抱抱脸

hugging face 抱抱脸

什么是hugging face?🤔 如何使用?🔧 hugging face模型下载 首先安装相关库 pip install -U huggingface_hub 然后编写一个python文件,如下 # 设置环境变量 import os os.environ["HF_ENDPOINT"] =

LoRA微调

LoRA微调

现在的大模型动辄几十、上百亿参数,如果我们想要对模型进行微调,放到本地一般而言很少有足够的显存。 大模型微调的几种方法: 低秩微调LoRA LoRA(Low-Rank Adaptation)简介:高效的深度学习模型微调方法 在深度学习领域,尤其是大规模预训练模型(如BERT、GPT系列等)的微调过程