语言模型

点击参加51CTO网站内容调查问卷 译者 | 崔皓 审校 | 重楼 摘要 文章介绍了QLoRa（Quantized LLMs with Low-Rank Adapters），一种在消费者级别的硬件上微...

大多数大型语言模型(LLM)都无法在消费者硬件上进行微调。例如，650亿个参数模型需要超过780 Gb的GPU内存。这相当于10个A100 80gb的gpu。就算我们使用云服务器，花费的开销也不是所有...

迄今为止规模最大的蛋白质语言模型问世了！ 一年前，DeepMind开源AlphaFold2连登Nature、Science，刷爆生物和AI学界。 一年后，Meta带着速度快一个数量级的ESMFold来...

在消费级 GPU 上运行大规模模型是机器学习社区正面临的挑战。 语言模型的规模一直在变大，PaLM 有 540B 参数，OPT、GPT-3 和 BLOOM 有大约 176B 参数，模型还在朝着更大的方...

过去几个月里，Meta的LLaMA引领了一场语言模型的开源狂潮，并且随着大众对语言模型训练研究的深入，很多问题也都有了答案。 比如需要人类反馈和强化学习来对齐语言模型吗？语言模型在ChatGPT模拟数...

一、生成式模型商业化 现如今，生成式AI赛道火热。根据PitchBook统计数据，2022年生成式AI赛道总共获得约14亿美元的融资，几乎达到了过去5年的总和。OpenAI、Stability AI等...

近几年自然语言处理的进展很大程度上都来自于大规模语言模型，每次发布的新模型都将参数量、训练数据量推向新高，同时也会对现有基准排行进行一次屠榜！ 比如今年4月，Google发布5400亿参数的语言模型P...

大语言模型之战，Stability AI也下场了。 近日， Stability AI宣布推出他们的第一个大语言模型——StableLM。划重点：它是开源的，在GitHub上已经可用。 模型从3B和7B...