为什么都在用ollama而lm studio却更少人使用? - 知乎
3. 还有一点，ollama是llama.cpp实现模型推理，模型小，速度快。 4. 还有，ollama提供11434端口的web服务，重要的是还兼容openai的端点接口，可以和各种前端配合，比如ollama自己open …
大模型参数量和占的显存怎么换算？ - 知乎
大模型参数量和占的显存怎么换算？ Llama 7B或者baichuan7b跑起来需要多少显存？ 能根据参数量估计出来么？ 显示全部 关注者 140 被浏览
十分钟读懂旋转编码（RoPE）
Sep 23, 2025 · 旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer: Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self …
llama.cpp里面的Q8_0,Q6_K_M,Q4_K_M量化原理是什么？ - 知乎
llama.cpp里实现了多种量化方法，下面我们来整体介绍一下， 可能会存在一些理解偏差，因为官方文档实在是太少了，如果发现有错误，请不吝指教。 二、llama.cpp中主要量化方法系列 1. …
个人微调大模型 (7B)，最经济的硬件配置是什么？ - 知乎
如果训练7B大模型的话，有4-8张4090最佳。 当然现在有很多2B左右的小模型效果也不错，如 phi-1.5B， Qwen-1.8B 等。 这些小模型用高质量的数据训练得到的效果甚至高于 Llama-7B 的效 …
LM-studio模型加载失败？ - 知乎
如题：选择deepseek-8b-llama-ggufgpu选择32层加载模型时报错：Error loading model.(Exit code: 1844674…
LLaMa-1 技术详解 - 知乎
Sep 26, 2025 · LLaMa 的开源大大降低了大模型研发的门槛，随着 LLaMa-2 的发布，相信很多公司都会选择 LLaMa，下一篇文章再详细解读下 LLaMa-2 相比 LLaMa-1 做了哪些优化。
一文读懂Llama 2（从原理到实战）
Sep 26, 2025 · Llama 2-Chat的训练过程：这个过程从使用公开可用的在线资源对Llama 2进行预训练开始。 接下来，通过应用有监督微调，创建了Llama 2-Chat的初始版本。 随后，使用人类 …
现在LLM 的大小为什都设计成6/7B、13B和130B几个档次？ - 知乎
后来 Llama 发布的时候， RoPE 已经证明比相对位置编码要好，再一个 Meta 可能想验证 Chinchilla Scaling Law 的正确性，所以就把相对位置编码去掉，这样参数回退到 65B。 尝试用 …
如何解释大模型的重复生成现象？ - 知乎
=======更新 2023.10.07=== 更新一下我们在大语言模型的重复生成问题上的最新分析。之前的DITTO发现了模型随着句子级别的context重复会产生概率增强效应 (self-reinforce)，这篇工作 …