HQY 一个和谐有爱的空间

简介DeepSeek不仅仅有大语言模型，它也有Janus用于图像的AI模型。我们可以将它用于：图像识别、验证码识别、文生图等等资源下载链接：「DeepSeek多模态图像AI所需工具」视频教程https://www.bilibili.com/video/BV11LFCeQEHH安装第一步安装cuda和anaconda，并创建 python >= 3.9 的环境、环境中还要有git第二步git clone https://github.com/deepseek-ai/Jan

DeepSeek 使用及本地安装教程简介吊打openai chatgpt的国产大预言模型DeepSeek。不用不是中国人！在线版直接使用DeepSeek官网：https://www.deepseek.com/离线版安装下载ollama并安装：Ollama离线安装包使用命令安装deepseek：ollama run deepseek-r1:7b

【Scrapegraph-ai】AI取代爬虫工程师视频教程https://www.bilibili.com/video/BV1QZ421K7fh简介Github地址：Scrapegraph-ai该项目可以使用大预言模型，对目标网站的内容进行爬取。真正做到，无需代码，动动嘴就取代爬虫该项目可以使用ChatGPT等在线大模型（需要api费用），但接下来我会演示如何使用本地大语言模型（无需费用）安装一、安装ollama在 Ollama官网 下载对应安装包，无脑下一步完成安装。二、安

NuGet是什么？为什么.NET项目中会有NuGet？如何使用NuGet程序包？我们了解了：NuGet是什么？为什么.NET项目中会有NuGet？如何使用NuGet程序包？特别的，文中学习了如何安装基于微软官方托管(nuget.org)的共享NuGet包。那现在有人可能会问了：“我的程序集是个人或公司内部的，如果以都发布到nuget.org托管，那么不是所有都能下载和引用了吗？有没有可能把个人或公司内部的程序集上传到一个私有的NuGet服务器，只让部分开发者可以访问呢？”答案是肯定的，你想到的别

在.NET应用程序编程开发中，开发者通常使用类库来管理、维护属于同一分类的程序代码，以便代码的重用。一般情况下，处于同一类库的所有类都位于同一程序集。这些类库被编译器编译后会生成扩展名为.dll的动态链接库文件，你可以在其它项目中通过引用的方式导入这些.dll程序集并使用其中被封装的类及成员。但随着项目越来越大、越来越多，使用手动引用.dll动态链接库的方式让程序包管理和维护变得非常困难。在这种情况下，NuGet程序包管理工具便应运而生。NuGet程序包就好比前端开发中的npm包，Java开发中

DeepSeek从春节一直火到现在，我除了看各种报道资料向大家学习之外，也一直考虑着能拿手头什么样的硬件配置玩一下：）今天我要分享的结论很简单。当然除了下表之外，还想补充点经验给大家参考——包括我自己的，也包括来自同行友人的。测试模型DeepSeek-R1-UD-IQ1_S（671B，Dynamic 1.58-bit）OSUbuntu 24.01 LTSCPUAMD EPYC 8534P（64核，SP6，Zen4c）内存6通道192GB DDR5-48004通道256GBToken/s

目录环境准备配置步骤一、配置 GPU 云服务器二、安装 conda三、显卡驱动安装四、vllm 安装五、大模型下载与运行客户端调用测试环境准备1. anaconda2. python 环境3. VLLM（注：只可运行在Linux系统中）4. 云服务器或本地物理服务器；（本文以云服务器部署为例）配置步骤一、配置 GPU 云服务器1.购买云服务器 GPU 计算型根据实际需要选择等待实例初始化2.在本地电脑使用 ssh 连接服务器这里我使用私钥进行连接二、安装

Cherry Studio：开源AI客户端，使用DeepSeek提升效率神器介绍一下Cherry Studio的相关使用。Cherry Studio的介绍Cherry Studio是一个开源的支持多模型服务的桌面AI客户端，为专业用户而打造。集成了超过 300 多个大语言模型，内置 30 多个行业的智能助手，帮助用户在多种场景下提升工作效率。支持macOS、Windows、Linux。提供了丰富的功能，如：对话、智能体、绘画、翻译、知识库等功能在Cherry Studio中使用硅基流动Cherr

开源！基于DeepSeek的本地化企业内部知识库和工作流平台， 允许商业化源代码http://www.gitpp.com/sciences/deepseek-localweb-ragDeepSeek本地知识管理平台：全面、安全、高效的智能解决方案在当前数字化和信息化的浪潮中，企业和机构对于高效、安全的知识管理和智能服务需求日益增长。DeepSeek本地知识管理平台应运而生，它基于DeepSeek这一开源且性能卓越的大模型，旨在为企业和机构提供一套功能全面、安全高效的智能解决方案。一、文档智能功能

Pascal架构GPU在vllm下的模型推理优化ChatGPT生成的文章摘要这篇博客记录了作者在家中使用Pascal显卡运行大型模型时遇到的挑战和解决方案。随着本地大型模型性能的提升，作者选择使用vllm库进行推理。然而，作者遇到了多个技术难题，需要自行编译vllm和PyTorch，以支持Pascal架构的显卡。编译过程中，作者深入研究了显卡不支持的问题，特别是在量化矩阵乘法计算中发现性能瓶颈。最终，解决了性能问题，让性能提升了43倍。这次技术探索不仅解决了具体问题，还为作者提供了深入学习和扩展

0x01 传统Pcie与NVLink1. PCIe（Peripheral Component Interconnect Express）：它是一种计算机总线标准，用于在计算机内部连接各种设备和组件（例如显卡、存储设备、扩展卡等）。PCIe接口以串行方式传输数据，具有较高的通信带宽，适用于连接各种设备。然而，由于其基于总线结构，同时连接多个设备时可能会受到带宽的限制。2. NVLink（Nvidia Link）：它是由NVIDIA开发的一种高速、低延迟的专有连接技术，主要用于连接NVIDIA图形处

在人工智能和大型语言模型（LLMs）领域，Ollama作为一款专注于简化大型语言模型在本地部署和运行的开源框架，受到了广泛关注。然而，Ollama并非唯一的选择，市场上还有许多其他同类型的工具，为开发者提供了多样化的选项。本文将盘点与Ollama同类型的大模型框架工具，帮助用户更好地了解这一领域的技术生态。一、Ollama框架简介Ollama是一个专注于简化大型语言模型（LLM）在本地部署和运行的开源框架。它支持多种大型语言模型，如Llama 2、Code Llama、Mistral、Gemma

Ollma和vLLM简单对比AI应用开发中最常见两个大模型推理框架Ollama和vLLM. 在应用开发过程中，开发者通常会从多方面进行比较来选定适合的推理框架，尤其是在对接本地大模型时，考虑因素包括本地资源配置，本地安全性要求，成本计算，响应要求等多个方面。下面针对这两个常见框架，做一个简要的对比：Ollama1. 说明：Ollama是一个开源的大模型服务工具，可以让你在不写代码的情况下，在本地通过命令运行需要的大模型。Ollama会根据用户的资源配置，自动选择GPU或CPU运行，运行速度取决于

       这两年是大模型盛行的黄金时代，各大优秀的大模型诸如GPT、LLM、QWen、Deepseek等层出不穷，不断刷新我们的认知；但是大模型都有一个共同的特点，都拥有非常惊人的参数量，小的都有上十亿的参数，大的更是可以有几千亿的参数，这么大的参数量就会带来一个新的问题，就是推理效率不如传统的深度学习模型，再有就是目前的大模型基本上都是基于transformer进行开发的，最大限制上下文token数会导致模型在显存的利用率上会有很大的缺陷，基于此，专

       vLLM 专为高效部署大规模语言模型设计，尤其适合高并发推理场景，关于对vLLM的介绍请看这篇博文。以下从 安装配置、基础推理、高级功能、服务化部署 到 多模态扩展 逐步讲解。 1. 环境安装与配置1.1 硬件要求GPU: 支持 CUDA 11.8 及以上（推荐 NVIDIA A100/H100，RTX 4090 等消费级卡需注意显存限制）显存: 至少 20GB（运行 7B 模型），推荐 40

大模型框架：vLLM目录一、vLLM 介绍二、安装 vLLM2.1 使用 GPU 进行安装2.2 使用CPU进行安装2.3 相关配置三、使用 vLLM3.1 离线推理3.2 适配OpenAI-API的API服务一、vLLM 介绍        vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架。它利用了全新的注意力算法「PagedAttention」，提供易用、快速、便宜的LLM服务。二、安装

https://www.nvidia.cn/data-center/tesla-p100/NVIDIA Tesla P100世界首款 AI 超级计算数据中心 GPU超强计算能力助力现代数据中心当今的数据中心有赖于大量互连的通用计算节点，这限制了高性能计算 (HPC) 和超大规模工作负载。NVIDIA® Tesla® P100 运用 NVIDIA Pascal™ GPU 架构提供统一的平台，以加速 HPC 和 AI 发展，大幅提升吞吐量，同时降低成本。应用程

随着 AI 技术的飞速发展，大模型的参数量已经从亿级跃升至万亿级，这一变化不仅标志着 AI 的显著提升，也对支持这些庞大模型训练的底层硬件和网络架构提出了前所未有的挑战。为了有效地训练这些复杂的模型，需要依赖于大规模的 GPU 服务器集群，它们通过高速网络相互连接，以便进行快速、高效的数据交换。但是，即便是最先进的 GPU 也可能因为网络瓶颈而无法充分发挥其计算潜力，导致整个算力集群的性能大打折扣。这一现象凸显了在构建大规模 GPU 集群时，仅仅增加 GPU 数量并不能线性增加集群的总体算力。相

PVE下ubuntu22.04部署Stable Diffusion教程(使用NVIDIA P100显卡)可能有很多人和我有同样的想法，想把Stable Diffusion部署到Ubuntu等Linux服务器上，然后开放端口到外网，这样就可以在任何有网络的地方来进行访问，不必局限于在家的局域网内。下面咱们就用嘴简单的方式进行部署一下。一、下载Stable DiffusionB站大佬秋葉aaaki的Stable Diffusion版本，不但可以在Windows11上部署，在Ubuntu22.04上也

距离第一次给大家介绍这款编辑器，已经过去两年了，不知道大家有没有用起来呢？基于ChatGPT 的自动编程工具-cursor新体验cursor近期又发布了新功能，所以，再次推荐给大家使用。它不仅能帮你自动生成代码，还能像其他大模型一样，用于日常提问聊天。什么是Cursor？Cursor是一款基于AI的代码编辑器，内置了GPT-4、Claude等先进的大语言模型，能够通过自然语言指令生成、修改和优化代码。它基于VSCode开发，界面和操作方式与VSCode几乎一致，但多了强大的AI功能，堪称“VSC