企业官网建设流程全解析

GPU配置介绍

一、CUDA 核心& Tensor 核心

1. CUDA 核心

• 是 NVIDIA 开发的并行计算平台和编程模型，用于 GPU 上的通用计算，就像是万能工人，可以做很多不同的工作
• 适合游戏和图形渲染、天气预测、电影特效等场景

案例 ：视频渲染
当一个电影制片公司决定制作一部具有高度视觉效果的 3D 电影时，他们需要大量的计算能力来渲染每一帧。这里，CUDA 核心非常有用，因为它们能够处理大量的细节，如光线追踪、纹理和阴影。例如，当一束光从一个光源反射到一个物体上，然后反射到摄像机上，CUDA 核心可以用来计算这个光线路径上的所有细节，确保最终的图像看起来真实并且美观。

2. Tensor 核心

• 中文叫：张量核心
• 专门设计用于深度学习中的矩阵运算，加速深度学习算法中的关键计算过程
• 适合语音助手、人脸识别等场景

案例 ：面部识别
安全系统、智能手机和许多应用程序现在都使用面部识别技术。这需要通过深度学习模型来识别人的面部特征。Tensor 核心在这里发挥关键作用，它们可以迅速地处理神经网络中的大量矩阵乘法和加法，确保面部识别既准确又快速。

二、AI领域常用GPU

需要你对比两种不同价格，然后提升的性能，从而选择正确并且性价比比较高的
介绍链接

1. LPU推理引擎

这个模型有时候还是免费的可以上文档查看下，速度很快的

文档

三、物理机VS云服务

划重点：

• 如果经常做微调实验，有自己的物理机会方便很多很多
• 提供推理服务，首选云服务
• 如果有自建机房或 IDC，请随意

云服务厂商对比

1. 国内主流

• 阿里云：https://www.aliyun.com/product/ecs/gpu（可申请免费试用）
• 腾讯云：https://cloud.tencent.com/act/pro/gpu‑study
• 火山引擎：https://www.volcengine.com/product/gpu

2. 国外主流

• AWS：https://aws.amazon.com
• Vultr：https://www.vultr.com
• TPU：https://cloud.google.com/tpu

TPU 是 Google 专门用于加速机器学习的硬件。它特别适合大规模深度学习任务，通过高效的架构在性能和能源消耗上表现出色。
它的优点和应用场景：

1. 高性能和能效：TPU 可以更快地完成任务，同时消耗较少的能源，降低成本。
2. 大规模训练：TPU 适用于大规模深度学习训练，能够高效地处理大量数据。
3. 实时推理：适合需要快速响应的任务，如实时图像识别和文本分析。
4. 云端使用：Google Cloud 提供 TPU 服务，允许用户根据需求使用，无需购买硬件。
   适用于图像处理、自然语言处理、推荐系统等多个领域。
   在国外，科研机构、大公司和初创企业普遍使用 TPU。

四、算力平台

主要用于学习和训练，不适合提供服务。

• Colab：谷歌出品，升级服务仅需 9 美金。https://colab.google.com
• Kaggle：免费，每周 30 小时 T4，P100 可用。https://www.kaggle.com
• Lightning：一定的免费额度，支持很多案例，对开发者友好，https://lightning.ai
• AutoDL：价格亲民，支持 Jupyter Notebook 及 ssh，国内首选。https://www.autodl.com

建议：若需高速下载，尤其依赖于 GitHub 或 Docker 官方镜像，建议选择国外服务器。

1. 根据场景选GPU

2. 选型建议

• 划重点

1. 本地个人研发项目：GeForce RTX 4090消费级 GPU，可满足中等规模需求。
2. 企业大规模数据、复杂模型：推荐NVIDIA A100高性能 GPU。
3. 数据规模小：预算允许可选A10、T4。
4. 追求性价比：可用 4090 搭建服务器；也可选用第三方服务，例 AutoDL 的 4090 服务。

• 参考资料

• https://gpus.llm-utils.org/cloud-gpu-guide/

• https://gpus.llm-utils.org/nvidia-h100-gpus-supply-and-demand/

3. 价格计算器

火山引擎的价格计算器使用便捷，可作为云服务器 GPU 选型的价格参考，其他服务商价格差距不大。

链接：https://www.volcengine.com/pricing?product=ECS&tab=2

五、全球大模型排行榜

1. 模型排名

链接：https://arena.ai/leaderboard/chat/text

2. 根据速度质量和价格挑选心仪的模型

链接：https://artificialanalysis.ai/

• 可选择是速度还是价格便宜还是质量高的模型排名
  

搭建部署

此处只引入概念和相关写法，然后具体你可以用技术栈去找ai然后让它教你一整套

一、本地计算机运行大模型

1. 本地节约资源（量化）

• 量化：

例如模型默认用 FP16 存参数每个数字占 16 位，但模型真的需要这么精确吗？大部分参数其实不需要。就像你记录身高，写“1.72 米”就够了，没必要写成“1.723846 米”——后者精确，但对日常使用毫无意义。
FP16（16位）：0.123456789 → 占 2 字节
INT8（8位） ：0.12 → 占 1 字节
INT4（4位） ：0.1 → 占 0.5 字节

使用：

2. ollama直接部署

自行问ai找文档
链接

3. 如何使用

• openWebUi
• bobe-chat-ui
  
• 封装API
  

二、企业级别部署搭建

1. 如何在阿里云私有部署开源大模型

2. 基于vLLM部署大模型

• 官方网址: https://vllm.ai
• 官方 github 地址: https://github.com/vllm-project/vllm
• 中文地址：https://vllm.hyper.ai/docs/getting-started/installation/gpu

vLLM 是一个快速且易于使用的库，用于进行大型语言模型（LLM）的推理和服务。它具有以下特点：

• 速度快：在每个请求需要 3 个并行输出完成时的服务吞吐量。vLLM 比 HuggingFace Transformers（HF）的吞吐量高出 8.5 倍-15 倍，比 HuggingFace 文本生成推理（TGI）的吞吐量高出 3.3 倍-3.5 倍
• 优化的 CUDA 内核
• 灵活且易于使用：
• 与流行的 Hugging Face 模型无缝集成。
• 高吞吐量服务，支持多种解码算法，包括并行抽样、束搜索等。
• 支持张量并行处理，实现分布式推理。
• 支持流式输出。
• 兼容 OpenAI API 服务器。

2.1. 部署教程 (当前课程有些老可以让ai生成新的，大概流程差不多)

新文档地址：https://docs.vllm.ai/en/latest/cli/#launch
快速入门

下面是笔记

• 根据你运行的开放端口后执行下面
  

2.2 分布式推理（旧版，新版可以根据ai然后一步一步命令操作）

三、 GPU内存需求计算

1. 核心公式

2. 量化简介

3. 实例分析：Llama 3.1 405B

4. 关键考虑因素

1. 精度vs性能权衡：降低精度减少内存，但可能影响输出质量
2. 硬件成本：大型模型需要昂贵的GPU设置
3. 分布式计算：超大模型需要多GPU协同，增加复杂性

GPU内存计算器
地址
拓展链接