m0_54180573的博客

有一个比喻能够形象的说明CUDA、cuDNN两者的关系：把CUDA看作是一个工作台，上面配有很多工具，如锤子、螺丝刀等。NVIDIA的cuDNN是针对深度神经网络计算的一个GPU加速库，为标准例程提供了高度优化的实现，比如向前、向后卷积，池化，规范化和激活层。中国科技大学：https://pypi.mirrors.ustc.edu.cn/simple/清华大学：https://pypi.tuna.tsinghua.edu.cn/simple/建立的并行计算平台以及编程模型，可以显著的提高GPU的计算性能。

Ollama, vLLM 和 Xinference框架的介绍和使用

在 Python 中，async 关键字用于定义异步函数（也称为协程）。这种方式可以提高程序的并发性，特别是在处理 I/O 密集型任务时。在下面的例子中，my_async_function 是一个异步函数。await 关键字用于暂停函数的执行，直到 asyncio.sleep(1) 完成。要运行异步函数，需要使用事件循环。（1）非阻塞：异步函数在等待操作完成时不会阻塞整个程序。（2）并发：多个异步任务可以并发执行，提高效率。（3）事件循环：异步函数依赖于事件循环来管理任务的调度和执行。

yolov10使用少量数据进行微调训练

以上笔记参考自b站up主 自然卷小蛮（），感兴趣的可以去深入了解。

以上内容很多参考于博主。），如有侵权，联系删除。

以上笔记参考自b站up主 自然卷小蛮（），感兴趣的可以去深入了解。

以上笔记参考自b站up主 自然卷小蛮（），感兴趣的可以去深入了解。

NLP相关经典神经网络代码，可以手敲一遍学习网络的结构和实现过程。

功能为将D盘根目录下test文件夹中的1.txt上传至服务器的 /hy-tmp/datasets 路径下。功能为将服务器上 /hy-tmp/datasets 路径下的2.txt下载至本机D盘的test文件夹中。在本机上打开命令行（按 win + R 键后输入CMD并回车）根据需求运行以下命令即可。

（在JupyterLab的最下方），可以看到下图所示界面，按箭头指示复制相应命令。图24将上述复制好的命令粘贴到本地打开的命令行中运行，注意要做一些修改，具体如图25所示。左侧的是本地想使用的服务端口，右侧是服务器上的服务端口，因此我们将右侧改为8000，左侧改为5000（便于区分，可以自定义修改）。运行命令后需要输入密码，我们从图24中复制密码并粘贴输入进去，按下回车就行（注意，这里粘贴好了密码并不会显示，粘贴完按下回车键即可）。图25经过上述操作，本地就能通过5000端口直接调用模型服务了。

（网络层数、网络结点数、迭代次数和学习率等），可以在训练过程中检验模型的状态和收敛情况。例如模型在验证集上表现稳定后即可停止训练，防止过拟合。模型从训练集中学习经验，从而不断。通常用于在训练结束后。

之前我们介绍的两种工具，一个具有联网能力的Search API，一个是具有本地数据的Embedding Search，都是GPT和某个特定的工具进行整合，那么模型是否可以同时和多个第三方工具进行整合？大致的思路是让模型进行推理。（7）让模型给出信息来源：在模型结合搜索或者外部知识库时，要求模型提供其相应的信息来源，可以帮助LLM的响应减少捏造，并获取到最新的信息。（4）让模型一步一步地思考：在这种方法中，模型逐步进行思考，并给出涉及的步骤，这样做可以增强模型响应的可解释性和降低结果不准确的可能性。

例如我在服务器上使用vllm提供了大模型的API服务，在服务器上该服务的端口为8888。我在本地通过上述命令就可通过连接6666端口使用大模型的API服务。使用 win + R ，输入CMD打开命令行。：映射到本地后服务所在的端口。：服务器上服务所在的端口。

简单来说，Docker 提供了一种方式，使得软件可以在隔离的环境中运行，这个环境包含了软件运行所需的所有依赖，这样就可以保证软件在不同的计算环境中都能够以相同的方式运行，极大地方便了软件的开发、测试和部署。Docker 是一个开源的应用容器引擎，它允许开发者打包他们的应用以及应用的依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。编辑完成后，先按ESC键，再按CTRL + ：，输入wq，即可保存退出。1. 查看正在运行的容器。2. 停止正在运行的容器。

LLM 可以对广泛的主题进行推理，但他们的知识仅限于他们接受培训的特定时间点之前的公共数据。如果要构建可以推理私有数据或模型截止日期后引入的数据的 AI 应用程序，则需要使用模型所需的特定信息来增强模型的知识。，是指在广泛的领域和任务中，具备与人类相当或者超越人类智能的人工智能系统。与目前的人工智能系统（通常被称为“窄AI”或“弱AI”）不同，后者通常只在特定领域或任务中表现出智能，如语音识别、图像识别、自然语言处理等。AIGC的发展和应用是人工智能技术在创意产业、媒体、娱乐、教育等领域的重要进展。

需要主动使用 unsigned，如unsigned int num = 1;

修改完成后点击Teminal，还是在ptuning目录下执行。评估完成后会在output文件中生成generated_prediction.txt文件来汇报评估结果。

大模型微调是利用特定领域的数据集对已预训练的大模型进行进一步训练的过程。它旨在优化模型在特定任务上的性能，使模型能够更好地适应和完成特定领域的任务。