开篇热度
发展趋势大模型由针对特定任务的专用模型转为通用大模型
从模型到应用的流程
全链条开源体系
细节
数据(超2T)
文本数据
50亿个文档
数据量超1TB
图像-文本数据集
超2200万个文件
数据量超140GB
视频数据
超1000个文件
数据量超900GB
对数据的处理包括:
多模态融合(指包含文本,图像,视频多个模态的数据)
精细化处理(语言筛选、文本提取、格式化标准、基于规则和模型的数据过滤和清洗、多尺度去重和数据质量评估)
价值观对齐(与主流中国价值观对齐)
预处理
高可扩展
支持从8卡到千卡的训练,千卡加速效率达92%
极致性能优化
兼容主流
无缝接入HuggingFace等技术生态,支持各类轻量化技术
开箱即用
支持多种规格语言模型,修改配置即可训练
微调
XTuner,只需要8G的显存就可以训练7B的大模型
评测
OpenCompass
应用
智能体的概念
大模型智能体是指基于大型语言模型构建的智能体,具有强大的语言理解和处理能力,可以自动化地完成各种复杂的任务。 大模型智能体的构建需要使用大量的数据和...
项目地址:
1https://github.com/lishuhuakai/Mail
代码布局:
12345.├── README.md├── Smtp.cpp├── Smtp.h└── main.cpp
Smtp.h:smtp头文件
Smtp.cpp:smtp实现文件
main.cpp:主函数
smtp是一个简单的发送邮件协议,属于TCP/IP协议族,只要遵循stmp规定的格式就行,底层实现还是socket编程。
目前发送内容和txt附件没有问题
todo:发送其他格式的附件会乱码
Smtp.h123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081#ifndef __SMTP_H__ //避免重复包含#define __SMTP_H__#include <iostream>#include <list>...
DeepSort马氏距离https://blog.csdn.net/lzhf1122/article/details/72935323
余弦相似度
学习博客https://blog.csdn.net/sgfmby1994/article/details/98517210
https://blog.csdn.net/HaoBBNuanMM/article/details/85555547
https://blog.csdn.net/qq_42779673/article/details/116950649
级联匹配(match cascade)https://blog.csdn.net/zjc910997316/article/details/83721573
https://blog.csdn.net/lzzzzzzm/article/details/122766178
观测状态的定义:在Sort中,当卡尔曼滤波检测到结果,立即会将结果进行跟新,也即去和检测框进行IOU匹配。而在Deepsort中,我们把检测到的结果分为确定态和非确定态,初始时均为非确定态,只有连续3帧的匹配上(...
1.协方差定义X、Y是两个随机变量,X、Y的协方差cov(X,Y)定义为:
其中
2.协方差矩阵定义矩阵中的数据按行排列和按列排列求出的协方差矩阵是不同的,这里默认是按行排列,即每一行是一个sample,那么每一列就是一个随机变量。
协方差矩阵:
协方差矩阵的维度等于随机变量的个数,即每一个sample的维度。在某些场合前边也会出现,而不是。
3.求解协方差矩阵的步骤
例子
则X表示x轴可能出现的数,Y表示y轴可能出现的数。
注意:给定这4个样本,每个样本都是二维的,只有X和Y两个维度
所以:
即:
协方差(i,j)=(每i列的所有元素-每i列的均值)*(每j列的所有元素-每j列的均值)
这里只有X,Y两列,所以得到的协方差矩阵是2*2的矩阵,下面分别求出每一个元素:
所以,按照定义,给定的4个二维样本的协方差矩阵为:
用matlab计算这个例子:
z=[1,2;3,6;4,2;5,2]
cov(z)
ans=
可以看出,matlab计算协方差过程中还将元素统一缩小了3倍。所以,协方差的matlab计算公式为:
协方差(i,j)=(每i列的所有元素-...