--- slide1.xml --- 第5章 计算机视觉技术与应用 授课教师： 周老师 --- slide2.xml --- 前言 刷脸支付让我们在购物时无须携带任何卡片，只需一个微笑，便能轻松完成支付 --- slide3.xml --- 前言 拍照识物则将我们的手机变成了智能助手，随时随地解答我们对周围世界的疑问 --- slide4.xml --- 前言 货物自动分拣系统的应用大大提高了作业效率，降低了人工成本 --- slide5.xml --- 前言 而在机场、车站等公共场所，人证合一过安检技术的应用，不仅提升了安检速度，更加强了安全保障 --- slide6.xml --- 前言 人流量统计技术的应用，为商业分析和城市规划提供了有力的数据支持。 --- slide7.xml --- 前言 随着科技的飞速发展,计算机视觉作为人工智能领域的一个重要分支,计算机视觉技术正在悄然改变着我们的生活方式,提升工作效率,为各行各业带来革命性的变革。 本章主要介绍了计算机视觉技术的基础、基本任务、常见应用以及面临的挑战与未来发展。 --- slide8.xml --- 学习目标 04 03 02 01 理解计算机视觉的基本概念、处理流程和应用领域,了解计算机视觉的发展历程和计算机视觉与相关领域的联系和区别。 理解和掌握计算机视觉的基本任务,如图像分类、目标检测与定位、图像分割等。 操作和体验百度人工智能平台上的图像技术、OCR、人脸识别和人体分析等功能,理解和掌握计算机视觉领域常见应用。 认识到计算机视觉技术面临的挑战,并对未来的发展趋势有所了解。 --- slide9.xml --- 5.1 计算机视觉基础 1 5. 1.1 计算机视觉的概念与发展历程 5. 1.4 应用领域 5. 1.2 计算机视觉处理流程 5. 1.3 计算机视觉与相关领域的联系与区别 3 4 2 --- slide10.xml --- 5.1.1 计算机视觉的概念与发展历程 计算机视觉是利用计算机技术模拟人类视觉系统,实现对图像或视频中的物体、场景和行为进行识别、理解和解释的过程。它结合了图像处理、模式识别、机器学习等多个领域的技术,旨在让计算机能够“看”和“理解”视觉信息。简单来说,计算机视觉就是让计算机能够像人一样理解和处理图像和视频内容,“看懂”世界的过程。 计算机视觉的概念 --- slide11.xml --- 5.1.1 计算机视觉的概念与发展历程 深度学习兴起期 (21世纪初) 基础发展期 (20世纪80年代) 萌芽期 (20世纪60—70年代) 系统开发期 (20世纪90年代) 跨学科融合期 (21世纪20年代至今) 计算机视觉的发展历程 --- slide12.xml --- 计算机视觉系统通过图像采集硬件（如相机、镜头、光源等）将光信号转换成图像信号，并传送给图像处理软件，图像处理软件根据像素亮度、颜色分布等信息，对目标进行特征提取、分类、检测、跟踪等处理，并根据处理结果输出相应的控制信号或信息。停车场车牌自动识别流程如图5-1所示。 5.1.2 计算机视觉处理流程 --- slide13.xml --- 1.数据收集与数据预处理 对比度增强 1 2 3 4 5 图像灰度化 归一化 几何变换 滤波(去噪) 首先，需要收集相关的图像或视频数据。这些数据可能来自各种成像设备，如摄像机、传感器等。然后，对收集到的数据进行预处理，以提高数据的质量和可用性。预处理主要包括以下步骤。 --- slide14.xml --- 2．图像分割 图像分割是将图像划分为若干个互不重叠且具有各自特征的区域的过程。这里的特征可以是灰度、颜色、纹理等。图像分割将图像中的目标从背景中分离出来，以便于进行进一步的分析和处理。 --- slide15.xml --- 2．图像分割 01 02 基于区域的分割方法 属于基于边界的分割方法 （1）直方图门限法：根据图像的灰度直方图，选择一个或多个门限值将图像分割成不同的区域。仅考虑灰度信息，忽略了空间信息。 （2）区域生长法：从一组种子点开始，根据一定的相似性准则（如灰度、颜色、纹理等），将种子点周围的像素加入相应的区域中，逐步生长成完整的区域。这种方法能够较好地保留图像的空间信息，但可能导致过度分割。 （3）基于随机场模型法：如MRF模型将图像视为一个随机场，通过最小化能量函数来实现图像分割。这种方法能够考虑图像的全局信息，但计算复杂度较高。 （4）边缘检测法：利用图像的一阶或二阶导数信息来检测图像中的边缘点，进而形成边界线，将图像分割成不同的区域。这种方法对噪声较为敏感，需要合适的滤波器来平滑图像。 （5）活动轮廓法（Snake模型或主动轮廓模型）：通过定义一个可变形模型（如轮廓线），在图像力的作用下不断变形以逼近图像的真实边界。这种方法能够较好地处理复杂的边界形状，但需要合适的初始轮廓和迭代策略。 --- slide16.xml --- 图像分割的难点 02 04 光照变化:光照变化会影响像素之间的相似度,从而影响分割算法的效果。 03 复杂背景与噪声:当图像中存在复杂的背景或噪声时,会影响分割算法的准确性。 01 计算复杂度:一些分割算法需要进行大量的计算,需要较长的处理时间,这对于实时应用来说是不可接受的。 05 图像模糊:当图像模糊时,像素之间的边界变得模糊不清,会影响分割算法的效果。 目标复杂性:当目标形状复杂或存在遮挡时,会影响分割算法的准确性。 --- slide17.xml --- 3．特征提取与特征表示 在计算机视觉中, 特征提取 是指从图像或视频数据中自动或手动地提取出具有显著性和代表性的特征,这些特征能够描述图像或视频中的关键信息,可以是颜色、纹理、形状、边缘、焦点等。 特征表示 是将提取的特征转换成一种更紧凑、更易于计算机理解和处理的形式以便机器学习模型能够更有效地学习并做出准确的预测或决策,如向量、矩阵或更高维的数据结构。 --- slide18.xml --- 特征提取方法 SIFT(尺度不变特征变换): 具有尺度不变性,能够提取出图像中的关键点及其描述符,广泛应用于图像匹配、物体识别等领域。 1 SURF(加速稳健特征) :SURF算法在保持SIFT算法优良性能的基础上,提高了计算速度,适用于实时计算机视觉系统。 2 HOG(定向梯度直方图) :主要用于物体检测,通过对图像局部区域的梯度方向和强度进行统计,生成特征描述符。 3 LBP(局部二值模式) :一种用于纹理分类的特征提取方法,通过比较图像局部区域的中心像素与其邻域像素的灰度值,生成二值化的特征描述符。 4 传统特征提取方法主要依赖于人类专家的先验知识，设计出一系列能够描述图像特性的特征因子。常见的传统特征提取方法如下。 --- slide19.xml --- 特征提取方法 自动特征学习 :无须人工设计特征提取器,卷积神经网络能够自动从数据中学习到有效的特征表示。 1 特征层次化 :卷积神经网络通过多层非线性变换,能够提取出从低级到高级的特征表示,这些特征具有更强的表达能力和泛化能力。 2 端到端训练 :卷积神经网络可以实现特征提取和分类等任务的端到端训练,从而提高整体性能。 3 深度学习方法，特别是卷积神经网络，能够自动从原始图像中学习到高级特征表示。与传统方法相比，深度学习方法具有以下优点。 --- slide20.xml --- 4．模型选择与训练 01 02 模型选择 模型训练 首先需要明确所要解决的任务类型，如分类、回归、聚类、时间序列预测等。 然后，根据任务类型和数据特点，选择多种可能的模型作为候选。例如，对于分类问题，可以选择逻辑回归、决策树、随机森林、支持向量机（Support Vector Machine，SVM）、神经网络等模型。 通过正确地将数据集划分为训练集、验证集和测试集，可以有效地训练和评估模型，从而得到更可靠的性能指标。通常，训练集用于训练模型，验证集用于调整模型参数（如超参数），测试集用于评估模型的最终性能。 根据评估结果，选择性能最优的模型作为最终模型。如果多个模型性能相近，还可以考虑其他因素，如计算效率、可解释性等。 在使用训练集对选定的模型进行训练前，要选择合适的优化器和损失函数。优化器用于指导模型的训练过程，常见的优化器包括SGD（随机梯度下降）、Adam（自适应矩估计）、AdaGrad（自适应次梯度方法）等。损失函数用于衡量模型预测值与实际值之间的差异，常见的损失函数包括MSE（均方误差）、交叉熵等。 在训练过程中，通过不断迭代优化模型的参数以最小化损失函数。 同时监控训练过程，避免过拟合和欠拟合。 --- slide21.xml --- 5．模型测试与评估 使用测试数据集上对训练好的模型进行测试,使用各种评估指标对模型进行测试结果的评估,如准确率、召回率、F1分数等,以评估模型的性能和准确性。 如果测试集上的性能不满足要求,可以返回模型选择阶段重新选择模型或调整模型参数。 因此,模型选择与训练、模型测试与评估是一个迭代的过程,需要不断地根据任务需求、数据特点和模型性能进行调整和优化。通过合理的模型选择和训练策略,可以构建出高效、准确的预测模型。 --- slide22.xml --- 6．图像分析与解释 图像分析 是对提取的特征进行进一步的分析和处理,以实现特定的计算机视觉任务,如图像分类、目标检测、目标跟踪、场景分割等。 01 图像解释 是对图像进行高级推理和理解,如物体识别、场景理解、行为分析等。这一步通常依赖于更复杂的模型和算法,以实现对图像内容的深入理解和解释。 02 --- slide23.xml --- 5.1.3 计算机视觉与相关领域的联系与区别 1. 图像处理 图像处理通常关注于改善图像质量或提取基本特征,而计算机视觉更侧重于从图像中识别对象和理解内容,实现的是从图像数据到高层信息的转换。 图像处理是计算机视觉的前提,包括图像的预处理、增强和转换等,用于改善图像质量,提取有用信息,为计算机视觉中的后续分析和理解做准备。 01 02 --- slide24.xml --- 5.1.3 计算机视觉与相关领域的联系与区别 2. 模式识别 模式识别是计算机视觉中的一个重要组成部分。模式识别技术如特征提取、分类器设计等,在计算机视觉中用于识别图像中的物体、场景等。例如,在目标检测任务中,需要利用模式识别技术从图像中检测出特定类别的物体。 模式识别可以应用于各种类型的数据,不仅限于图像。模式识别更侧重于从特征空间到类别空间的变换,即根据提取的特征对物体进行分类;而计算机视觉则更关注于整个图像或视频内容的理解和分析。 --- slide25.xml --- 3. 机器学习 5.1.3 计算机视觉与相关领域的联系与区别 都是数据驱动的技术。在计算机视觉中，数据通常是图像和视频，因此应用场景通常与图像和视频相关，如人脸识别、自动驾驶、医疗影像分析等；在机器学习中，数据可以是任何类型的数据，包括文本、音频、图像等，其应用场景则更加广泛，包括推荐系统、语音识别、自然语言处理等多个领域。 计算机视觉广泛使用机器学习算法来识别图像中的模式和对象。在计算机视觉中，机器学习技术被用于提取图像和视频中的特征，这些特征对于后续的图像分析和识别至关重要。 机器学习是人工智能的一个核心技术，它涉及计算机通过学习来自数据的信息，自主地提取规律和做出决策的技术。机器学习的主要任务是从数据中学习出规律，并根据这些规律做出合适的决策。 01 02 03 --- slide26.xml --- 5.1.3 计算机视觉与相关领域的联系与区别 深度学习的核心是神经网络，尤其是多层神经网络，如DNN。 深度学习是机器学习的一个子集，它通过模拟人脑神经元的结构和工作方式，使计算机能够从经验中学习并以概念层次结构的方式理解世界。 深度学习可以处理比传统机器学习更大、更复杂的数据集，并且可以自动地学习数据中的特征，而不需要人工进行特征提取，取得了比传统机器学习方法更好的结果，在计算机视觉、语音识别、自然语言处理、强化学习等领域都取得了巨大成功。 4. 深度学习 深度学习中常见的算法包括CNN、RNN、GAN、AE、Transformer和注意力机制等。这些算法各有其特点和适用的场景，需要根据具体问题的需求选择或设计合适的算法。 --- slide27.xml --- 5.1.3 计算机视觉与相关领域的联系与区别 5. 机器人学 计算机视觉技术为机器人提供了丰富的视觉信息输入，使机器人能够更好地理解环境和任务需求，并做出更加合理的决策。 机器人学（Robotics）是研究机器人设计、制造、感知、决策、行动和控制等问题的综合性学科。 --- slide28.xml --- 5.1.3 计算机视觉与相关领域的联系与区别 6．增强现实 增强现实是一种将实际场景与计算机生成的虚拟世界进行融合的新型技术。其原理是通过摄像头等设备捕捉实际物体或环境的信息，经过计算机识别、处理后再映射出虚拟内容，将虚拟和现实进行叠加展示，让用户感受到现实与数字的交互性。增强现实技术已经广泛应用于游戏、娱乐、教育、医疗、工业等众多领域。 计算机视觉的核心技术，如图像识别、特征提取、跟踪与定位等为增强现实提供了实时处理和分析实际场景信息的能力。计算机视觉技术的发展为增强现实提供了更加精确和高效的视觉感知和交互方式。例如，通过AR游戏应用，用户可以在现实环境中与虚拟角色进行互动和战斗；在医疗领域，医生可以通过佩戴AR眼镜来查看患者的内部结构和手术路径，提高手术的精确性和安全性。 --- slide29.xml --- 5.1.3 计算机视觉与相关领域的联系与区别 7. 自然语言处理 例如,在视觉问答系统中,计算机需要同时运用计算机视觉技术来识别图像内容,并运用自然语言处理技术来理解问题并生成自然语言答案。 自然语言处理和计算机视觉在人工智能领域中相辅相成。 自然语言处理技术使计算机能够理解和生成人类语言,而计算机视觉技术则使计算机能够“看到”并理解图像和视频内容。两者结合可以实现从图像到语言描述的转化,或者根据语言描述生成对应的图像内容。 --- slide30.xml --- 5.1.3 计算机视觉与相关领域的联系与区别 8. 数据科学 数据科学(Data Science)使用统计和机器学习技术来分析数据,计算机视觉可以提供从图像中提取的数据。 数据科学是一个更广泛的领域,包括数据收集、清洗、分析和可视化,而计算机视觉专注于视觉数据的处理。 --- slide31.xml --- 5.1.4 应用领域 计算机视觉的应用领域 01 自动驾驶 用于车辆的行驶路线规划、障碍物检测和避让、交通信号识别等。 07 农业领域 用于种植和收获自动化、作物识别和病害检测等。 02 工业制造 在机器人视觉系统、缺陷检测、质量控制、零件识别和装配等方面发挥重要作用。 06 垃圾分类 实现垃圾自动分拣、可回收物分类等。 03 医疗诊断 辅助医生进行医学影像分析、疾病诊断和治疗监测等。 05 增强现实 在虚拟现实、游戏、电影和电视特效等方面得到应用。 04 安防监控 用于人脸识别、行为分析、犯罪侦查等。 --- slide32.xml --- 5.2 计算机视觉的基本任务 5. 2.1 图像分类 5. 2.3 图像分割 5. 2.2 目标检测与定位 --- slide33.xml --- 5.2.1 图像分类 图像分类是计算机视觉领域中的一项基础且重要的任务，其目标是根据图像中的特征将图像划分到预定义的类别中。通俗地说，图像分类是让计算机观察一幅图像，对图像上的对象进行识别并分类，主要解决图像中对象“是什么（What）”的问题。例如，给出一张图片，图像分类任务能够识别出这是一只猫还是一只狗，如图5-2所示。 --- slide34.xml --- 5.2.1 图像分类 图像分类的基本原理是通过对图像的特征进行提取,并将这些特征与预先训练好的模型进行比较,从而判断图像所属的类别。这类模型称为分类模型,它输出一个概率分布,表示输入数据属于每个类别的可能性。 基本原理 常用的特征提取方法包括传统的手工设计特征和深度学习方法。 传统的手工设计特征通常包括颜色特征、纹理特征和形状特征等,但这些方法在处理复杂的图像时往往效果不佳。 深度学习方法通过构建深度神经网络,可以自动地从图像中学习到更具有判别性的特征。 特征提取方法 --- slide35.xml --- 5.2.1 图像分类 图像分类技术的 应用 电商 ：自动识别和分类商品图片，帮助用户快速找到想要的商品，提高购物体验。 制造业 ：实时监测流水线上的产品，快速识别不合格品或特定部件，提高生产效率和产品质量。 安防监控 ：用于人员识别、行为分析以及异常检测等，有效提升公共安全。 自动驾驶 ：识别道路、行人、车辆等，确保行驶安全。 医疗 ：对X光片、CT扫描等影像进行分类，帮助医生更快地诊断疾病，如肿瘤识别等。 智能家居 ：用于识别家庭成员、宠物或家具等，以实现更加智能化的家居控制。 01 03 02 04 06 05 --- slide36.xml --- 5.2.2 目标检测与定位 定位则是目标检测中的一个关键环节,它要求算法能够精确定位出每个目标的位置和大小,通常用边界框(Bounding Box)来表示。它主要解决图像中特定对象“在哪里(Where)”问题。 计算机视觉任务中的目标检测与定位是两个相辅相成的任务。 目标检测要求算法能够识别出图像中的物体并确定其类别和位置,即解决“是什么、在哪里(What、Where)”问题; 图 5-3 （ a ）对图片中物体进行识别，分为 bottle 、 cup 和 cube 三类，图 5-3 （ b ）则对这些物体进行检测与定位，把每一个物体都用边界框框起来。 --- slide37.xml --- 5.2.2 目标检测与定位 （1）自动驾驶：用于识别行人、车辆、交通标志等，确保车辆行驶安全。 （2）视频监控：用于实时监测并报警关键区域内的异常行为，如入侵检测、非法停车等。 （3）医学影像：用于定位和识别病变或器官，辅助医生进行诊断和治疗规划。 （5）交通管理：用于交通流量监控与红绿灯配时控制，以及异常事件检测。 （4）工业检测：用于产品质检、设备状态监测、异常行为识别等，提高生产线的效率和质量。 目标检测与定位 --- slide38.xml --- 5.2.3 图像分割 图像的 语义分割 是将图像中的每个像素分配给特定的类别标签,从而实现对图像内容的细粒度理解。这一过程不仅要求准确识别出图像中的不同对象或区域,还需要精确到像素级别进行分类。语义分割不考虑同一类别中不同实例的区分,即只要像素属于同一类别,就被赋予相同的标签。如图5-3(c)所示。 01 图像 实例分割 的目标超越了简单的类别划分,而是深入图像中的每一个具体目标实例,实现精准的分割与独一无二的标记。这一技术不仅要求系统能够识别出图像中存在的所有不同对象,还需进一步区分这些对象中的每一个独立实例,并为其赋予独特的身份标识。如图5-3(d)所示。 02 全景分割 是实例和语义分割的融合,旨在区分场景中的事物。它巧妙地将实例分割与语义分割的优势融为一体,为我们提供了一个前所未有的视角来审视和理解图像中的世界。它不仅仅是对图像中的物体进行简单的分类和识别,更是深入每一个细节,将场景中的元素划分为“thing”与“stuff”两大类。 03 --- slide39.xml --- 5.2.3 图像分割 全景分割 --- slide40.xml --- 5.2.3 图像分割 --- slide41.xml --- 语义分割的技术难点 语义分割的技术 难点 一个核心的技术难点在于实现像素级别的极高分类精度。这意味着模型不仅需要具备强大的分类能力,还需展现出卓越的细节捕捉和区分能力,以确保每个像素都能被准确无误地分配到其所属类别中。这对模型的泛化性能和在复杂场景下的适应性提出了严苛的要求。 另一个显著的技术挑战在于如何处理不同类别之间的边界区域,特别是在这些边界模糊或场景复杂多变的情况下。模型需要能够精确地识别并分割出相邻但属于不同类别的像素区域,即便在它们之间的界限不够清晰或受到多种因素干扰时也能保持高度的准确性。这要求模型具备强大的特征提取和边界感知能力,以应对各种复杂多变的场景。 --- slide42.xml --- 语义分割的应用 在自动驾驶领域 实时解析复杂的道路场景,精准地将道路边界、行驶中的车辆、行人乃至交通标志等关键元素一一区分并标注。这一能力为自动驾驶系统提供了全面且精确的环境感知,使得车辆能够在复杂多变的交通环境中做出更加明智的决策,确保安全行驶的同时,优化路径规划,提升驾驶效率。 面对复杂的医疗影像,它能够自动且准确地识别并分割出人体内的各种组织结构,如器官、血管、肿瘤等。这一技术不仅极大地提高了医生的工作效率,减少了人为误差,还使得医生能够更加直观地观察和分析病变区域,为精准诊断和治疗方案的制定提供了有力支持。 通过对卫星拍摄的海量图像进行深度分析,它能够自动识别并区分出地表的不同类型,如水域、森林、城市建筑等。这一能力为城市规划者、环境监测专家等提供了宝贵的信息资源,帮助他们更好地了解地球表面的变化情况,为科学决策和环境保护提供有力支持。 在医学影像分析领域 在卫星图像处理领域 --- slide43.xml --- 实例分割的应用 在机器人视觉领域 在虚拟现实和增强现实领域 这一技术为机器人提供了强大的环境感知能力。机器人能够利用实例分割技术识别并分割周围环境中的各类物体,从而更准确地理解自身所处的环境,为后续的导航、避障、抓取等操作提供有力支持。 图像实例分割同样发挥着重要作用。通过精准识别并分割真实世界中的不同实体,该技术能够助力实现虚拟元素与现实世界的无缝融合与交互。用户可以在虚拟环境中与真实物体进行互动,享受更加沉浸式的体验。 --- slide44.xml --- 全景分割 “thing”类,顾名思义,指的是那些可以明确计数、具有明确边界的物体,例如街道上行驶的汽车、行走的人群,或是家中摆放的家具。全景分割技术能够精准地识别出这些物体,并为它们各自分配一个独特的身份标识,就像是为它们穿上了不同颜色的衣服,让它们在图像中一目了然,互不干扰。 “thing”类 “stuff”类,则是指那些难以计数、边界模糊的背景元素,例如广阔的天空、蜿蜒的道路或郁郁葱葱的草地。这些元素虽然不像“thing”类物体那样具有明确的个体特征,但它们在场景中同样扮演着不可或缺的角色。全景分割技术同样能够准确地描绘出这些背景元素的轮廓和范围,为整个场景的理解提供完整的背景信息。 “stuff”类 --- slide45.xml --- 5.3 计算机视觉常见应用 5.3.1 图像技术 5.3.3 人脸识别及其应用 5. 3.2 OCR及其应用 5. 3.4 人体分析及其应用 --- slide46.xml --- 5.3 计算机视觉常见应用 以在百度AI开放平台人工智能能力体验中心上操作各项功能应用检验的方式介绍计算机视觉领域的一些应用。 https://ai.baidu.com/experience 开发调用百度提供的SDK和API来开发自己的应用则放在实验部分。 实验4 百度人工智能能力应用体验 实验5 基于百度AI开放平台的文字识别应用开发 实验6 基于百度AI开放平台的人脸识别考勤应用开发 --- slide47.xml --- 5.3.1 图像技术 图像增强 图像特效 图像识别 图像搜索 图像生成 图像审核 --- slide48.xml --- 图像增强是指通过一系列算法改善图像质量的过程，它并不改变图像的现实内容，而是增强图像的视觉效果，使得图像更加清晰、对比度更高、细节更明显，便于人眼观察或机器分析。 图像增强技术在医疗成像、卫星遥感、视频监控和数字摄影等领域都有广泛的应用。 如在X光、CT、MRI等医学影像中，图像增强技术可以帮助医生更清晰地看到病变区域，如肿瘤、骨折等，从而提高诊断的准确性； 在卫星遥感图像中，图像增强技术可以突出显示特定的地物特征，如城市建筑、农田、森林等，有助于进行地物分类和识别； 在电影、电视剧等影视作品的制作过程中，图像增强技术可以用于调整画面色彩、亮度、对比度等，提升观众的视觉体验。 1．图像增强 --- slide49.xml --- 百度人工智能开放创新平台的图像增强技术包括： （1）图像去雾 （2）图像对比度增强 （3）图像无损放大 （4）拉伸图像恢复 （5）图像修复 （6）图像清晰度增强 （7）图像色彩增强 （8）图片去摩尔纹 （9）文档图片去底纹 （10）图像去噪 登录百度AI能力体验中心网页后点击“图像增强与特效”后选择相应技术或在百度智能云产品页面 https://cloud.baidu.com/products/index.html 点击“人工智能→图像技术”查看或体验 1．图像增强 --- slide50.xml --- 1．图像增强 --- slide51.xml --- 图像特效，即特殊效果，是指通过技术手段在图像上创造出的非现实或超现实的效果，以增强视觉效果、表达艺术创意或实现特定目的。 百度人工智能开放创新平台的图像特效技术包括： （1）黑白图像上色 （2）图像风格转换 （3）人像动漫化 （4）自定义图像风格 2.图像特效 --- slide52.xml --- 2.图像特效 --- slide53.xml --- 图像识别是指利用计算机视觉技术对图像进行分析、识别和理解的过程。这种技术可以帮助计算机“看懂”图像，从而实现自动化处理、智能化判断等功能。 百度人工智能开放创新平台的图像识别技术精准识别超过十万种物体和场景。 （1）通用物体和场景识别 （2）植物识别 （3）动物识别 （4）菜品识别 （5）地标识别 （6）果蔬识别 （7）红酒识别 3.图像识别 （8）货币识别 （9）图像主体检测 （10）车型识别 （11）车辆检测 （12）品牌logo识别 （13）翻拍识别 （14）图像内容理解 --- slide54.xml --- 3.图像识别 --- slide55.xml --- 以图搜图，在指定图库中搜索出相同或相似的图片，适用于图片精确查找、相似素材搜索、拍照搜同款商品、相似商品推荐等场景。包括： （1）相同图片搜索 （2）相似图片搜索 （3）商品图片搜索 （4）绘本图片搜索 （5）面料图片搜索 4.图像搜索 --- slide56.xml --- 图像生成是一种利用人工智能技术，特别是深度学习算法，来创造新的图像或艺术作品的过程。 百度的图像生成技术也叫AI 作画，是国内首个技术自研、基于大模型的通用且可控的文生图系统，可基于自然语言智能生成不限定风格的图像，面向有图片创作需求的开发者提供API调用服务，为内容创作者提供灵感和高质量配图。 其应用场景包括制作图片素材、艺术插图、海报制作、故事插图、壁纸制作、电商应用、室内设计、影视制作、游戏原画设计、服务创意启发平台等。 5.图像生成 --- slide57.xml --- 图像审核，也被称作图像内容识别或图像过滤，是一种人工智能技术，主要用于自动检测图像内可能包含的不当或违规元素。这些元素可能包括色情内容、暴力或恐怖主义相关图像、政治敏感信息、恶意广告以及侵犯版权的素材等。在互联网平台上，这种技术的应用至关重要，旨在防止用户接触有害内容，并帮助平台遵循相关法规政策。 （1）百度违禁图库 （2）色情识别 （3）敏感信息识别 （4）公众人物识别 （5）用户头像审核 （6）图文审核 6.图像审核 （7）广告检测 （8）违禁识别 （9）直播场景审核 （10）恶心图像识别 （11）图像质量检测 （12）自定义图像黑名单 （13）自定义图像白名单 --- slide58.xml --- 5.3.2 OCR及其应用 OCR（Optical Character Recognition，光学字符识别）技术是一种重要的图像识别技术，它是一种将各种形式的文字，如印刷体、手写体等，从图像中识别并提取出来的技术。 --- slide59.xml --- 5.3.2 OCR及其应用 4 3 2 1 对输入的图像进行去噪、二值化、倾斜校正等处理,以提高后续文字识别的准确性。 图像预处理 一般包括校对和格式化。校对是指使用语言模型和字典来纠正识别错误。格式化是指将识别出的文本按照原始文档的格式进行排版或将识别出来的文字填在指定的字段里。 后处理 文字检测与分割 在图像中定位和分割出文字区域。这一步通常使用卷积神经 网络等深度学习算法进行特征提取,并结合区域提议网络等技术实现文字区域的精确定位。 文字识别 将检测到的文字区域中的字符转换为计算机可读的字符信息。这一步同样依赖于深度学习算法,如循环神经网络或结合注意力机制的卷积神经网络等。 OCR技术的实现主要有以下几个步骤 --- slide60.xml --- OCR的应用 文档扫描和归档 :将纸质文档扫描并转换为可编辑和可搜索的电子文本,方便文档的存储、检索和共享。 01 表单处理 :自动化表单处理和数据输入,如调查问卷、表格报告、票据处理等。 03 金融行业 :在银行和金融领域,OCR技术用于支票处理、银行卡识别、交易数据录入等,提高业务处理效率和准确性。 05 物流行业 :货物信息录入、快递单号识别等,提升物流行业的自动化水平。 07 02 04 06 08 印刷媒体处理 :处理大量的印刷媒体,如报纸、杂志、书籍等,实现快速的文本转换和信息提取。 证件识别 :识别和提取身份证、护照、驾驶证等证件上的文字信息,用于身份验证、边境控制等。 教育行业 :试卷扫描、学生作业批改等,提高教学评估和作业处理的效率。 零售业 :商品条形码识别、价格标签录入等,提高销售效率和客户满意度。 --- slide61.xml --- 百度AI能力体验中心页面可以检验如下文字识别技术： （1）通用文字识别 （2）卡证文字识别 （3）交通文字识别 （4）票据文字识别 （5）其他文字识别 OCR的应用 --- slide62.xml --- 5.3.3 人脸识别及其应用 人脸识别技术是一种基于人的脸部特征信息进行身份识别的生物识别技术。它通过摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也被称为人像识别或面部识别。 --- slide63.xml --- 5.3.3 人脸识别及其应用 是对人脸进行特征建模的过程,提取的特征数据通常包括视觉特征、像素统计特征、人脸图像变换系数特征、人脸图像代数特征等。 提取的人脸图像特征数据与数据库中存储的特征模板进行搜索匹配。通过设定一个阈值,当相似度超过这一阈值时,则把匹配得到的结果输出,从而实现对人脸的身份识别。 采集设备自动搜索并拍摄用户的人脸图像。 人脸检测是在图像中准确标定出人脸的位置和大小,并提取有用的信息(如直方图特征、颜色特征等)用于后续处理。 原始图像可能受到各种条件的限制和随机干扰,因此需要进行灰度校正、噪声过滤等预处理操作,以便更好地服务于特征提取。 人脸图像采集及检测 人脸图像预处理 人脸图像特征提取 匹配与识别 人脸识别技术的核心在于对人脸图像特征的提取与对比。其技术流程为： --- slide64.xml --- 百度AI开放平台提供了以下人脸识别方面的服务体验。 1.人脸对比 2.人脸搜索 3.人脸检测与属性分析 4.人脸属性编辑 5.人脸融合 6.活体检测 5.3.3 人脸识别及其应用 --- slide65.xml --- 5.3.3 人脸识别及其应用 --- slide66.xml --- 5.3.4 人体分析及其应用 人体分析技术是一种基于人工智能的图像和视频处理技术，它通过对人体图像或视频帧的捕捉和分析，提取出人体的关键信息，如姿态、动作、行为、属性等。这些技术通常依赖于深度学习算法，特别是卷积神经网络（CNN）和循环神经网络（RNN）等，来自动学习人体特征并进行高效的识别和分类。 --- slide67.xml --- 5.3.4 人体分析及其应用 行为推理与异常检测 :行为推理是指分析人体在特定场景中的行为模式,并判断其是否符合正常或预期的行为规范。异常检测则是在此基础上,进一步识别出异常或危险的行为,如盗窃、打架、摔倒等,并及时报警或采取相应的措施。 人体属性识别 :人体属性识别是指根据人体的外貌特征,如性别、年龄、服装等,推测出人体的属性信息。这些属性信息可以用于行人监控、人体识别、行为分析等应用,提高监控的准确性和效率 姿态估计 :姿态估计是指根据人体的图像或视频帧,预测出人体的关节角度和位置。这通常需要检测人体的关键点(如头部、四肢、关节等),并通过这些关键点的位置关系来推断人体的整体姿态。姿态估计技术可以应用于运动分析、人机交互、虚拟现实等多个领域。 动作识别与分类 :动作识别是指对视频中的人体动作进行识别和分类。通过训练深度学习模型,可以实现对行走、跑步、打球、举重等多种类型动作的准确识别。这项技术在体育训练、姿势纠正、视频监控等领域有着广泛的应用。 人体分析的关键技术 --- slide68.xml --- 百度AI开放平台提供了以下人体分析方面的服务体验。 1.人体关键点识别 2.人体检测与属性识别 3.人流量统计 4.手势识别 5.手部关键点识别 6.驾驶行为分析 7.人像分割 5.3.4 人体分析及其应用 --- slide69.xml --- 5.3.4 人体分析及其应用 --- slide70.xml --- 计算机视觉技术面临的挑战 5.4 计算机视觉技术面临的挑战与未来发展 （1）数据量的挑战 （2）数据质量的挑战 1.数据量与数据质量挑战 在资源有限的设备上，优化算法以减少资源消耗同时保持性能 2.算法效率与实时性挑战 数据安全和隐私保护变得尤为关键 3.安全性与隐私保护挑战 --- slide71.xml --- 5.4 计算机视觉技术面临的挑战与未来发展 3.政策与法规层面的展望 1.技术层面的发展趋势 (1)深度学习模型的持续优化 (2)多模态融合 (3)边缘计算的结合 (4)实时计算能力的提升 (5)可解释性和透明度的提升 一方面，政府会加强监管。 另一方面，政府也出台了一系列支持政策 2.应用层面的发展趋势 (1)泛在化的应用场景 (2)新兴领域的深化应用 (3)技术与行业深度融合 计算机视觉技术的未来发展趋势与展望 --- slide72.xml --- 本章小结 本章全面介绍了计算机视觉技术，从基础概念到发展历程，再到处理流程，为读者构建了坚实的知识基础。深入剖析了图像分类、目标检测与定位、图像分割等核心任务，并探讨了实现这些任务的关键技术和算法。基于百度AI开放平台，展示了计算机视觉在图像技术、OCR、人脸识别等领域的广泛应用，彰显了其巨大潜力和价值。同时，也分析了当前面临的挑战，并强调了在技术开发和应用过程中注重隐私保护、数据安全等伦理问题的重要性。最后，展望了计算机视觉技术的未来发展趋势，如更高效算法、更强大硬件支持和更广泛应用场景。 --- slide73.xml --- 谢谢