首页 生活资讯正文

股票讲座基础知识视频(股票知识讲座1-10集)

admin 生活资讯 2020-10-15 22:51:04 32 0

1.介绍

随着移动网络速度和质量的不断提高,实时音视频技术已经在语音通话、视频通话、视频会议、远程白板、远程监控等各种应用场景中蓬勃发展。

实时音视频技术的发展越来越受到重视。但是由于音视频开发涉及的知识面广,入门门槛比较高,让很多开发人员望而生畏。

虽然网上有很多博文总结了实时音视频技术的学习路线,但相关知识相对独立,包括“音视频解码相关”、“OpenGL相关”、“FFmpeg相关”、“RTP/RTCP、RTMP、HLS、QUIC等通信相关”,但对于初学者来说,所有知识都是串联的,而且

在学习音视频开发的过程中,深深体会到了知识的分散和过渡断层带来的困惑和痛苦。所以希望通过自己的了解,能够总结出音视频开发的相关知识,形成一系列的文章,一步一步来,分析各个环节。一是总结巩固所学,二是帮助想开始音视频开发的开发者。

本文是作者基于自己对实时音视频入门的亲身体验,对基本知识点的认知总结。虽然很简单,但是对这些概念的一点系统的理解对小白来说是一个很好的起点。

本文已在微信官方账号“即时通讯技术圈”发布。

3.什么是视频?

3.1动画书

不知道你小的时候有没有玩过动画绘本?当你连续翻转时,绘本的图片会变成动画,类似于现在的gif格式图片。

本来是静态绘本,变成了有趣的小动画。如果图片足够多,旋转速度足够快,其实就是一个小视频。

视频的原理就是这样。由于人眼的特殊结构,当画面快速切换时,会出现残留画面,感觉像是连贯的动作。所以视频是由一系列画面组成的。

3.2视频帧

帧,视频的一个基本概念,代表一个画面,比如上面翻转动画书中的一页,就是帧。视频由许多帧组成。

3.3帧速率

帧速率,即每单位时间的帧数,以每秒帧数或每秒帧数为单位。比如一本动画书,一秒钟包含多少张图片,图片越多,画面越流畅,过渡越自然。

帧速率的典型值如下:

1) 24/25 fps: 24/25帧/秒,一般电影帧率;2) 30/60 fps:每秒30/60帧,游戏的帧率,30帧可以接受,60帧会感觉更流畅更逼真。85 fps以上,人眼几乎检测不到,所以更高的帧率在视频中意义不大。

3.4色彩空间

这里只说两种常用的色彩空间。

1) RGB: RGB色彩模式应该是我们最熟悉的一种,在今天的电子设备中应用非常广泛。通过R G B三种基本颜色,所有颜色都可以混合;2)YUV:这里重点讲一下我们不熟悉的YUV。这是一种亮度和色度分开的颜色格式。早期的电视都是黑白的,也就是只有亮度值,也就是y,随着彩电的出现,加入了UV形成YUV,也叫YCbCr。

1)Y:亮度为灰度值。除了代表亮度信号,还包含更多绿色通道;2)U:蓝色通道与亮度之差;3)V:红色通道和亮度的区别。如下图所示,可以看到Y、V、U分量的效果差异:

采用YUV有什么优势?

人眼对亮度敏感,对色度不敏感。因此UV数据量减少,但人眼无法感知。通过压缩UV的分辨率,可以在不影响观感的情况下降低视频音量。

RGB和YUV的转换:

Y=0.299 r+0.587g+0.114 bu=-0.147 r-0.289g+0.436 bv=0.615 r-0.515g-0.100 b ——————33543——————33543354—— r=Y+1.14 VG=Y-0.394

3.5进一步学习

如果你觉得上面的话还是有点专业的,强烈建议看下面的:《即时通讯音视频开发(十九):零基础,史上最通俗视频编码技术入门》,绝对是历史上最流行的!

4.什么是音频?

4.1基础知识

脉码调制(PCM)是最常用的传输音频数据的方式。

自然界中,声音是连续的,是模拟信号,那么如何保存声音呢?也就是把声音数字化,也就是把声音转换成数字信号。

我们知道声音是一种有自己振幅和频率的波,所以要保存声音,就要保存声音在各个时间点的振幅。

然而,数字信号不能在所有时间点连续保存振幅。其实不需要保存连续信号,可以恢复人耳可以接受的声音。

根据奈奎斯特采样定理,为了恢复无失真的模拟信号,采样频率不应小于模拟信号频谱中最高频率的两倍。

根据以上分析,PCM的采集步骤分为以下几个步骤:

模拟信号.采样.量化.编码.数字信号

4.2采样率和采样次数

采样率,即采样频率。

如上所述,采样率应该是原始声波频率的两倍以上,人耳能听到的最高频率是20kHz。因此,为了满足人耳的听觉要求,采样率至少要达到40kHz,通常为44.1kHz,更高的通常为48kHz。

采样位数与上述幅度量化有关。波形幅度在模拟信号上也是一个连续的采样值,而在数字信号中,信号一般是不连续的,所以模拟信号量化后,只能取一个近似的整数值。为了记录这些幅度值,采样器将使用固定数量的比特来记录这些幅度值,通常包括8比特、16比特和32比特。

位数越多,记录的值越准确,还原程度越高。

4.3编码

最后是编码。因为数字信号由0和1组成,所以需要将幅度值转换成0和1的系列进行存储,即编码,最终的数据就是数字信号:0和1的系列数据。

整个过程如下:

4.4频道号

通道数是指支持不同声音(注意不同声音)的扬声器数量。

单声道:1声道,2声道,立体声声道:2声道(4声道):默认为4声道

4.5码率

码率是指数据流中每秒可以传递的信息量,以bps(每秒比特数)为单位。

码率=采样率*采样数*通道数

4.6深入研究

看完以上文字,如果觉得不够深入,可以继续系统学习以下材料:

《即时通讯音视频开发(六):如何开始音频编解码技术的学习》 《即时通讯音视频开发(七):音频基础及编码原理入门》 《即时通讯音视频开发(八):常见的实时语音通讯编码标准》 《即时通讯音视频开发(九):实时语音通讯的回音及回音消除概述》 《即时通讯音视频开发(十):实时语音通讯的回音消除技术详解》 《即时通讯音视频开发(十一):实时语音通讯丢包补偿技术详解》 《即时通讯音视频开发(十八):详解音频编解码的原理、演进和应用选型》 《实时语音聊天中的音频处理与编码压缩技术简述》 《网易视频云技术分享:音频处理与压缩技术快速入门》

如果你觉得自己需要更浅显的文章,强烈建议阅读以下(绝对历史上最流行的):

《即时通讯音视频开发(十九):零基础,史上最通俗视频编码技术入门》

5.我们为什么要编码

这里的编码和上面音频中提到的编码不是一个概念,而是指压缩编码。

我们知道,在计算机世界里,一切都是由0和1组成的,音视频数据也不例外。由于音视频数据量巨大,如果作为原始流数据存储,会消耗非常大的存储空间,不利于传输。但是音视频实际上包含了大量的0和1的重复数据,所以这些0和1的数据可以通过一定的算法进行压缩。

尤其在视频中,由于画面是逐渐过渡的,整个视频包含大量的画面/像素重复,正好提供了非常大的压缩空间。

因此,编码可以大大减小音视频数据的大小,使音视频的存储和传输更加容易。

那么,未编码的原始音视频的数据量是多少呢?

以分辨率为19201280,帧率为30的视频为例:

合计:19201280=2,073,600(像素),每个像素24位(之前计算过);即每张图片24=bit,8 bit=1字节;因此:bit=byte6.22MB。

这是一张19201280的图片的原始尺寸,乘以30的帧率。

也就是说,视频大小是每秒186.6MB,大约每分钟11GB,一部90分钟的电影大约1000GB。

(以上例子引自《即时通讯音视频开发(十九):零基础,史上最通俗视频编码技术入门》)

6.视频编码

视频编码格式有很多,比如H26x系列,MPEG系列,看起来都是适应时代发展的。

其中H26x(1/2/3/4/5)系列以ITU(国际电信联盟)国际远程视频联盟为主

MPEG(1/2/3/4)系列由MPEG(运动图像专家组,iso旗下的一个组织)主导。

当然他们还有一个联合编码标准,就是目前主流的编码格式H264,当然还有下一代更高级的压缩编码标准H265。

视频编码知识比较专业,由于篇幅有限,这里就不讨论了。

如果想系统地了解视频编码技术,可以阅读以下资料:

《即时通讯音视频开发(一):视频编解码之理论概述》 《即时通讯音视频开发(二):视频编解码之数字视频介绍》 《即时通讯音视频开发(三):视频编解码之编码基础》 《即时通讯音视频开发(四):视频编解码之预测技术介绍》 《即时通讯音视频开发(五):认识主流视频编码技术H.264》 《即时通讯音视频开发(十二):多人实时音视频聊天架构探讨》 《即时通讯音视频开发(十三):实时视频编码H.264的特点与优势》 《即时通讯音视频开发(十四):实时音视频数据传输协议介绍》 《即时通讯音视频开发(十五):聊聊P2P与实时音视频的应用情况》 《即时通讯音视频开发(十六):移动端实时音视频开发的几个建议》 《即时通讯音视频开发(十七):视频编码H.264、VP8的前世今生》

7.音频编码

原来的PCM音频数据也很大,需要压缩编码。

和视频编码一样,音频也有很多编码格式,比如WAV、MP3、WMA、APE、FLAC等。音乐爱好者应该熟悉这些格式,尤其是后两种无损压缩格式。

然而,我们今天的主角不是他们,而是另一种叫做AAC的压缩格式。本节以AAC格式为例,直观了解音频压缩格式。

AAC是新一代音频有损压缩技术,一种高压缩比的音频压缩算法。MP4视频中的大部分音频数据都是用AAC压缩的。

AAC格式主要分为两种:ADIF和ADTS。

1)ADIF:音频数据交换格式。音频数据交换格式。这种格式的特点是可以确定地找到这个音频数据的开头,而不需要在音频数据流的中间解码,也就是说,它的解码必须在一个定义明确的开头进行。这种格式常用于磁盘文件。

2)ADTS:音频数据传输流。音频数据传输流。这种格式的特点是它是一个带有同步字的比特流,解码可以在这个流中的任何位置开始。其特点类似于mp3数据流格式。

ADTS可以在任何帧中解码,每个帧都有报头信息。ADIF只有一个统一的报头,所以所有的数据都必须解码。而且这两个表头的格式也不一样。目前,ADTS格式的音频流通常是编码的。

ADIF数据格式:

标题|原始数据

ADTS一帧数据格式(中间部分,左右椭圆为前后数据帧):

AAC的内部结构就不赘述了。有兴趣的可以参考《AAC 文件解析及解码流程》。

如果您需要了解有关音频编码的更多信息,您可以查看以下材料:

《即时通讯音视频开发(六):如何开始音频编解码技术的学习》 《即时通讯音视频开发(七):音频基础及编码原理入门》 《即时通讯音视频开发(八):常见的实时语音通讯编码标准》 《即时通讯音视频开发(十八):详解音频编解码的原理、演进和应用选型》

8.音频和视频容器

细心的读者可能已经发现,我们前面介绍的音视频编码格式,没有一种是我们通常使用的视频格式,比如mp4、rmvb、avi、mkv、mov.

没错,这些熟悉的视频格式实际上是用音视频编码数据包装的容器,用来将按照特定编码标准编码的视频流和音频流混合到一个文件中。

比如mp4支持H264、H265等视频编码,AAC、MP3等音频编码。

Mp4是目前最流行的视频格式。在移动端,视频通常封装成mp4格式。

对于音视频编码格式和容器的关系,可以阅读“6。《国际视频编码标准》详细在《即时通讯音视频开发(十九):零基础,史上最通俗视频编码技术入门》。

9.硬解码和软解码

我们可以在一些玩家身上看到,我们可以在硬解码和软解码之间进行选择,但是很多时候,我们感觉不到两者的区别。对于普通用户来说,只要会玩。

那么两者有什么区别呢?

在手机或PC上,会有CPU、GPU或解码器等硬件。通常我们的计算都是在CPU上进行的,CPU是我们软件的执行芯片,而GPU主要负责图片的显示(是一种硬件加速)。

所谓软解码,就是利用CPU的计算能力进行解码。通常CPU不是很强大的话,解码速度会比较慢,手机可能会发热。但是由于使用了统一的算法,兼容性会很好。

所谓硬解码,是指在手机上使用专门的解码芯片来加速解码。通常硬解码的解码速度要快得多,但由于硬解码是由各个厂商实施的,所以质量参差不齐,很容易出现兼容性问题。

10.参考

【1】音视频开发基础知识

[2] YUV颜色编码分析

[3] YUV数据格式

[4]音频基础

[5] AAC文件解析和解码过程

[6]开始理解H264编码

评论