MixedReality-WebRTC 源码分析

作者：追风剑情发布于：2023-8-4 19:17 分类：Unity3d

PeerConnection.cs

如果要动态设置ICE Server地址，需要在PeerConnection的OnEnabled()执行之前设置，否则不生效。

Inspector中的Transceivers是对List<MediaLine>进行了序列化。

/// <summary>
/// 收发器媒体线路及其相关媒体发送器/接收器组件的列表。
/// </summary>
[SerializeField]
private List<MediaLine> _mediaLines = new List<MediaLine>();

调用 HandleConnectionMessageAsync() 方法设置Offer时，会检查_mediaLines里的媒体顺序与对等方的媒体顺序是否一致，不一致会报异常。

//对等端媒体收发器列表
var transceivers = new List<Transceiver>(_nativePeer.AssociatedTransceivers);
transceivers.Sort((tr1, tr2) => (tr1.MlineIndex - tr2.MlineIndex));

如果想修改源码，需要将 com.microsoft.mixedreality.webrtc 从 Package 下拷贝到 Assets 下，然后在 Package Manager 中移除 WebRTC 包。

需要对 PeerConnectionEditor 源码做一些修改。

public class PeerConnectionEditor : UnityEditor.Editor
{
	private void Awake()
	{
		// Load sprites for transceiver list control
		//var objects = AssetDatabase.LoadAllAssetsAtPath("Packages/com.microsoft.mixedreality.webrtc/Editor/Icons/editor_icons.png");
		// 需要修改下资源加载路径，否则会报错导致Inspector属性无法正常显示
		// 填写 com.microsoft.mixedreality.webrtc 拷到的路径
		var objects = AssetDatabase.LoadAllAssetsAtPath("Assets/Scripts/com.microsoft.mixedreality.webrtc-2.0.2/package/Editor/Icons/editor_icons.png");
	}
}

这里是对 Microsoft.MixedReality.WebRTC.Unity.PeerConnection 源码进行分析。在 Microsoft.MixedReality.WebRTC.Unity.PeerConnection 中封装了 Microsoft.MixedReality.WebRTC.PeerConnection。挂在GameObject上的是 Microsoft.MixedReality.WebRTC.Unity.PeerConnection。别搞混了。

PeerConnection 在 OnEnable() 和 OnDisable() 中实现初始化与反初始化，意为着控制挂了 PeerConnection 组件的 GameObject 的显示与隐藏即可控制视频通话的启动与关闭。

Auto Create Offer On Renegotiation Needed: 如果勾上，当PeerConnection初始化完成后就自动创建Offer。如果未勾上，则需要初始化完成后手动调用 StartConnection() 或 StartConnectionIgnoreError() 来创建Offer。

Transceivers 对应 PeerConnection 中的以下代码

/// <summary>
/// 收发器媒体线路及其相关媒体发送器/接收器组件的列表。
/// </summary>
[SerializeField]
private List<MediaLine> _mediaLines = new List<MediaLine>();

IceCandidateReadytoSend事件触发频率比较高，必须将 ICE Candidate 信息的同步加入到队列(__mainThreadWorkQueue)中发送，并在Signaler的Update()方法中修改_mainThreadWorkQueue的调用频率。

//注意这里的Peer引用的是 Microsoft.MixedReality.WebRTC.Unity.PeerConnection
public WebRTC.PeerConnection Peer { get; private set; } = null;

private void OnEnable()
{
	if (AutoLogErrorsToUnityConsole)
	{
		OnError.AddListener(OnError_Listener);
	}
	InitializeAsync();
}

private void OnDisable()
{
	Uninitialize();
	OnError.RemoveListener(OnError_Listener);
}

/// <summary>
/// 调用此方法进行创建和发送Offer
/// 当AutoCreateOfferOnRenegotiationNeeded为false时，需要手动调用此方法来创建并发送Offer
/// 当AutoCreateOfferOnRenegotiationNeeded为true时，将在_nativePeer.RenegotiationNeeded回调事件中自动调用StartConnection()
/// </summary>
public bool StartConnection()
{
	//省略......
	//PeerConnection.cs StartConnection() 401~413行
	//注意：音频流ID，视频流ID，可能要相同，也可能要不同才能正常通信，实际项目中需要具体测试。
	//最好将音频流轨道和视频流轨道放入同一个流ID中。
	string streamID = Guid.NewGuid().ToString();

	bool wantsSend = (mediaLine.Source != null);
	bool wantsRecv = (mediaLine.Receiver != null);
	var wantsDir = Transceiver.DirectionFromSendRecv(wantsSend, wantsRecv);
	var settings = new TransceiverInitSettings
	{
		Name = $"mrsw#{index}",
		InitialDesiredDirection = wantsDir,
		//添加流ID,解决HoloLens2无法向网页传输音视频问题
		//对应的SDP信息：a=dmsid-semantic: WMS 流ID
		StreamIDs = new List<string>() { streamID }
	};
	tr = _nativePeer.AddTransceiver(mediaLine.MediaKind, settings);
	try
	{
		//这个方法里面会重新刷新 DesiredDirection
		mediaLine.PairTransceiver(tr);
	}
	catch (Exception ex)
	{
		LogErrorOnMediaLineException(ex, mediaLine, tr);
	}
	//省略......
	return _nativePeer.CreateOffer();
}

MediaLine.cs 的 UpdateTransceiverDesiredDirection() 方法中会重新刷新数据传输方向 DesiredDirection。

当调用 StartConnection() 和 HandleConnectionMessageAsync() 方法时，都会调用 UpdateTransceiverDesiredDirection()。

private void UpdateTransceiverDesiredDirection()
{
    if (Transceiver != null)
    {
        Peer.EnsureIsMainAppThread();

        bool wantsSend = _source != null && _source.IsLive;
        bool wantsRecv = (_receiver != null);
	//设置传输方向
        Transceiver.DesiredDirection = Transceiver.DirectionFromSendRecv(wantsSend, wantsRecv);
    }
}

传输方向枚举

namespace Microsoft.MixedReality.WebRTC
{
   public class Transceiver
   {
        public Direction DesiredDirection { get; set; }
        public enum Direction
        {
            SendReceive = 0, //发送且接收
            SendOnly = 1,    //仅发送
            ReceiveOnly = 2, //仅接收
            Inactive = 3     //不发送且不接收
        }
   }
}

收发器初始设置

namespace Microsoft.MixedReality.WebRTC
{
    public class TransceiverInitSettings
    {
        //收发器名称
        public string Name;
        //传输方向
        public Transceiver.Direction InitialDesiredDirection;
        //流ID
        public List<string> StreamIDs;

        public TransceiverInitSettings();
    }
}

Signaler.cs

NodeDssSignaler的基类。

public PeerConnection PeerConnection;
// 此值待WebRTC初始化成功后可用
protected WebRTC.PeerConnection _nativePeer = null;

protected virtual void OnEnable()
{
	//在OnPeerInitialized回调方法中完成媒体协商，
	//如果需要动态更改请求的信令服务器IP，需要在此回调触发前更改。
	PeerConnection.OnInitialized.AddListener(OnPeerInitialized);
	PeerConnection.OnShutdown.AddListener(OnPeerUninitializing);
}

NodeDssSignaler.cs

与信令服务器的网络通信。实现 Offer/Answer 、ICE Candidate 的交换。

protected override void Update()
{
	//省略......
	//轮询信令服务器
	StartCoroutine(CO_GetAndProcessFromServer());
}

private IEnumerator CO_GetAndProcessFromServer()
{
	//省略......
	//向信令服务器查询offer、answer、ice消息
	var www = UnityWebRequest.Get($"{HttpServerAddress}data/{LocalPeerId}");
	yield return www.SendWebRequest();
	//省略......
}

如果想处理初始化回调，需要修改源码重写OnEnable()。

// 重写OnEnable()
protected override void OnEnable()
{
	base.OnEnable();
	//添加初始化与反初始化回调方法
	PeerConnection.OnInitialized.AddListener(OnPeerInitialized2);
	PeerConnection.OnShutdown.AddListener(OnPeerUninitializing2);
}

protected override void OnDisable()
{
	base.OnDisable();
	//记得移除回调
	PeerConnection.OnInitialized.RemoveListener(OnPeerInitialized2);
	PeerConnection.OnShutdown.RemoveListener(OnPeerUninitializing2);
}

// PeerConnection初始化成功回调
private void OnPeerInitialized2()
{
	Debug.Log("*** OnPeerInitialized2()");
}

// PeerConnection关闭回调
private void OnPeerUninitializing2()
{
	Debug.Log("*** OnPeerUninitializing2()");
}

如果需要自定义与信令服务器通信，继承Signaler后，建议重写Signaler的Update()方法。

protected override void Update()
{
	//修改：这里改成每帧执行一个函数
	if (_mainThreadWorkQueue.TryDequeue(out Action action))
	{
		action();
	}
}

自定义信令通讯

using System;
using System.Threading.Tasks;
using Microsoft.MixedReality.WebRTC;
using Microsoft.MixedReality.WebRTC.Unity;
/// <summary>
/// 自定义信令通讯
/// </summary>
public class CustomSignaler : Signaler
{
    protected override void OnEnable()
    {
        base.OnEnable();
        PeerConnection.OnInitialized.AddListener(OnPeerInitialized2);
        PeerConnection.OnShutdown.AddListener(OnPeerUninitializing2);
    }

    protected override void OnDisable()
    {
        base.OnDisable();
        PeerConnection.OnInitialized.RemoveListener(OnPeerInitialized2);
        PeerConnection.OnShutdown.RemoveListener(OnPeerUninitializing2);
    }
	
    private void OnPeerInitialized2()
    {
        _nativePeer.IceStateChanged += OnIceStateChanged;
    }
	
    private void OnPeerUninitializing2()
    {
        _nativePeer.IceStateChanged -= OnIceStateChanged;
    }
	
    // 监听ICE状态变化 (此回调未在主线程中执行)
    private void OnIceStateChanged(IceConnectionState newState)
    {
        switch(newState)
        {
            case IceConnectionState.Disconnected:

                break;
            case IceConnectionState.Closed:

                break;
        }
    }

    public override Task SendMessageAsync(SdpMessage message)
    {
        //TODO:: 实现发送SDP
        return Task.CompletedTask;
    }

    public override Task SendMessageAsync(IceCandidate candidate)
    {
        _mainThreadWorkQueue.Enqueue(()=> {
            //TODO:: 实现发送ICE
        });
        return Task.CompletedTask;
    }

    protected override void Update()
    {
        if (_mainThreadWorkQueue.TryDequeue(out Action action))
        {
            action();
        }
    }

    // 动态添加 ICE Server (要在 PeerConnection.OnEnable() 之前调用)
    public void AddIceServer(IceType type, string uri)
    {
        ConfigurableIceServer iceServer = new ConfigurableIceServer();
        iceServer.Type = type;
        iceServer.Uri = uri;
        PeerConnection.IceServers.Add(iceServer);
    }

    // 动态设置 ICE Server 认证
    public void SetIceCredential(string userName, string credential)
    {
        PeerConnection.IceUsername = userName;
        PeerConnection.IceCredential = credential;
    }
}

WebcamSource.cs

手动设置时，必须确保 width 和 height 是摄像头支持的分辨率，否则无法渲染出画面。

此类控制摄像头。

注意：WebcamSource组件仅能开启一个，同时开启多个会报错。多个PeerConnection可以共享这个WebcamSource。

注意：不同分辨率支持不同的帧率，参见 locatable-camera-overview。如果设置不支持的帧率，会报以下错误：
Failed to create device track source for WebcamSource component 'WebcamSource'.

Enable Mixed Reality Capture (MRC)：启用混合现实捕获（MRC）（如果在本地设备上可用）。即视频流中是否包含全息画面。

Show recording indicator in device：启用MRC时启用屏幕记录指示器。

WebcamSource组件在 OnEnable() 中启动摄像头，在 OnDisable() 中关闭摄像头。

注意：要确保摄像头视频流可用后再启动WebRTC，否则对方收不到视频画面。可通过监听WebcamSource组件的VideoStreamStarted事件来确定视频流已可使用。

protected async void OnEnable()
{
	//省略......
	try
	{
		//如果摄像头被其它程序占用，这句代码会抛出异常。
		var source = await DeviceVideoTrackSource.CreateAsync(deviceConfig);
		//此方法会启动本地摄像头
		AttachSource(source);
	}
	catch (Exception ex)
	{
		Debug.LogError($"Failed to create device track source for {nameof(WebcamSource)} component '{name}'.");
		Debug.LogException(ex, this);
		return;
	}
	//省略......
}

protected void OnDisable()
{
	//关闭摄像头
	DisposeSource();
}

#if UNITY_WSA && !UNITY_EDITOR
/// <summary>
/// 内部UWP助手以确保设备访问。
/// </summary>
/// <remarks>
/// This must be called from the main UWP UI thread (not the main Unity app thread).
/// </remarks>
private Task RequestAccessAsync()
{
	/**
	在UWP上，应用程序必须具有“网络摄像头”功能，并且用户必须允许网络摄像头访问。
        因此，在尝试初始化WebRTC库之前，请检查访问权限，因为这可能会导致第一次显示弹出窗口，在WebRTC访问相机之前，需要接受该窗口。
	*/
	var mediaAccessRequester = new MediaCapture();
	var mediaSettings = new MediaCaptureInitializationSettings();
	mediaSettings.AudioDeviceId = "";
	mediaSettings.VideoDeviceId = "";
	mediaSettings.StreamingCaptureMode = StreamingCaptureMode.Video;
	mediaSettings.PhotoCaptureSource = PhotoCaptureSource.VideoPreview;
	//SharedReadOnly(共享相机模式)，此模式下WebRTC可与拍照共享相机，而不会抢占相机。
	//ExclusiveControl(独占相机模式)，此模式下应用程序之间会抢占相机。
	mediaSettings.SharingMode = MediaCaptureSharingMode.SharedReadOnly; //用于MRC和低分辨率相机
	return mediaAccessRequester.InitializeAsync(mediaSettings).AsTask();
}
#endif

UWP 平台请求相机权限

#if UNITY_WSA && !UNITY_EDITOR
//执行下面代码，操作系统可能会弹出询问框。
try
{
	if (UnityEngine.WSA.Application.RunningOnUIThread())
	{
		await RequestAccessAsync();
	}
	else
	{
		UnityEngine.WSA.Application.InvokeOnUIThread(() => RequestAccessAsync(), waitUntilDone: true);
	}
}
catch (Exception ex)
{
	Debug.LogError($"Video access failure: {ex.Message}.");
}
#endif

Locatable camera overview
MediaCaptureInitializationSettings Class
使用 MediaCapture 捕获基本的照片、视频和音频
 快速入门：使用 MediaCapture API 捕获视频

VideoReceiver.cs

远程视频流接收器。

VideoRenderer.cs

负责读取数据源(WebcamSource 或 VideoReceiver)，并将画面渲染到 UnityEngine.Renderer 组件上。

WebcamSource/VideoReceiver 通过各自的 VideoStreamStarted 事件将数据源传给 VideoRenderer 的 StartRendering(IVideoSource source) 方法。当 VideoRenderer.StartRendering() 被调用后就会开始从数据源读取视频流并渲染到 UnityEngine.Renderer 组件上。