Gsteramer使用mppvideodec硬解码依旧延迟过大

orangeccc

我希望能够使用RKNN推理无线相机的Rtsp流，格式为H264。由于延迟过大我尝试使用Gsteramer的mppvideodec进行硬解码，针对这部分进行了尝试。
我尝试使用如下程序进行收流：

1. import gi
   
2. gi.require_version('Gst', '1.0')
   
3. from gi.repository import Gst, GObject, GLib
   
4. 
   
5. # 初始化GStreamer
   
6. Gst.init(None)
   
7. loop = GLib.MainLoop()
   
8. 
   
9. pipeline = Gst.parse_launch("rtspsrc location=rtsp://192.168.0.133:554/test ! rtph264depay ! h264parse ! mppvideodec ! videorate ! video/x-raw,framerate=60/1 ! videoscale ! videoconvert ! video/x-raw,width=1280,height=720 ! autovideosink sync=false")
   
10. 
    
11. 
    
12. # 设置管道状态为播放
    
13. pipeline.set_state(Gst.State.PLAYING)
    
14. 
    
15. # 开始主循环
    
16. try:
    
17.     loop.run()
    
18. except KeyboardInterrupt:
    
19.     # 捕获键盘中断事件，停止管道并退出
    
20.     pipeline.set_state(Gst.State.NULL)
    
21.     loop.quit()

复制代码

此时的延迟是比较小的，约为0.2秒，但是我用下面的管道和程序进行测试则有非常大的延迟，最大时延迟会有一分钟左右：

1. import gi
   
2. import cv2
   
3. import numpy as np
   
4. from gi.repository import Gst
   
5. gi.require_version('Gst', '1.0')
   
6. # 初始化GStreamer
   
7. Gst.init(None)
   
8. import time  # 导入time模块
   
9. 
   
10. def gst_to_opencv(sample):
    
11.     start_time = time.time()  # 获取函数开始的时间
    
12.     buf = sample.get_buffer()
    
13.     caps = sample.get_caps()
    
14.     print("图像数据格式:", caps.to_string())
    
15.     array = np.ndarray(
    
16.         (caps.get_structure(0).get_value('height'),
    
17.          caps.get_structure(0).get_value('width'),
    
18.          3),
    
19.         buffer=buf.extract_dup(0, buf.get_size()),
    
20.         dtype=np.uint8)
    
21.     end_time = time.time()  # 获取函数结束的时间
    
22.     print("gst_to_opencv耗时: {:.5f}秒".format(end_time - start_time))  # 打印函数耗时
    
23.     return array
    
24. 
    
25. def new_sample(sink, data):
    
26.     sample = sink.emit('pull-sample')
    
27.     start_time = time.time()  # 获取OpenCV处理开始的时间
    
28.     frame = gst_to_opencv(sample)
    
29.     cv2.imshow('Live Video', frame)
    
30.     cv2.waitKey(1)
    
31.     end_time = time.time()  # 获取显示结束的时间
    
32.     print("OpenCV显示耗时: {:.5f}秒".format(end_time - start_time))  # 打印OpenCV处理+显示耗时
    
33.     return Gst.FlowReturn.OK
    
34. 
    
35. # 设置GStreamer管道
    
36. pipeline = Gst.parse_launch('rtspsrc location=rtsp://192.168.0.133:554/test ! rtph264depay ! h264parse ! mppvideodec ! videorate ! video/x-raw,framerate=60/1 ! videoscale ! videoconvert ! video/x-raw,format=BGR,width=1280,height=720 ! appsink emit-signals=True name=mysink')
    
37. 
    
38. sink = pipeline.get_by_name('mysink')
    
39. sink.set_property('sync', False)
    
40. sink.connect('new-sample', new_sample, None)
    
41. pipeline.set_state(Gst.State.PLAYING)
    
42. 
    
43. try:
    
44.     while True:
    
45.         pass  # 循环运行，直到用户关闭窗口
    
46. except KeyboardInterrupt:
    
47.     print("Interrupted by user")
    
48. 
    
49. cv2.destroyAllWindows()
    
50. pipeline.set_state(Gst.State.NULL)

复制代码

gst_to_opencv以及new_sample打印出的两个耗时均为毫秒级耗时。
我想请问的是两个程序比较，为什么第二个程序的延迟增加的如此严重，如何能够减小延迟？