FPGA的CameraLink视频开发案例｜基于Kintex-7、Zynq-7045/7100开发板

peng85246

前言
CameraLink协议

CameraLink协议是一种专门针对机器视觉应用领域的串行通信协议，它使用低压差分信号(LVDS)进行数据的传输和通信。CameraLink标准是在ChannelLink标准的基础上多加了6对差分信号线，其中4对用于并行传输相机控制信号，另外2对用于相机和图像采集卡之间的串行通信(本质就是UART的两根线)。
7 V5 E9 _  ?7 P' W/ S$ l9 Z
CameraLink标准的视频传输模式分为三种：Base模式、Medium模式、Full模式。其中每个端口为8位数据，CameraLink标准的规定标准时钟频率最大为85MHz。
; ^3 g0 b% I7 t9 M! L$ O7 U7 K

​
0 L: F  X! c( c; e2 ~
; F$ I9 B2 E$ F$ Y, [: c' ^! ^, w图1
* T, q2 F, `7 X. z' n/ k7 J
CameraLink + FPGA架构视频采集系统
; x5 h6 a( v& ~- ~6 s  ~
采用CameraLink + FPGA架构的视频采集与传输系统，既可实现符合CameraLink协议的数字相机，采集卡之间的通信与控制，同时实现对图像数据采集、转换、缓存、实时处理、输出等。该架构系统稳定性可靠，精度高，不易受干扰，具有较强的通用性、实用性和扩展性，灵活性也大大增强。CameraLink技术现已广泛应用于航空航天、军事、医疗、交通等领域。

​

图2

创龙科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已实现CameraLink视频采集与处理方案。本文将为您分享基于Kintex-7 FPGA评估板的CameraLink视频开发案例。
; N0 W  P- W: _0 d
1 硬件平台
* q9 M' U* ^/ p4 n本文基于创龙科技TLK7-EVM评估板进行演示。

$ X. @# o: T, N5 MTLK7-EVM是一款基于Xilinx Kintex-7系列FPGA设计的高端评估板，由核心板和评估底板组成。核心板经过专业的PCB layout和高低温测试验证，稳定可靠，可满足各种工业应用环境。
/ L9 c6 K) V/ e6 ^) T6 c. p& r评估板接口资源丰富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用户快速进行产品方案评估与技术预研。

​

7 N3 ?% b; ~1 {9 x/ |: X; V图3 TLK7-EVM评估板
0 V9 d6 P  O8 g
* A, l, s1 m- H3 X3 q/ \开发案例主要包括：
Ø CameraLink、SDI、HDMI、PAL视频输入/输出案例
4 Q& E2 A& `7 o; d/ QØ 高速AD(AD9613)采集+高速DA(AD9706)输出案例
Ø AD9361软件无线电案例
Ø UDP(10G)光口通信案例
- [& z6 N: E4 R4 d* gØ UDP(1G)光口通信案例
Ø Aurora光口通信案例
Ø PCIe通信案例
0 E( y1 q. J/ N) b& [
8 W+ C1 Y' ]( O  e) p案例源码、产品资料（用户手册、核心板硬件资料、产品规格书）可点site.tronlong.com/pfdownload获取。
6 h- F# Y, o6 K7 s! t% k% y/ W" X找厂家可申请TLK7-EVM评估板进行快速评估，免费哦！
; w1 P$ Q0 a3 I3 ?( X7 w
2 案例功能案例功能：评估板通过FMC视频模块TLCameraLinkF的CameraLink接口进行分辨率为1280x1024的视频采集，并通过TLCameraLinkF模块的HDMI接口将采集到的视频进行输出。
* l) |; t8 A6 ]8 ~) u

​
# H! c) m* @' Z
图6 程序功能框图


3 案例演示
2 U; Q' ~. T0 T本案例支持三款CameraLink相机，具体说明如下。

厂家	相机型号 ) m3 A8 ^2 b4 z# [	支持模式 7 J/ Q) |! [) K! l	相机性能
Microview 1 x' h, ^0 j1 }" m（北京微视）	RS-A5241-CM107-S00 （黑白CameraLink相机）	Full ; R/ j$ \: u' r2 [) S	全幅面2560*2048下，帧率可达107fps 3 _( R9 x! h, L( a& C# y8 F$ v) `
		Base
	RS-A5241-CC107-S00 （彩色CameraLink相机）	Full	全幅面2560*2048下，帧率可达107fps ; Q$ s( V8 r$ g! y& b3 y% M
		Base
	MVC1381SAM-CL60-S00 : G" a6 c4 O5 I: E# r（黑白CameraLink相机）	Base	全幅面1280*1024下，帧率可达60fps

5 V3 Y, W: X7 DFull模式硬件连接方法

如采用Full模式，创龙科技的TLCameraLinkF模块连接至评估板FMC2接口，评估板J1跳线帽选择1.8V档位，以配置FMC IO的BANK电压为1.8V。
4 {  w" \# d  |4 D+ i0 U/ k
4 J  n' G" ?' i+ w- x+ Y1 ^8 Y  L将CameraLink相机的CL0通过数据线连接至TLCameraLinkF模块的CameraLink1接口，将CameraLink相机的CL1通过数据线连接至TLCameraLinkF模块的CameraLink2接口，将HDMI显示屏通过数据线连接至TLCameraLinkF模块的HDMI OUT接口。
5 O4 r; j9 ?4 w; K​
7 m4 \. I* L; r- y* p5 w图7

Base模式硬件连接方法
3 a3 R6 x( |& K% L+ W
如采用Base模式，将创龙科技的TLCameraLinkF模块连接至评估板FMC2接口，评估板J1跳线帽选择1.8V档位，以配置FMC IO的BANK电压为1.8V。
& P7 S' v  E$ o- H  E% U
将CameraLink相机的CL0通过数据线连接至TLCameraLinkF模块的CameraLink1接口，将HDMI显示屏通过数据线连接至TLCameraLinkF模块的HDMI OUT接口。

​
) N) D. p$ M8 q图8

' h) n2 O0 ?) L  p1 F
6 w/ U# X3 x$ N2 W; N9 W7 T下面对三款不同型号的CameraLink相机在Full/Base模式下的操作进行演示。
& d/ i4 h" h3 C3 Z2 \( k; F
! ^* n: G! u8 y1 a+ W（1） 黑白CameraLink相机RS-A5241-CM107-S00，Full模式
( E2 _6 k9 o$ d/ l+ b
请运行Full模式程序，即可看到串口调试终端打印如下信息。请先输入"1"选择相机型号为RS-A5241-CM107-S00，再输入"1"选择为Full模式。配置完成后，即可看到HDMI显示屏输出黑白图像。
​
' P. f& l) j3 N4 _) C图9
​
3 C9 h- W7 \  p) c+ \2 T图10
1 x* n+ q  _. U) y
（2） 彩色CameraLink相机RS-A5241-CC107-S00，Full模式
  A4 `3 B0 C) U5 n
请运行Full模式程序，即可看到串口调试终端打印如下信息。请先输入"2"选择相机型号为RS-A5241-CC107-S00，再输入"1"选择为Full模式。配置完成后，即可看到HDMI显示屏输出彩色图像。
​
; S: @6 c; ^5 I5 ]1 D  K- j图11
- M: I8 V1 a$ S* J0 ]6 Z& A​
图12
0 Z3 n% P* V' e, j" t+ m3 T1 w备注：由于彩色CameraLink相机RS-A5241-CC107-S00无白平衡功能，故图像颜色偏绿。
0 f/ a) f1 N2 S1 ]( [! W: F
" P1 l( ~( [- T6 y% g" }) I% K9 {9 N' i（3） 黑白CameraLink相机RS-A5241-CM107-S00，Base模式

- B6 O; e; a7 s* v) k请运行Base模式程序，即可看到串口调试终端打印如下信息。请先输入"1"选择相机型号为RS-A5241-CM107-S00，再输入"2"选择为Base模式。配置完成后，即可看到HDMI显示屏输出黑白图像。

8 Z; X$ w# E6 [8 C5 K9 {​
3 T0 P, ~3 E. y$ `" v" m1 A图13
​
% R0 ?9 f+ `* Y8 x+ N图14

（4） CameraLink相机RS-A5241-CC107-S00，Base模式

5 p1 K) c5 o9 y2 j2 H( a请运行Base模式程序，即可看到串口调试终端打印如下信息。请先输入"2"选择相机型号为RS-A5241-CC107-S00，再输入"2"选择为Base模式。配置完成后，即可看到HDMI显示屏输出彩色图像。
/ x2 t, f6 ?) _  P  k8 P% V​
图15
. p( z# a  k3 k+ D4 V' ?​
% K3 P, |! S3 K) ^7 c% w- R, r图16
/ p4 Z! n" h" W+ Z4 u+ |+ ?
$ L4 m8 t: H' ^- W$ l# o" N! m& r备注：由于彩色CameraLink相机RS-A5241-CC107-S00无白平衡功能，故图像颜色偏绿。
3 n& H$ e, }% \0 i8 {

, n3 V8 n% B: E) T$ i* \0 M( ^; C（5） 黑白CameraLink相机MVC1381SAM-CL60-S00，Base模式
6 {: V$ Q- w7 [) h7 }
* Y( P4 `, o9 h% V" k请运行Base模式程序，即可看到串口调试终端打印如下信息。请输入"3"选择相机型号为MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI显示屏输出黑白图像。
​
图17
, X  B3 L& q  T​
图18
4 M1 a, @. r6 K

4 关键代码(MicroBlaze)
, d: _% d" k4 mMicroBlaze裸机源码为"sw\baremetal_demo\project\cameralink_display\src\"，关键代码说明如下。
4 L  d5 M* o# \. j3 p: Z5 X0 q
（1） main函数。

# x: t, f4 r8 W5 B( a3 f# Z​

图19
​

图20


​

& |* ~; D) V/ \; _; V图21
4 Q8 R: ~1 w( G" G1 `4 {" m" e* t
' I! A2 @8 Y% E4 g+ B! x（2） 初始化VDMA，将采集到的视频数据缓存至DDR，再进行HDMI视频输出。
7 d6 ]6 |1 f: L" U- _
& Z' u: r& j3 n/ D  P# P% J' t9 [
9 ~6 n  ~7 [* R4 k) \. r$ a$ Y2 X  }​

图22
1 w" B0 J0 H4 T: N3 ?
（3） 初始化Sil9022A。

4 p3 n$ O0 M. r# B/ q2 A  h
​
0 L. M) K+ P8 W) t5 N
2 v! f2 j* U! L2 \7 ~图23

（4） 初始化AXIS Switch IP核。

; {, x2 P! v( C$ w# M​
图24
' F/ K+ n8 P8 W9 f& O. T

初始化Sensor Demosaic IP核，以将彩色CameraLink相机的Bayer格式视频数据转化为RGB格式。

5 ~. ]$ i0 R# N+ M' ~& U5 n5 V) E
​

图25

/ D8 \$ n( x3 A/ U（5） 初始化Video Mixer IP核。
. H* N) Q8 Q$ n+ r( P' \
; z2 p& J) P: |+ o9 P) a​
图26
9 ]( o; O1 i# \) g* f( J+ U! t
5 D7 _) {) b1 \! H* j' G
/ l! [& E3 v. u1 V7 Y备注：关于Vivado工程说明及模块/IP配置详细内容，可下载产品资料进行查看。


6 更多推荐
新品推荐：TL6678ZH-EVM评估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）
3 V1 X$ l' n4 X' U
​
/ `7 \8 z' P5 J+ o7 m% ]

lyl

很好的资料，好好的学习学习

peng85246

lyl 发表于 2021-1-30 08:32
* z$ N- r: @2 f1 n3 y  G: `: f. Y3 b7 F很好的资料，好好的学习学习

大家互相学习和交流O(∩_∩)O哈！

IZH

6666666666666666666666666666666666666
# S0 i) V3 }; S1 t- t1 c2 @0 h

hebinbin

很好的资料，好好的学习学习

ispy520

很好的资料，多多学习
- }+ r$ }2 D9 h0 v" G+ o5 A