FPGA的CameraLink视频开发案例｜基于Kintex-7、Zynq-7045/7100开发板

peng85246

前言
# B8 |: b+ M: p0 A9 ZCameraLink协议
- x: B- q0 F, c
CameraLink协议是一种专门针对机器视觉应用领域的串行通信协议，它使用低压差分信号(LVDS)进行数据的传输和通信。CameraLink标准是在ChannelLink标准的基础上多加了6对差分信号线，其中4对用于并行传输相机控制信号，另外2对用于相机和图像采集卡之间的串行通信(本质就是UART的两根线)。
8 l1 N6 o3 Q. ?% a
CameraLink标准的视频传输模式分为三种：Base模式、Medium模式、Full模式。其中每个端口为8位数据，CameraLink标准的规定标准时钟频率最大为85MHz。
2 N' c, x( \8 n, j; z" Z6 k

, r" f' U; ?* V4 a​

- P/ W! n3 F! ?1 o5 _" ~8 v图1

' B  t% U. e9 ZCameraLink + FPGA架构视频采集系统
$ b6 h3 a/ C0 a" f1 q
. j& G3 I8 ^% s% T# b9 H) r6 O$ r2 F8 E9 i采用CameraLink + FPGA架构的视频采集与传输系统，既可实现符合CameraLink协议的数字相机，采集卡之间的通信与控制，同时实现对图像数据采集、转换、缓存、实时处理、输出等。该架构系统稳定性可靠，精度高，不易受干扰，具有较强的通用性、实用性和扩展性，灵活性也大大增强。CameraLink技术现已广泛应用于航空航天、军事、医疗、交通等领域。

- ]: k5 ^9 P  h- ~$ T$ C​

& ?$ Y9 O" {$ ]* C! w' T图2
; J4 M1 h- s3 ^2 v8 d0 b" ^
创龙科技(Tronlong)的Kintex-7、Zynq-7045/7100等FPGA板卡已实现CameraLink视频采集与处理方案。本文将为您分享基于Kintex-7 FPGA评估板的CameraLink视频开发案例。
5 p3 S, t1 c8 u8 H/ A) ~8 _' M$ Y3 ?
, [/ M/ B" S4 E" h* F  ?& o4 E1 硬件平台
本文基于创龙科技TLK7-EVM评估板进行演示。
3 m# C& C5 c: A  T( s# z
TLK7-EVM是一款基于Xilinx Kintex-7系列FPGA设计的高端评估板，由核心板和评估底板组成。核心板经过专业的PCB layout和高低温测试验证，稳定可靠，可满足各种工业应用环境。
评估板接口资源丰富，引出FMC、SFP+、PCIe、SATA、HDMI等接口，方便用户快速进行产品方案评估与技术预研。

7 M2 a9 L3 R1 R% Y6 C. ]' V​

图3 TLK7-EVM评估板

开发案例主要包括：
Ø CameraLink、SDI、HDMI、PAL视频输入/输出案例
$ I, P" A) |: r2 K1 m7 {Ø 高速AD(AD9613)采集+高速DA(AD9706)输出案例
Ø AD9361软件无线电案例
Ø UDP(10G)光口通信案例
Ø UDP(1G)光口通信案例
Ø Aurora光口通信案例
Ø PCIe通信案例
7 ^. ]7 O5 ?6 X( W4 Q0 y% m1 B5 W, W
案例源码、产品资料（用户手册、核心板硬件资料、产品规格书）可点site.tronlong.com/pfdownload获取。
找厂家可申请TLK7-EVM评估板进行快速评估，免费哦！
1 d5 Y: n4 a1 k: {  ~' I2 ?
2 案例功能案例功能：评估板通过FMC视频模块TLCameraLinkF的CameraLink接口进行分辨率为1280x1024的视频采集，并通过TLCameraLinkF模块的HDMI接口将采集到的视频进行输出。
0 [/ T3 ?8 v( B7 o  `8 b* C$ _
  @. V& z: D! q" X& R9 s$ s
​

图6 程序功能框图
4 @! j$ y% i  q/ T' @

$ {! H. {  k& K: G3 案例演示
6 R+ G' [3 c$ N# ~- l本案例支持三款CameraLink相机，具体说明如下。
6 [2 d" p: }7 G4 C) T
, Z, L1 Q" ~8 V

厂家 ! ]# O! `$ U$ I% L9 f	相机型号 . s  F2 o  d6 }5 p' O  o, _	支持模式	相机性能 , |3 u9 ~3 B: w: O7 J
Microview . x* M* Y4 B6 H（北京微视） + p" X9 k% F9 A- @	RS-A5241-CM107-S00 （黑白CameraLink相机） / B9 d# f' C4 H1 {8 ^- P) F" F	Full + J$ u! s% H2 }	全幅面2560*2048下，帧率可达107fps
		Base
	RS-A5241-CC107-S00 . a( M, u  N8 {/ F（彩色CameraLink相机） 8 f5 w# {2 S* j. c	Full	全幅面2560*2048下，帧率可达107fps
		Base : F1 ]* F# A* _: I# V; R  ]* }
	MVC1381SAM-CL60-S00 # `. q; t" _5 Y: |5 f9 u( z（黑白CameraLink相机）	Base / ^+ y- w8 j$ M* J# I8 X9 n4 A8 X2 u	全幅面1280*1024下，帧率可达60fps * d6 P9 |: J5 R. o; Z: a

Full模式硬件连接方法
  y+ H" I- v/ w1 e8 w
# X2 P- r% [" r( _0 z# B2 T5 d如采用Full模式，创龙科技的TLCameraLinkF模块连接至评估板FMC2接口，评估板J1跳线帽选择1.8V档位，以配置FMC IO的BANK电压为1.8V。

! _7 A0 n5 f3 X) v6 b/ T9 V) N将CameraLink相机的CL0通过数据线连接至TLCameraLinkF模块的CameraLink1接口，将CameraLink相机的CL1通过数据线连接至TLCameraLinkF模块的CameraLink2接口，将HDMI显示屏通过数据线连接至TLCameraLinkF模块的HDMI OUT接口。
​
6 `9 t  @, U* D: X/ h图7
' ^  n2 M9 S9 Y7 F
Base模式硬件连接方法
6 g+ ^4 X; |/ ^( L7 m& d5 v6 n8 \9 ~
6 @1 q' t4 M$ J/ j: n% w- r$ ]' q2 z如采用Base模式，将创龙科技的TLCameraLinkF模块连接至评估板FMC2接口，评估板J1跳线帽选择1.8V档位，以配置FMC IO的BANK电压为1.8V。

$ {+ T  f9 e0 x1 X! f. A将CameraLink相机的CL0通过数据线连接至TLCameraLinkF模块的CameraLink1接口，将HDMI显示屏通过数据线连接至TLCameraLinkF模块的HDMI OUT接口。

​
图8
  j* `9 z$ |/ t( V8 _" U3 ~0 s: S

下面对三款不同型号的CameraLink相机在Full/Base模式下的操作进行演示。

& D# |2 @2 X& U8 p$ f; x4 Y9 ~（1） 黑白CameraLink相机RS-A5241-CM107-S00，Full模式

( Z  v0 w$ P# b, a) c6 U8 E请运行Full模式程序，即可看到串口调试终端打印如下信息。请先输入"1"选择相机型号为RS-A5241-CM107-S00，再输入"1"选择为Full模式。配置完成后，即可看到HDMI显示屏输出黑白图像。
8 K( e4 M% m# q1 {/ b+ N5 I' R: R​
图9
9 \; `8 \, |1 u" U# B* ?​
9 \- B1 U$ g8 x3 E4 {; l图10

（2） 彩色CameraLink相机RS-A5241-CC107-S00，Full模式
5 I7 ?7 G) q" k/ ?* h0 w
0 j' _: G( W. a) a5 i请运行Full模式程序，即可看到串口调试终端打印如下信息。请先输入"2"选择相机型号为RS-A5241-CC107-S00，再输入"1"选择为Full模式。配置完成后，即可看到HDMI显示屏输出彩色图像。
5 I7 g' b% N" D5 k​
图11
​
图12
备注：由于彩色CameraLink相机RS-A5241-CC107-S00无白平衡功能，故图像颜色偏绿。
# i3 }  E/ E# l7 G$ ?* `
! S5 y. M: a% x0 I8 @' S6 e; Y（3） 黑白CameraLink相机RS-A5241-CM107-S00，Base模式

# }4 F0 y4 z5 d7 H, s7 s. w. u, A请运行Base模式程序，即可看到串口调试终端打印如下信息。请先输入"1"选择相机型号为RS-A5241-CM107-S00，再输入"2"选择为Base模式。配置完成后，即可看到HDMI显示屏输出黑白图像。

. o' I+ |4 Q, ?2 }# j% a- o0 Q​
3 Q( n" V. Y% M2 C图13
​
图14
( ?, ^* _( p0 U! Y2 y& |
（4） CameraLink相机RS-A5241-CC107-S00，Base模式

请运行Base模式程序，即可看到串口调试终端打印如下信息。请先输入"2"选择相机型号为RS-A5241-CC107-S00，再输入"2"选择为Base模式。配置完成后，即可看到HDMI显示屏输出彩色图像。
​
图15
​
图16
8 U) P) F# ?8 v
" E, X& F) M0 X: P& ~4 l# }备注：由于彩色CameraLink相机RS-A5241-CC107-S00无白平衡功能，故图像颜色偏绿。

, E- C  E, ^' {' I
0 T" ^8 m8 |$ e  l5 ?( z& Q（5） 黑白CameraLink相机MVC1381SAM-CL60-S00，Base模式

: s: T- m( R& A) ?! D请运行Base模式程序，即可看到串口调试终端打印如下信息。请输入"3"选择相机型号为MVC1381SAM-CL60-S00。配置完成后，即可看到HDMI显示屏输出黑白图像。
3 P; G' v* Q2 M3 v8 d& S​
: Q* _: G* W5 i4 x: X图17
​
图18


6 d. w0 A/ S) l# G4 关键代码(MicroBlaze)
MicroBlaze裸机源码为"sw\baremetal_demo\project\cameralink_display\src\"，关键代码说明如下。
1 T5 c4 N+ v" m2 E  z6 q% ?
（1） main函数。

6 k1 f" b7 @% i( f, e  w, r​
/ |0 a/ G, a; ^8 v& C0 [
% e" L8 M5 X, y- r" _0 [3 `图19
​
  V$ U  E- Z) A' {8 t! D1 e
/ H) f0 E' N& D1 H, C图20


3 f+ g& P0 ?0 q, N​
/ |& Z9 U2 V- @
. A& Y# R8 B5 X$ ?图21

) c6 x! W% w+ P! @7 l( P* q9 f. v（2） 初始化VDMA，将采集到的视频数据缓存至DDR，再进行HDMI视频输出。
( }' ^* \5 o1 Z% K
. R9 ?/ u) ~7 g8 z+ U; |
1 B5 ?6 P/ O- E2 `- A" I- e; y​

: Q, d, h) _  S1 Z# T/ y7 o图22
' S; C( d0 H, B! R$ v& |
- M, f, M0 C+ ~. S3 V1 ?（3） 初始化Sil9022A。
( t1 N. H) c1 |3 A8 H5 [% N. k
: l  |# Q  Z$ ~, _" l! H
​

5 _* V. o  F' t- Q图23

, s6 z+ w. N! _3 Z1 i" V$ l（4） 初始化AXIS Switch IP核。

8 @$ D8 D, p3 D6 o​
- E6 ^6 x0 {7 _" B 图24


初始化Sensor Demosaic IP核，以将彩色CameraLink相机的Bayer格式视频数据转化为RGB格式。
- N& g# g$ m" O" k/ `

​
3 {7 C( _. P1 r' J* }& o
6 E6 F) K1 q2 L1 W4 |  v- G图25

（5） 初始化Video Mixer IP核。

+ Y9 L0 s/ z/ z4 _7 v% ~) O! W​
* `& M; u; `+ M8 o7 h' f2 P2 k 图26
6 k+ E& }, p  Y" L$ l& m
: P9 W" D% |6 ]4 u9 W  J' s& G
# ?, U# w; E' V备注：关于Vivado工程说明及模块/IP配置详细内容，可下载产品资料进行查看。
7 K) m8 i" |1 O+ x' c

6 更多推荐
新品推荐：TL6678ZH-EVM评估板（TI TMS320C6678 + Xilinx Zynq-7045/7100）

​
5 ^+ L2 V! N. _
0 n- p5 _, n! ]5 B) `. B" P

lyl

很好的资料，好好的学习学习

peng85246

lyl 发表于 2021-1-30 08:32
很好的资料，好好的学习学习

大家互相学习和交流O(∩_∩)O哈！

IZH

6666666666666666666666666666666666666
' R  y3 Y& d/ P9 {2 ~  [& s

hebinbin

很好的资料，好好的学习学习

ispy520

很好的资料，多多学习