一、簡(jiǎn)介

專(zhuān)欄總目錄

【資料圖】

本文介紹RK3588平臺的Camera:MIPI-CSI調試之通路解析

MIPI聯(lián)盟，即移動(dòng)產(chǎn)業(yè)處理器接口（Mobile Industry Processor Interface 簡(jiǎn)稱(chēng)MIPI）聯(lián)盟。MIPI（移動(dòng)產(chǎn)業(yè)處理器接口）是MIPI聯(lián)盟發(fā)起的為移動(dòng)應用處理器制定的開(kāi)放標準和一個(gè)規范。

目的是把手機內部的接口如攝像頭、顯示屏接口、射頻/基帶接口等標準化，從而減少手機設計的復雜程度和增加設計靈活性。

CSI & DSI

? CSI ( Camera Serial Interface )：攝像頭接口

? DSI ( Display Serial Interface )：顯示接口

二、 名詞解釋?zhuān)?/h1>ISP ( Image Signal Processor )： 即圖像信號處理模塊， 主要作用是對前端圖像傳感器輸出的信號做后期處理，依賴(lài)于 ISP 才能在不同的光學(xué)條件下都能較好的還原現場(chǎng)細節。VICAP（ Video capture ）：視頻捕獲單元

三、RK3588 的camera通路:

多sensor支持：

單路硬件isp最多支持4路復用，isp復用情況支持分辨率如下：2路復用：最大分辨率3840x2160，dts對應配置2路rkisp_vir設備。3路或4路復用：最大分辨率2560x1536，dts對應配置3或4路rkisp_vir設備。硬件支持最多采集7路sensor：6mipi + 1dvp，多sensor軟件通路如下：

下圖是RK3588 camera連接鏈路示意圖，可以支持7路camera。

四、 鏈路解析：

圖中：mipi camera2---> csi2_dphy1 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2

對應節點(diǎn)：imx415 ---> csi2_dphy0 ---> mipi2_csi2 ---> rkcif_mipi_lvds2--->rkcif_mipi_lvds2_sditf --->rkisp0_vir2

鏈接關(guān)系：sensor---> csi2 dphy---->mipi csi host--->vicap

實(shí)線(xiàn)鏈路解析： Camera sensor ---> dphy ---> 通過(guò)mipi_csi2模塊解析mipi協(xié)議---> vicap ( rkcif節點(diǎn)代表vicap )

虛線(xiàn)鏈路解析：vicap ---> rkcif_mipi_lvds2_sditf ---> isp

每個(gè)vicap節點(diǎn)與isp的鏈接關(guān)系，通過(guò)對應虛擬出的XXX_sditf來(lái)指明鏈接關(guān)系。

五、RK3588硬件通路框圖

rk3588支持2個(gè)isp硬件，每個(gè)isp設備可虛擬出多個(gè)虛擬節點(diǎn)，軟件上通過(guò)回讀的方式，依次從ddr讀取每一路的圖像數據進(jìn)isp處理。對于多攝方案，建議將數據流平均分配到兩個(gè)isp上?；刈x：指數據經(jīng)過(guò)vicap采集到ddr，應用獲取到數據后，將buffer地址推送給isp，isp再從ddr獲取圖像數據。

六、詳細解析：

imx415 : Camera sensorcsi2_dphy0 ： rk3588支持2個(gè)dphy硬件，這里我們稱(chēng)之為dphy0_hw/dphy1_hw ，，兩個(gè)dphy硬件都可以工作在full mode 和split mode兩種模式下。

當使用dphy0_hw:

full mode：節點(diǎn)名稱(chēng)使用csi2_dphy0，最多支持4 lane。當dphy0_hw使用full mode時(shí)，鏈路需要按照csi2_dphy1這條鏈路來(lái)配置，但是節點(diǎn)名稱(chēng)csi2_dphy1需要修改為csi2_dphy0，軟件上是通過(guò)phy的序號來(lái)區分phy使用的模式。split mode：拆分成2個(gè)phy使用，分別為csi2_dphy1（使用0/1 lane）、csi2_dphy2(使用2/3 lane)，每個(gè)phy最多支持2 lane。

當使用dphy1_hw:

full mode：節點(diǎn)名稱(chēng)使用csi2_dphy3，最多支持4 lane。當dphy1_hw使用full mode時(shí)，鏈路需要按照csi2_dphy4這條鏈路來(lái)配置，但是節點(diǎn)名稱(chēng)csi2_dphy4需要修改為csi2_dphy3，軟件上是通過(guò)phy的序號來(lái)區分phy使用的模式。split mode：拆分成2個(gè)phy使用，分別為csi2_dphy4（使用0/1 lane）、csi2_dphy5(使用2/3 lane)，每個(gè)phy最多支持2 lane。

dcphy：rk3588支持兩個(gè)dcphy，節點(diǎn)名稱(chēng)分別為csi2_dcphy0/csi2_dcphy1。每個(gè)dcphy硬件支持RX/TX同時(shí)使用，對于camera輸入使用的是RX。支持DPHY/CPHY協(xié)議復用；需要注意的是同一個(gè)dcphy的TX/RX只能同時(shí)使用DPHY或同時(shí)使用CPHY。其他dcphy參數請查閱rk3588數據手冊。

使用上述mipi phy節點(diǎn)，需要把對應的物理節點(diǎn)配置上。（csi2_dcphy0_hw/csi2_dcphy1_hw/csi2_dphy0_hw/csi2_dphy1_hw）

每個(gè)mipi phy都需要一個(gè)csi2模塊來(lái)解析mipi協(xié)議，節點(diǎn)名稱(chēng)分別為mipi0_csi2~mipi5_csi2。

rk3588所有camera數據都需要通過(guò)vicap，再鏈接到isp。rk3588僅支持一個(gè)vicap硬件，這個(gè)vicap支持同時(shí)輸入6路mipi phy，及一路dvp數據，所以我們將vicap分化成rkcif_mipi_lvds~rkcif_mipi_lvds5、rkcif_dvp等7個(gè)節點(diǎn)，各個(gè)節點(diǎn)的綁定關(guān)系需要嚴格按照框圖的節點(diǎn)序號配置。

每個(gè)vicap節點(diǎn)與isp的鏈接關(guān)系，通過(guò)對應虛擬出的XXX_sditf來(lái)指明鏈接關(guān)系。

rk3588支持2個(gè)isp硬件，每個(gè)isp設備可虛擬出多個(gè)虛擬節點(diǎn)，軟件上通過(guò)回讀的方式，依次從ddr讀取每一路的圖像數據進(jìn)isp處理。對于多攝方案，建議將數據流平均分配到兩個(gè)isp上。

直通與回讀模式：?直通：指數據經(jīng)過(guò)vicap采集，直接發(fā)送給isp處理，不存儲到ddr。需要注意的是hdr直通時(shí)，只有短幀是真正的直通，長(cháng)幀需要存在ddr，isp再從ddr讀取。

?回讀：指數據經(jīng)過(guò)vicap采集到ddr，應用獲取到數據后，將buffer地址推送給isp，isp再從ddr獲取圖像數據。

?在dts配置時(shí)，一個(gè)isp硬件，如果只配置一個(gè)虛擬節點(diǎn)，默認使用直通模式，如果配置了多個(gè)虛擬節點(diǎn)默認使用回讀模式。

七、單路Camera的dts配置說(shuō)明：( 以imx415攝像頭為例 )

案例場(chǎng)景：這里使用的是csi2_dphy0的單路camera配置：鏈路配置： imx415 —> csi2_dphy0 —> mipi2_csi2 —> rkcif_mipi_lvds2—>rkcif_mipi_lvds2_sditf —>rkisp0_vir2

&i2c3 {status = "okay";imx415: imx415@1a {status = "okay";compatible = "sony,imx415";reg = < 0x1a >;clocks = < &cru CLK_MIPI_CAMARAOUT_M3 >;clock-names = "xvclk";pinctrl-names = "default";pinctrl-0 = < &mipim0_camera3_clk >;power-domains = < &power RK3588_PD_VI >;pwdn-gpios = < &gpio1 RK_PB0 GPIO_ACTIVE_HIGH >;reset-gpios = < &gpio4 RK_PA0 GPIO_ACTIVE_LOW >;rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "CMK-OT2022-PX1";rockchip,camera-module-lens-name = "IR0147-50IRC-8M-F20";port {imx415_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam0 >;data-lanes = < 1 2 3 4 >;};};};camera_imx219: camera-imx219@10 {status = "disabled";compatible = "sony,imx219";reg = < 0x10 >;clocks = < &clk_cam_24m >;clock-names = "xvclk";rockchip,camera-module-index = < 0 >;rockchip,camera-module-facing = "back";rockchip,camera-module-name = "rpi-camera-v2";rockchip,camera-module-lens-name = "default";port {imx219_out0: endpoint {remote-endpoint = < &mipidphy0_in_ucam1 >;data-lanes = < 1 2 >;};};};};&csi2_dphy0_hw {status = "okay";};&csi2_dphy0 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipidphy0_in_ucam0: endpoint@1 {reg = < 1 >;remote-endpoint = < &imx415_out0 >;data-lanes = < 1 2 3 4 >;};mipidphy0_in_ucam1: endpoint@2 {reg = < 2 >;remote-endpoint = < &imx219_out0 >;data-lanes = < 1 2 >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;csidphy0_out: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi2_csi2_input >;};};};};&mipi2_csi2 {status = "okay";ports {#address-cells = < 1 >;#size-cells = < 0 >;port@0 {reg = < 0 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_input: endpoint@1 {reg = < 1 >;remote-endpoint = < &csidphy0_out >;};};port@1 {reg = < 1 >;#address-cells = < 1 >;#size-cells = < 0 >;mipi2_csi2_output: endpoint@0 {reg = < 0 >;remote-endpoint = < &cif_mipi2_in0 >;};};};};&rkcif {status = "okay";};&rkcif_mipi_lvds2 {status = "okay";port {cif_mipi2_in0: endpoint {remote-endpoint = < &mipi2_csi2_output >;};};};&rkcif_mipi_lvds2_sditf {status = "okay";port {mipi_lvds2_sditf: endpoint {remote-endpoint = < &isp0_vir0 >;};};};&rkcif_mmu {status = "okay";};&rkisp0 {status = "okay";};&isp0_mmu {status = "okay";};&rkisp0_vir0 {status = "okay";port {#address-cells = < 1 >;#size-cells = < 0 >;isp0_vir0: endpoint@0 {reg = < 0 >;remote-endpoint = < &mipi_lvds2_sditf >;};};};&pinctrl {camera {cam_pwdn_gpio: cam-pwdn-gpio {rockchip,pins = < 1 RK_PB0 RK_FUNC_GPIO &pcfg_pull_up >;};};};

八、 調試技巧

8.1 i2c設備的通用調試命令：查看設備是否掛載到i2c總線(xiàn)下：

i2cdetect -y 3

8.2 攝像命令

Linux系統攝像命令：

gst-launch-1.0 v4l2src device=/dev/video11 ! video/x-raw,format=NV12,width=3840,height=2160, framerate=30/1 ! xvimagesink

Android系統：

Android系統自帶相機APP。點(diǎn)擊APP，看攝像畫(huà)面是否正常顯示。

8.3 imx415 相關(guān)的log信息

dmesg | grep imx415

8.4 查看拓撲結構

media-ctl -d /dev/media0 -p

審核編輯：湯梓紅

關(guān)鍵詞：