图：PCIe 设备连接链路
设备之间的路径称为链路（Link）。它由一个或多个发送和接收对组成。链路的一个收发对称为通道（Lane）。Qualcomm Linux 设备中的 PCIe 设备连接支持 16 条通道。通道数量或链路宽度为 x16。 下表列出了设备的 PCIe 连接类型。表：PCIe 连接
| PCIe 类型 | 描述 |
|---|---|
| 根复合体（RC） | 将 CPU 连接到 PCIe 拓扑 |
| 交换机 | 连接 2 个以上的端口，并充当数据包路由器 |
| 桥 | 连接不同的总线：例如，PCIe 到 PCIe，或 PCIe 到外设组件互连（PCI） |
| 端点（EP） | 位于 PCIe 拓扑树结构的底部，只有一个上游端口 |
| 传统端点 | 使用较旧的 PCI 总线操作以支持向后兼容 |
图：PCIe 软件架构
下图显示了 PCIe 的分层架构模型。
图：PCIe 分层架构
交换的传输单元如下。 * 物理层实体之间的有序集（Ordered set）。 * 数据链路层实体之间的数据链路层数据包（DLLP）。 * 事务层实体之间的事务层数据包（TLP）。 下表列出了 PCIe 架构中的三个层及其各自的功能。表：PCIe 架构中的层
| 层 | 功能 |
|---|---|
| 物理层 | 逻辑子块：链路训练、初始化和维护。 |
| 物理子块：8b/10b 编码和解码，以及并串和串并转换。 | |
| 数据链路层 | DLLP 数据包的组装和拆解。 |
| 链路层 CRC（LCRC）的生成和验证。 | |
| 应答和非应答协议（重放出错的 TLP）。 | |
| 事务层 | TLP 数据包的组装和拆解。 |
| 端到端 CRC（ECRC）的生成和验证。 | |
| 流量控制：接收实体使用 DLLP 通告可用的接收缓冲区大小信息。 | |
| 服务质量（QoS）：流量类别（TC）到虚拟通道（VC）的映射。 | |
| 事务排序：在 VC 内实现事务排序规则。 |
图：PCIe 配置地址空间
## **PCIe 软件驱动程序配置** PCIe 控制器驱动程序初始化 PCIe 资源并执行链路训练。训练成功后，控制器驱动程序调用 PCIe 框架进行链路枚举，例如端点发现、识别客户端驱动程序以及探测这些驱动程序。有关 PCIe 框架和客户端驱动程序 PCIe 注册的更多信息，请参阅 [https://www.kernel.org/doc/html/latest/PCI/index.html](https://www.kernel.org/doc/html/latest/PCI/index.html)。 ### **链路训练** 链路训练包括以下操作： 1. 位于 [https://github.com/torvalds/linux/blob/master/drivers/pci/controller/dwc/pcie-qcom.c](https://github.com/torvalds/linux/blob/master/drivers/pci/controller/dwc/pcie-qcom.c) 的 PCIe 驱动程序 `pcie-qcom.c` 文件从设备树获取所需资源，例如稳压器、时钟。 2. PCIe 驱动程序调用位于 [https://github.com/torvalds/linux/blob/master/drivers/pci/controller/dwc/pcie-designware-host.c](https://github.com/torvalds/linux/blob/master/drivers/pci/controller/dwc/pcie-designware-host.c) 的 Synopsys DesignWare® Core 主机驱动程序 *pcie-designware-host.c* 文件来初始化根复合体。 3. Synopsys DesignWare Core 驱动程序执行所有必要的初始化。 4. Synopsys DesignWare Core 驱动程序调用函数指针以执行主机初始化。 5. Qualcomm PCIe 驱动程序执行 PHY 上电，启用所有稳压器、时钟。 6. Synopsys DesignWare Core 驱动程序通过调用启动链路的函数指针来开始链路训练。 ### **硬件初始化** 驱动程序初始化并配置 PCIe 硬件模块并执行链路训练。初始化在调用 `platform _probe()` 驱动程序函数之后进行。 ```bash theme={null} static int qcom_pcie_probe(struct platform_device *pdev) { // get PCIe resources ret = dw_pcie_host_init(pp); // call DWC framework to host intialisation like MSI, MSIx and controller init if (ret) { dev_err(dev, "cannot initialize host\n"); goto err_phy_exit; } }; static const struct of_device_id qcom_pcie_match[] = { { .compatible = "qcom,pcie-sc7280", .data = &cfg_1_9_0 }, {} }; static struct platform_driver qcom_pcie_driver = { .probe = qcom_pcie_probe, .driver = { .name = "qcom-pcie", .suppress_bind_attrs = true, .of_match_table = qcom_pcie_match, }, }; ``` 当 Synopsys DesignWare Core 驱动程序初始化时，它还会初始化 MSI、MSIx 和控制器。该驱动程序调用 Qualcomm 函数指针来启动链路训练。 ```bash theme={null} static int qcom_pcie_start_link(struct dw_pcie *pci) { struct qcom_pcie *pcie = to_qcom_pcie(pci); /* Enable Link Training state machine */ if (pcie->cfg->ops->ltssm_enable) pcie->cfg->ops->ltssm_enable(pcie); return 0; } static int qcom_pcie_link_up(struct dw_pcie *pci) { u16 offset = dw_pcie_find_capability(pci, PCI_CAP_ID_EXP); u16 val = readw(pci->dbi_base + offset + PCI_EXP_LNKSTA); return !!(val & PCI_EXP_LNKSTA_DLLLA); // checks the link is up or not } static const struct dw_pcie_ops dw_pcie_ops = { .link_up = qcom_pcie_link_up, .start_link = qcom_pcie_start_link, }; ``` Synopsys DesignWare Core 驱动程序等待链路激活后再对 PCI 框架进行枚举。Qualcomm PCIe 驱动程序仅启用链路训练。
图：QPS615 PCIe 交换机连接图
可以在以下位置访问 Qualcomm PCIe 驱动程序文档： * [https://github.com/torvalds/linux/blob/master/Documentation/devicetree/bindings/pci/qcom%2Cpcie-sc8280xp.yaml](https://github.com/torvalds/linux/blob/master/Documentation/devicetree/bindings/pci/qcom%2Cpcie-sc8280xp.yaml) * [https://elixir.bootlin.com/linux/v6.6.48/source/Documentation/devicetree/bindings/pci/qcom,pcie.yaml](https://elixir.bootlin.com/linux/v6.6.48/source/Documentation/devicetree/bindings/pci/qcom,pcie.yaml) * [https://github.com/torvalds/linux/blob/master/Documentation/devicetree/bindings/phy/qcom%2Csc8280xp-qmp-pcie-phy.yaml](https://github.com/torvalds/linux/blob/master/Documentation/devicetree/bindings/phy/qcom%2Csc8280xp-qmp-pcie-phy.yaml) ### **PCIe 相关配置** 以下配置默认启用以支持 QPS615 交换机。若要将其用于其他 PCIe 端点，请通过还原代码更改来禁用 QPS615 交换机的默认支持。 要启用 PCIe 相关 `configs`，请将以下补丁应用于 */arch/arm64/configs/qcom\_addons.config* 文件。 ```bash theme={null} QCLINUX: arm64: defconfig: qcom: diff --git a/arch/arm64/configs/qcom_defconfig b/arch/arm64/configs/qcom_defconfig index 7293680..730122c 100644 --- a/arch/arm64/configs/qcom_defconfig +++ b/arch/arm64/configs/qcom_defconfig @@ -173,6 +173,7 @@ CONFIG_HOTPLUG_PCI=y CONFIG_HOTPLUG_PCI_ACPI=y CONFIG_PCI_HOST_GENERIC=y +CONFIG_PCIE_DW_PLAT_HOST=y CONFIG_PCIE_QCOM=y CONFIG_PCI_ENDPOINT=y CONFIG_PCI_ENDPOINT_CONFIGFS=y @@ -793,3 +794,5 @@ CONFIG_CORESIGHT_TPDM=m CONFIG_CORESIGHT_DUMMY=m CONFIG_MEMTEST=y +CONFIG_PCIEASPM=y +CONFIG_PCIEASPM_POWER_SUPERSAVE=y ``` ### **消息信号中断（MSI）** 当前的 MSI 映射并不包含所有向量。Qualcomm Linux 硬件 SoC 支持八个向量。每个向量又支持 32 个 MSI。因此，总共支持 256 个 MSI。 有关为此 PCIe 实例添加所有受支持 MSI 组的信息，请参阅 [https://lore.kernel.org/linux-arm-msm/f1168212-bc6e-4570-869c-2870d6f248ad@linaro.org/T/](https://lore.kernel.org/linux-arm-msm/f1168212-bc6e-4570-869c-2870d6f248ad@linaro.org/T/)。 ### **PCIe 内核驱动程序日志示例** 以下是来自 QPS615 设备枚举的 PCIe 内核驱动程序日志示例。
{`[ 7.254674] qcom-pcie 1c08000.pci: supply vdda not found, using dummy regulator
[ 7.285224] qcom-pcie 1c08000.pci: supply vddpe-3v3 not found, using dummy regulator
[ 7.299688] qcom-pcie 1c08000.pci: host bridge /soc@0/pci@1c08000 ranges:
[ 7.313713] qcom-pcie 1c08000.pci: IO 0x0040200000..0x00402fffff -> 0x0000000000
[ 7.329778] qcom-pcie 1c08000.pci: MEM 0x0040300000..0x005fffffff -> 0x0040300000
[ 7.479174] qcom-pcie 1c08000.pci: iATU: unroll T, 8 ob, 8 ib, align 4K, limit 1024G
[ 7.577792] qcom-pcie 1c08000.pci: PCIe Gen.3 x2 link up
[ 7.648353] qcom-pcie 1c08000.pci: PCI host bridge to bus 0001:00
[ 7.654618] pci_bus 0001:00: root bus resource [bus 00-ff]
[ 7.654620] pci_bus 0001:00: root bus resource [io 0x0000-0xfffff]
[ 7.654622] pci_bus 0001:00: root bus resource [mem 0x40300000-0x5fffffff]
[ 7.654633] pci 0001:00:00.0: [17cb:010b] type 01 class 0x060400
[ 7.665893] pci 0001:00:00.0: reg 0x10: [mem 0x00000000-0x00000fff]
[ 7.684913] pci 0001:00:00.0: PME# supported from D0 D3hot D3cold
[ 7.700502] pci 0001:01:00.0: [1179:0623] type 01 class 0x060400
[ 7.710817] pci 0001:01:00.0: PME# supported from D0 D3hot D3cold
[ 7.733698] pci 0001:01:00.0: bridge configuration invalid ([bus 00-00]), reconfiguring
[ 7.738818] pci 0001:02:01.0: [1179:0623] type 01 class 0x060400
[ 7.751157] pci 0001:02:01.0: PME# supported from D0 D3hot D3cold
[ 7.763174] pci 0001:02:02.0: [1179:0623] type 01 class 0x060400
[ 7.777084] pci 0001:02:02.0: PME# supported from D0 D3hot D3cold
[ 7.792832] pci 0001:02:03.0: [1179:0623] type 01 class 0x060400
[ 7.815659] pci 0001:02:03.0: PME# supported from D0 D3hot D3cold`}
表：支持的以太网接口
| 接口类型 | 速度 | 连接器类型 | 描述 |
|---|---|---|---|
| QEP PHY (SGMII) | 2.5 GbE | IX/RJ45 连接器（QEP8121） |
|
| AQR PHY (USXGMII) | 10 GbE | IX/RJ45 连接器（AQR113C） |
|
要为所有端点启动链路训练和枚举，请执行以下操作：
1. 要重置 QPS615 交换机，请切换 QPS615 #1 和 QPS615 #2 的 RESX GPIO。
2. 要控制端点重置，请触发 PERST。两个交换机共享 PERST。
设备可以直接连接到 QPS615 交换机。PCIe RC0 连接到 WLAN 端点。以下差异由 PCIe 节点层次结构造成。
* 连接到交换机的设备：
* QPS615 PCIe 树节点层次结构是静态固定的。
* 用于交换 USP 和 DSP 端口的所有节点都在 PCIe 初始化期间创建。
* 交换机 DSP 端口之一代表 WLAN。
* 如果禁用 WLAN 节点，则会禁用 WLAN 设备，但 PCIe 下游端口仍保持启用状态，并返回默认最大链路宽度。
* 直接连接的 WLAN 设备：
* 仅禁用单个节点。
* 禁用 WLAN 时，返回 Invalid argument。
## **通过 PCIe 接口启用 NVMe**
本节介绍如何使用 PCIe 启用 NVMe 以进行存储扩展。要验证 NVMe 是否通过 PCIe 接口连接，请执行以下操作：
1. 要显示 PCIe 设备信息，请运行以下命令。
```text theme={null}
lspci
```
输出：
```text theme={null}
0000:00:00.0 PCI bridge: Qualcomm Device 0115
0000:01:00.0 Network controller: Qualcomm QCNFA765 Wireless Network Adapter (rev 01)
0001:00:00.0 PCI bridge: Qualcomm Device 0115
0001:01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller PM9A1/PM9A3/980PRO
```
2. 找到 PCIe 日志。
```text theme={null}
dmesg | grep pcie
```
输出：
```text theme={null}
[ 0.000000] Kernel command line: root=/dev/disk/by-partlabel/system rw rootwait console=ttyMSM0,115200n8
pcie_pme=nomsi net.ifnames=0 pci=noaer kpti=off kasan=off kasan.stacktrace=off swiotlb=128 earlycon reboot=panic_warm page_owner=on qcom_scm.download_mode=1 slub_debug=FZP,
zs_handle,zspage;FZPU mitigations=auto kernel.sched_pelt_multiplier=4 rcupdate.rcu_expedited=1 rcu_nocbs=0-7 no-steal-acc vfio_iommu_type1.allow_unsafe_interrupts=1 fw_devlink.strict=1
[ 3.842071] qcom-pcie 1c00000.pci: supply vdda not found, using dummy regulator
[ 3.845339] qcom-pcie 1c10000.pci: supply vdda not found, using dummy regulator
[ 3.845428] qcom-pcie 1c10000.pci: supply vddpe-3v3 not found, using dummy regulator
[ 3.845508] qcom-pcie 1c10000.pci: host bridge /pci@1c10000 ranges:
[ 3.845519] qcom-pcie 1c10000.pci: IO 0x0060200000..0x00602fffff -> 0x0000000000
[ 3.845526] qcom-pcie 1c10000.pci: MEM 0x0060300000..0x007fffffff -> 0x0060300000
[ 3.848154] qcom-pcie 1c00000.pci: supply vddpe-3v3 not found, using dummy regulator
[ 3.854556] qcom-pcie 1c00000.pci: host bridge /pci@1c00000 ranges:
[ 3.860574] qcom-pcie 1c00000.pci: IO 0x0040200000..0x00402fffff -> 0x0000000000
[ 3.867362] qcom-pcie 1c00000.pci: MEM 0x0040300000..0x005fffffff -> 0x0040300000
[ 3.963275] qcom-pcie 1c10000.pci: iATU: unroll T, 32 ob, 8 ib, align 4K, limit 1024G
[ 3.990385] qcom-pcie 1c00000.pci: iATU: unroll T, 32 ob, 8 ib, align 4K, limit 1024G
[ 4.072091] qcom-pcie 1c10000.pci: PCIe Gen.4 x2 link up
[ 4.080241] qcom-pcie 1c10000.pci: PCI host bridge to bus 0001:00
[ 4.291824] pcieport 0001:00:00.0: Adding to iommu group 9
[ 4.551677] pcieport 0001:00:00.0: PME: Signaling with IRQ 256
[ 4.572484] WARNING: CPU: 3 PID: 89 at drivers/pci/controller/dwc/pcie-qcom.c:1430 qcom_pcie_icc_update+0xf8/0x144
[ 4.595291] pc : qcom_pcie_icc_update+0xf8/0x144
[ 4.595293] lr : qcom_pcie_icc_update+0x9c/0x144
[ 4.640742] qcom_pcie_icc_update+0xf8/0x144
[ 4.640745] qcom_pcie_probe+0x234/0x30c
[ 4.988519] qcom-pcie 1c00000.pci: Phy link never came up
[ 5.302179] qcom-pcie 1c00000.pci: PCI host bridge to bus 0000:00
[ 5.372008] pcieport 0000:00:00.0: Adding to iommu group 10
[ 5.378905] pcieport 0000:00:00.0: PME: Signaling with IRQ 257
[ 11.564590] pcieport 0000:00:00.0: BAR 14: assigned [mem 0x40400000-0x405fffff]
```
3. 要找到 NVMe 目录，请运行以下命令。
```text theme={null}
ls -lh /dev/nvme*
```
输出：
```text theme={null}
crw-------. 1 root root 508, 0 Jan 1 00:00 /dev/nvme0
brw-rw----. 1 root disk 259, 30 Jan 1 00:00 /dev/nvme0n1
```
## **PCIe 客户端驱动程序示例**
客户端驱动程序定义 `device-id` 表和 `pci_driver` 结构，并向 PCIe 框架注册。以下是一些 PCIe 客户端驱动程序示例，供参考。
* 用于保存客户端特定私有数据的示例数据结构。
```bash theme={null}
struct sample_driver_data {
int driver_data;
};
```
* 示例驱动程序：您可以根据驱动程序特定的数据结构提供数据。
```bash theme={null}
struct sample_driver_data info = {};
```
* 包含驱动程序特定数据的示例设备 ID 表。客户端驱动程序以 `0x306` 设备 ID 进行注册。
```bash theme={null}
static const struct pci_device_id sample_pci_id_table[] = {
{ PCI_DEVICE_SUB(PCI_VENDOR_ID_QCOM, 0x0306, PCI_VENDOR_ID_QCOM, 0x010c),
.driver_data = (kernel_ulong_t) &info },
{ }
};
MODULE_DEVICE_TABLE(pci, sample_pci_id_table);
```
### **客户端与 PCI 驱动程序高层调用流程示例**
下图显示了 PCIe 客户端驱动程序与 PCIe 驱动程序之间的高层调用流程和调用详情。
