一、背景与挑战：为何选择自研API网关？
在得物技术架构演进过程中，随着业务场景的多元化和系统复杂度的提升，传统开源网关（如Nginx、Kong）逐渐暴露出三大痛点：
- 功能适配性不足：得物特有的业务场景（如潮品交易、社区互动、直播电商）需要定制化的路由策略、鉴权机制和流量控制能力，开源方案难以直接满足。
- 性能瓶颈凸显：高并发场景下（如双11大促），开源网关的QPS（每秒查询数）和延迟指标难以支撑业务需求，导致用户体验下降。
- 运维成本高企：多集群部署时，开源网关的配置管理、故障定位和版本升级需要大量人工介入，效率低下。
基于此，得物技术团队决定自研API网关，目标打造一款高可用、高性能、易扩展的网关系统，支撑未来3-5年的业务增长。
二、架构设计：分层与模块化是核心
1. 整体架构
自研网关采用分层架构，分为接入层、路由层、业务层和存储层：
- 接入层：负责协议解析（HTTP/HTTPS/WebSocket）、SSL卸载和负载均衡，基于Netty实现高性能网络通信。
- 路由层：支持动态路由（基于标签、权重、版本）、灰度发布和A/B测试，通过Redis集群存储路由规则。
- 业务层：集成鉴权（JWT/OAuth2）、限流（令牌桶算法）、熔断（Hystrix模式）和日志采集功能。
- 存储层：使用MySQL分库分表存储网关配置，Elasticsearch实现实时日志检索。
2. 关键设计决策
- 无状态化设计：路由规则和配置通过外部存储（Redis/MySQL）动态加载，避免单点故障。
- 插件化扩展：支持自定义插件（如签名校验、数据脱敏），通过SPI机制动态加载，无需重启服务。
- 多协议支持：除HTTP外，还支持gRPC、Dubbo等RPC协议，适配微服务架构。
三、性能优化：从毫秒级到微秒级的突破
1. 网络通信优化
- 零拷贝技术：通过Netty的ByteBuf和FileRegion实现文件传输零拷贝，减少内存拷贝次数。
- 连接复用：HTTP长连接复用率提升至95%，减少TCP握手开销。
- 异步非阻塞IO：基于Reactor模式处理请求，单线程可处理数万并发连接。
2. 路由算法优化
- 多级缓存：路由规则采用本地缓存（Caffeine）+分布式缓存（Redis）两级架构，查询延迟<1ms。
- 哈希取模优化：针对分片路由场景，使用一致性哈希算法减少数据迁移成本。
3. 压测数据对比
| 指标 |
开源网关（Kong） |
自研网关 |
提升幅度 |
| QPS（100并发） |
8,000 |
25,000 |
312% |
| 平均延迟（ms） |
12 |
3 |
75% |
| 错误率（5000QPS） |
2.1% |
0.3% |
86% |
四、安全防护：构建全链路安全体系
1. 鉴权与授权
- 多因素认证：支持API Key、JWT、OAuth2.0等多种鉴权方式，可配置白名单/黑名单。
- 权限细粒度控制：基于RBAC模型实现接口级权限管理，支持动态权限刷新。
2. 流量安全
- DDoS防护：集成流量清洗模块，支持TCP/UDP洪水攻击防御。
- SQL注入拦截：通过正则表达式和机器学习模型识别恶意请求。
3. 数据安全
- 敏感信息脱敏：支持正则表达式匹配脱敏规则（如手机号、身份证号）。
- 传输加密：强制HTTPS协议，支持国密SM2/SM4算法。
五、运维监控：从被动响应到主动预警
1. 可观测性建设
- 指标采集：通过Prometheus采集QPS、延迟、错误率等核心指标。
- 日志追踪：集成SkyWalking实现全链路追踪，支持自定义日志模板。
- 告警策略：基于阈值（如错误率>1%）和异常检测（如突增流量）触发告警。
2. 自动化运维
- 配置热更新：支持动态修改路由规则、限流阈值，无需重启服务。
- 弹性伸缩：基于K8s HPA自动扩容网关实例，应对流量高峰。
- 故障自愈：通过健康检查和自动重启机制，保障服务可用性。
六、实践启示：自研网关的通用建议
- 明确需求边界：自研前需清晰定义网关的核心功能（如路由、鉴权、限流），避免过度设计。
- 渐进式迭代：从MVP（最小可行产品）开始，逐步完善功能，降低风险。
- 重视测试验证：通过混沌工程（Chaos Engineering）模拟故障场景，验证网关的容错能力。
- 开放生态建设：提供SDK和OpenAPI，降低业务方接入成本。
七、未来展望
得物自研API网关已支撑日均百亿级请求，未来将重点优化以下方向：
- AI赋能运维：通过机器学习预测流量峰值，实现智能限流。
- 服务网格集成：与Istio等服务网格框架深度整合，支持跨集群路由。
- Serverless化：探索网关函数的无服务器化部署，提升资源利用率。
自研API网关是得物技术中台化的重要一环，其成功实践为高并发、高可用场景下的网关建设提供了宝贵经验。对于技术团队而言，自研并非终点，而是持续优化、与业务共同成长的起点。