💎一站式轻松地调用各大LLM模型接口,支持GPT4、智谱、豆包、星火、月之暗面及文生图、文生视频 广告
1、解耦 降低程序的耦合性,避免因为个别模块的错误,造成整个系统不可用 2、异步 对于那些不需要马上返回结果可以等待的功能可以进行异步处理 3、削峰 流量削峰,在短时间内如果直接到DB的可能会造成DB宕机,可以先把请求放到MQ,然后再分段(每秒100个)去请求DB