fitfluid
本站致力于IT相关技术的分享
构建从Emotion组件到Azure Service Bus消费者的端到端分布式追踪链路 构建从Emotion组件到Azure Service Bus消费者的端到端分布式追踪链路
我们团队的一个React项目遇到了一个棘手的性能问题。用户反馈，点击一个用于“生成复杂报告”的按钮后，页面有时会卡顿很久，但开发者工具的网络面板显示API请求很快就返回了202 Accepted。后端的API服务也只是简单地将一个任务消息推
2023-10-27 可观测性
可观测性 Node.js OpenTelemetry Emotion Azure Service Bus
为实时AI特征平台构建基于Envoy的零信任mTLS数据平面架构 为实时AI特征平台构建基于Envoy的零信任mTLS数据平面架构
一个线上运行的实时特征平台，其核心价值在于能在毫秒级延迟内为成百上千个AI模型提供特征向量。数据从Kafka等流式源头涌入，经过处理服务写入高速存储，再由读取服务提供给模型进行推理。整个链路对延迟极其敏感，同时，特征数据作为企业的核心资产，
2023-10-27 架构与设计
Envoy Proxy AI mTLS 数据科学 大数据
利用 Google Cloud Functions 和 Tornado 构建 Consul 驱动的实时依赖漏洞扫描与熔断系统 利用 Google Cloud Functions 和 Tornado 构建 Consul 驱动的实时依赖漏洞扫描与熔断系统
CI/CD流水线中的依赖扫描是标准操作，但它本质上是一个静态的、发生在部署前的检查点。一旦服务部署到生产环境，这个检查就结束了。如果某个已部署组件在运行期间被曝出新的高危漏洞（例如Log4Shell），传统的CI扫描对此无能为力。我们面临的
2023-10-27 DevSecOps
Consul Serverless Tornado Google Cloud Functions 依赖扫描 安全架构
构建基于 LangChain 与 Milvus 的多租户 RAG 架构 融合 AWS SQS 实现异步处理与 OAuth 2.0 安全隔离 构建基于 LangChain 与 Milvus 的多租户 RAG 架构 融合 AWS SQS 实现异步处理与 OAuth 2.0 安全隔离
在构建任何面向企业的SaaS产品时，将简单的单用户技术演示转化为一个健壮、安全、可扩展的多租户服务，是架构设计的核心挑战。一个典型的检索增强生成（RAG）应用，若直接暴露同步API接口进行文档处理和向量化，在生产环境中会迅速遭遇瓶颈：API
2023-10-27 后端架构
Python OAuth 2.0 AWS SQS LangChain Milvus RAG Multi-tenancy
实现一个面向Snowflake的BDD数据质量自动化验证框架 实现一个面向Snowflake的BDD数据质量自动化验证框架
我们团队的数据仓库构建在Snowflake之上，ETL流程由dbt驱动。一个持续困扰我们的问题是数据质量的验证。业务分析师在Confluence上用自然语言描述数据规则，数据工程师再将其手动翻译成dbt的测试或独立的SQL脚本。这个过程不仅
2023-10-27 数据工程
Python BDD Snowflake 敏捷开发 数据质量
基于C++ CDC与Hudi-HBase的金融交易数据分层存储架构实现 基于C++ CDC与Hudi-HBase的金融交易数据分层存储架构实现
我们面临一个棘手的工程问题：一个核心的、高频交易后处理系统，其底层依赖于一个庞大的关系型数据库集群。该系统每天产生数十亿条交易流水、委托变更和清算记录。业务需求被清晰地划分为两个极端：一方面，交易运营团队需要对过去24小时内的任意订单进行亚
2023-10-27 数据工程
Apache Hudi HBase C++ SQL CDC
5 / 5