fitfluid
本站致力于IT相关技术的分享
在Angular应用中实现面向数据仓库百万级结果集的流式虚拟渲染架构 在Angular应用中实现面向数据仓库百万级结果集的流式虚拟渲染架构
一个看似合理的需求摆在面前：业务分析师希望在Web界面上自由探索一个包含数百万行记录的数据集，该数据集源自后端的分析型数据仓库。他们需要像操作本地Excel一样，平滑地滚动、筛选，而不能有明显的卡顿或延迟。直接将数百万条记录一次性加载到浏览
2023-10-27 前端工程
Angular TypeScript Data Warehouse Performance
构建基于CDC与Redis Streams的实时内容同步管道以驱动Gatsby站点与Weaviate向量索引 构建基于CDC与Redis Streams的实时内容同步管道以驱动Gatsby站点与Weaviate向量索引
项目的痛点始于一个看似简单的矛盾：我们选择Gatsby构建内容平台，是为了极致的前端性能和Jamstack架构带来的运维便利。但这也意味着我们的内容是静态构建的。与此同时，业务需求是为这些内容提供强大的、实时的语义搜索能力，并且内容源——一
2023-10-27 数据工程
CDC Redis Streams Gatsby Weaviate NoSQL
构建支持在线推理与离线分析的混合特征存储架构 构建支持在线推理与离线分析的混合特征存储架构
机器学习系统在生产环境中面临一个根本性的矛盾：模型训练与离线分析需要对海量历史数据进行灵活、复杂的批处理查询，而在线推理服务则要求对单点数据进行毫秒级的低延迟查找。试图用单一存储系统满足这两种截然不同的负载模式，通常会导致架构上的妥协和性能
2023-10-27 数据工程
Cassandra PyTorch Trino API Gateway
从eBPF探针到TensorFlow模型集成的事件溯源管道构建实践 从eBPF探针到TensorFlow模型集成的事件溯源管道构建实践
我们面临一个棘手的挑战：如何在不牺牲生产服务器性能的前提下，实时捕获并分析高频的系统行为，以检测潜在的、多步骤的恶意活动。传统的auditd或基于日志的方案，在高负载下会产生巨大的IO和CPU开销，甚至导致关键应用性能下降。我们需要一种更接
2023-10-27 系统架构
Event Sourcing Go Terraform eBPF TensorFlow Kubernetes
构建基于RabbitMQ与Buildah的分布式镜像构建系统状态机 构建基于RabbitMQ与Buildah的分布式镜像构建系统状态机
我们团队的CI系统不堪重负。核心问题出在构建阶段：一个巨大的Jenkins实例，通过Docker-in-Docker（DinD）来构建容器镜像。每次并发构建数一多，宿主机的Docker守护进程就成了性能瓶颈和不稳定的根源。更糟糕的是，整个过
2023-10-27 云原生与DevOps
Go 状态管理 Buildah RabbitMQ CI/CD
基于Go-Fiber与SSE构建动态可配的数据库主从复制延迟监控与异常告警系统 基于Go-Fiber与SSE构建动态可配的数据库主从复制延迟监控与异常告警系统
在生产环境中，数据库读写分离架构下的主从复制延迟是一个潜藏的风险。当从库数据延迟过高时，业务端可能会读取到过时的数据，引发数据不一致问题，甚至在主库故障切换时导致数据丢失。被动地等待问题发生是不可接受的，我们需要一个主动、实时、可配置的监控
2023-10-27 后端架构
NumPy Server-Sent Events (SSE) 读写分离 Go-Fiber 配置中心
4 / 5