归档 | fitfluid

2023

10

27

一个看似合理的需求摆在面前：业务分析师希望在Web界面上自由探索一个包含数百万行记录的数据集，该数据集源自后端的分析型数据仓库。他们需要像操作本地Excel一样，平滑地滚动、筛选，而不能有明显的卡顿或延迟。直接将数百万条记录一次性加载到浏览

2023-10-27 前端工程

Angular TypeScript Data Warehouse Performance

27

项目的痛点始于一个看似简单的矛盾：我们选择Gatsby构建内容平台，是为了极致的前端性能和Jamstack架构带来的运维便利。但这也意味着我们的内容是静态构建的。与此同时，业务需求是为这些内容提供强大的、实时的语义搜索能力，并且内容源——一

2023-10-27 数据工程

CDC Redis Streams Gatsby Weaviate NoSQL

27

机器学习系统在生产环境中面临一个根本性的矛盾：模型训练与离线分析需要对海量历史数据进行灵活、复杂的批处理查询，而在线推理服务则要求对单点数据进行毫秒级的低延迟查找。试图用单一存储系统满足这两种截然不同的负载模式，通常会导致架构上的妥协和性能

2023-10-27 数据工程

Cassandra PyTorch Trino API Gateway

27

我们面临一个棘手的挑战：如何在不牺牲生产服务器性能的前提下，实时捕获并分析高频的系统行为，以检测潜在的、多步骤的恶意活动。传统的auditd或基于日志的方案，在高负载下会产生巨大的IO和CPU开销，甚至导致关键应用性能下降。我们需要一种更接

2023-10-27 系统架构

Event Sourcing Go Terraform eBPF TensorFlow Kubernetes

27

我们团队的CI系统不堪重负。核心问题出在构建阶段：一个巨大的Jenkins实例，通过Docker-in-Docker（DinD）来构建容器镜像。每次并发构建数一多，宿主机的Docker守护进程就成了性能瓶颈和不稳定的根源。更糟糕的是，整个过

2023-10-27 云原生与DevOps

Go 状态管理 Buildah RabbitMQ CI/CD

27

在生产环境中，数据库读写分离架构下的主从复制延迟是一个潜藏的风险。当从库数据延迟过高时，业务端可能会读取到过时的数据，引发数据不一致问题，甚至在主库故障切换时导致数据丢失。被动地等待问题发生是不可接受的，我们需要一个主动、实时、可配置的监控

2023-10-27 后端架构

NumPy Server-Sent Events (SSE) 读写分离 Go-Fiber 配置中心