前言 原公司总共有一千多个GIT项目，光所属部门就有62个，为了规范GIT统一管理，把部门内的项目统一划分到一个项目组下边，而不是很零碎的父级组，故制定此方案，感兴趣或正好需要的同学可以看下~ 迁移方式 公司使用的gitLab，如果使用其它git仓库的小伙伴可自行AI解决哈，原理都是大差不差的。迁移方式也很简单，先新建aipark项目组，本部门的G…
前言 现所属公司使用了k8s来作为生产环境，使用了knative来作为服务基础构建，底层服务与服务之间的通信全由knative-eventing进行异步传输，broker底层使用的kafka作为消息队列存储。那么服务与服务之间的通信目前是处于黑盒状态，A到B的消息A是否发送成功了，kafka是否收到了，以及B是否消费了，这都是黑盒的。又因为前几天因…
前言 在云原生架构中，系统是否能够真正做到“弹性伸缩”，取决于对底层扩缩容引擎的控制力。从基础的资源监控（CPU/内存），到面向业务的 Serverless 并发调度，扩缩容不仅是简单的“超过阈值就加机器”，而是一套精密结合了数学计算、防抖动容错以及业务特性的控制流。 扩缩容的核心大脑：K8s 原生 HPA 的底层规则 HPA (Horizonta…
前言 在 Kubernetes (K8s) 集群中，服务 YAML 文件里的 resources 配置块往往是被开发者误解最深的区域。面对 requests 和 limits，许多人的做法是“凭感觉填”或者“抄隔壁项目的配置”。 但实际上，这短短几行 YAML 决定了你的微服务在面对突发流量时是安然度过、被无情限流（Throttling），还是直接…
RabbitMQ 消息不丢失 消息不重复 消息堆积 延迟队列&死信队列 高可用机制 Kafka 消息不丢失&消息重复消费 消费顺序性 高可用机制 高性能设计 比较费时的数据拷贝 优化后的数据拷贝 数据存储和清理
Spring Bean线程安全问题 AOP 事务原理 事务失效 Bean的生命周期 循序依赖 SpringMVC 执行流程 Springboot 自动配置原理 Spring框架常见注解（Spring、Springboot、Springmvc） Mybatis 执行流程 延迟加载 一二级缓存 SpringCloud 服务注册 nacos、eureka…
前言 在 Kubernetes (K8s) 集群中，服务 YAML 文件里的 resources 配置块往往是被开发者误解最深的区域。面对 requests 和 limits，许多人的做法是“凭感觉填”或者“抄隔壁项目的配置”。 但实际上，这短短几行 YAML 决定了你的微服务在面对突发流量时是安然度过、被无情限流（Throttling），还是直接…
知识回顾：大模型训练的显存与计算博弈 在正式探讨分布式训练之前，我们需要深刻理解大模型训练究竟遇到了怎样的工程阻力。在大语言模型时代，训练的核心难点已经演变成了一场对抗物理硬件极限的战役。 大模型训练背景介绍：两大效率瓶颈 计算效率挑战：大语言模型（如 LLaMA、Qwen 等）的训练高度依赖于海量的高质量训练数据（通常以万亿 Tokens 计）。…
前言 在掌握了基础的 HuggingFace API 和模型调用后，真正动手训练大模型时，你最先撞上的往往不是算法复杂度的墙，而是物理硬件的墙。下面我将为你详细拆解大模型训练的难点、计算与显存效率的底层逻辑，以及如何通过低精度技术和 HuggingFace 的下载加载机制来跨越这些障碍。 大模型训练的难点是什么？计算效率与显存效率 显存效率 (Me…
前言 基于第一章：计入入门篇的学习，相信大家已经对HuggingFace训练模型基本流程已经了解了，下面我们基于几个场景来实战演练下~ 基于Transformers的NLP解决方案 在 Hugging Face 生态中，构建一个工业级的 NLP 解决方案绝非仅仅是“加载模型然后预测”这么简单。它是一套极其严密的工程流水线。下面详细列出标准的落地步骤…