ZHONGLI · LLM RESEARCH 研究方向 技术栈 落地服务 关于 立即咨询
LLM RESEARCH · 大模型研究 · 工程落地

把大模型的研究,
做成能跑的系统

我们盯的是大模型最核心的几个研究方向——预训练与架构、后训练对齐、推理增强、多模态、Agent 工程与评测安全; 做的是一件事:把论文里的方法,跑到客户的业务数据上,变成可评测、可运维的能力。

预训练与架构后训练对齐推理增强 多模态理解Agent 工具调用评测与安全
0成立于
0研究方向
0技术栈
0服务客户
0年技术沉淀
大模型研究与神经网络可视化
PRETRAIN · ALIGN · REASON · AGENT
01 · RESEARCH

六个研究方向

不追热点词,按“能不能被验证”来选方向。每个方向都同时盯着三件事:方法是否成立、数据能不能拿到、上线后怎么量。

01

预训练与模型架构

Pretraining · Architecture

决定模型上限的那一层。我们关心数据与算力怎么换能力。

  • 数据配比、清洗与去重策略
  • 长上下文扩展与位置编码
  • MoE 稀疏化与训练稳定性
  • 并行策略与显存/吞吐权衡
工程落点 · 行业基座模型的继续预训练
02

后训练与对齐 重点

Post-training · Alignment

让通用模型学会说你的行业话,并且知道什么不该说。

  • SFT 数据构造与难度分层
  • DPO / GRPO 偏好优化
  • 奖励建模与 RLHF 流程
  • 拒答边界与安全对齐
工程落点 · 领域模型的口径与风格校准
03

推理增强与思维链

Reasoning · Chain-of-Thought

复杂问题不是靠更大的模型,而是靠更长的思考与更好的搜索。

  • 长思维链与推理预算控制
  • 过程奖励模型(PRM)
  • 自洽投票与树搜索
  • 工具增强的多步推理
工程落点 · 规则密集业务的多步判断
04

多模态理解

Multimodal Understanding

企业里大量信息不在纯文本里,而在票据、图纸、表格和视频里。

  • 图文与文档理解
  • 版面分析与 OCR 融合
  • 跨模态对齐与指令微调
  • 视频时序理解与摘要
工程落点 · 票据/报表/图纸自动结构化
05

Agent 与工具调用

Agents · Tool Use

从“会回答”到“会办事”,中间隔着一整套工程约束。

  • 任务规划与拆解
  • 函数调用与 MCP 接入
  • 多智能体协作与分工
  • 记忆、上下文与状态管理
工程落点 · 可审计、可回滚的业务自动化
06

评测、安全与可观测

Evaluation · Safety

没有分数的模型不能上线。评测体系是我们交付的一部分。

  • 领域基准与测试集构建
  • 幻觉与事实性检测
  • 红队测试与越狱防护
  • 线上 A/B、回归与漂移监控
工程落点 · 上线前先有分数,上线后有曲线
02 · STACK

研究与工程栈

研究方向决定做什么,工程栈决定能不能按时做出来。下面是我们实际在用的工具,而不是简历上的关键词。

训练与微调

TRAINING
PyTorchDeepSpeedMegatron-LM LLaMA-FactoryTRLPEFT · LoRA/QLoRA

推理与加速

INFERENCE
vLLMSGLangllama.cpp TensorRT-LLMAWQ / GPTQ蒸馏与小模型化

应用与编排

APPLICATION
RAGLangGraphDify MCPMilvus / pgvector重排与召回融合

数据与评测

DATA & EVAL
语料清洗与合成标注流程与质检自建基准集 离线回归线上监控成本核算
03 · DELIVERY

落地服务

研究不是停在报告里。下面四类服务,是我们把研究方向变成交付物的主要方式。

01

领域模型微调与蒸馏

用你的业务语料,把通用模型调成懂行的模型;再用蒸馏把大模型的判断力压进小模型,降本而不降效果。

  • SFT 数据构造与清洗
  • LoRA / QLoRA 高效微调
  • DPO / GRPO 偏好对齐
  • 小模型蒸馏替代
典型效果 · 在固定业务评测集上,领域准确率显著高于通用模型直接调用
02

企业知识库与 RAG

把散在文档、工单、图纸里的知识变成可检索、可引用的答案,并让每一句回答都能溯源到原文。

  • 文档解析与分块策略
  • 混合召回与重排
  • 引用溯源与权限隔离
  • 多轮追问与澄清
典型效果 · 内部问答从“翻文档”变成“问一句”,响应时间从小时级到秒级
03

Agent 工作流与智能客服

不止聊天。让模型去查订单、填单据、走审批,关键节点留人工兜底,全链路可审计。

  • 意图路由与工单分流
  • 工具编排与函数调用
  • 人工接管与兜底策略
  • 会话质检与持续优化
典型效果 · 高频重复咨询自动闭环,人工坐席压力明显下降
04

私有化部署与推理加速

数据不出内网。从单卡到多机,从量化到批调度,把推理成本压到业务能承受的区间。

  • 本地/专有云部署
  • 量化与显存优化
  • 并发调度与吞吐调优
  • 监控告警与灰度升级
典型效果 · 同等硬件下,吞吐与首字延迟按业务目标调优
04 · PROCESS

从问题到上线

研究项目和交付项目用的是同一套节奏:先定义清楚,再快速证伪。

1

问题定义

把业务问题翻译成可度量的模型任务,先定指标再谈模型

2

基线与数据

先跑通最简单的方案,同时把评测集和数据管道搭起来

3

实验迭代

小步快跑做对照实验,用数据决定下一步往哪走

4

评测上线

离线达标再灰度上线,带监控、带回滚、带成本账

05 · ABOUT

关于我们

一家小而专注的技术工作室:研究方向自己盯,工程落地自己做。

昆都仑区众里技术服务工作室成立于 2023 年,位于内蒙古自治区包头市。团队以大模型技术为核心,围绕预训练、后训练对齐、推理增强、多模态、Agent 与评测安全展开研究与工程实践。

我们不做“万能 AI”的承诺。更常见的做法是:挑一个最痛的业务环节,用一到两周做出可验证的原型,用评测集把话说清楚,跑得通再谈规模化。

技术服务、互联网数据服务、软件开发与数字内容制作是我们的业务底盘,大模型研究是长在底盘上的能力。

模型训练与评测数据可视化
◈

研究原则

能复现、能评测、能落地,三者缺一,就还只是想法。

◉

工程原则

先有基线再有优化,先有监控再谈智能,成本算进方案里。

❖

合作原则

数据边界说清楚,效果预期说清楚,做不到的提前讲。

2023.03工作室成立,从技术服务与软件开发起步
2023.06交付首个 AI 应用系统,跑通从模型到业务的第一条链路
2024业务扩展至互联网数据服务与数字内容制作,开始积累领域语料与标注流程
2025重心转向大模型:微调、RAG、Agent 与私有化部署成为主线,服务客户超过 100 家
2026研究方向体系化,建立自有评测基准与推理加速实践
06 · CONTACT

聊聊你的场景

一个电话或一次扫码,先聊清楚值不值得做,再谈怎么做。

立即联系

工作时间内通常 1 小时内回复。

WECHAT扫码添加客服
ADDRESS内蒙古自治区包头市昆都仑区团结大街
CREDIT92150203MACB8YY44W
☎ 一键拨打 19804726145
微信二维码,扫码添加众里技术客服

微信扫码添加客服

先从一个小场景,把模型跑起来

不必一上来就推翻现有系统。选一个最痛的业务环节,我们用一到两周做出可验证的原型,跑得通再谈规模化。

聊聊你的场景 →