导入AI推理基础设施前需整理的5件事
将AI引入业务或服务时，无需从一开始就确定GPU规格或模型选型。不妨先从整理想要实现的目标、使用规模、所需质量、数据处理方式以及费用与运营范围开始。本指南介绍咨询前需要思考的5个关键要点。
即使尚未确定所有事项，也欢迎随时咨询。本指南中的示例仅供说明，不代表已有导入实绩或推荐配置。
整理使用目的
首先明确谁将在哪项业务中使用AI。具体说明输入内容和期望输出——无论是回答问题、摘要文档还是提取信息——有助于更清晰地考量所需处理方式及与应用程序的集成方案。
需要整理的内容
- 使用者与目标业务
- 输入的信息与期望的输出内容
- 当前工作流程中存在的困难
咨询时可提供的示例
我们正在研究一套参考内部手册、回答员工问题的系统。目前由各部门分别处理问询。
考虑使用规模与处理时机
除用户数量外，并发处理量和处理集中的时间段也是规划配置的重要参考。实时对话与有固定截止时间的批量文档处理，所需确认的条件有所不同。
需要整理的内容
- 用户数量与预计并发使用量
- 文档数量及每份文档的平均长度
- 处理频率、高峰时段及期望完成时间
咨询时可提供的示例
预计约50名员工使用。并发数量尚不确定，但预计在工作日白天使用。
补充说明
仅凭用户数量无法确定所需的GPU数量或TPM。还需结合模型选型及输入输出条件一并确认。
确定所需质量与响应速度
结合实际输入示例，思考什么样的输出才能真正用于业务。明确输出内容的审核方式以及用户可接受的等待时间，有助于在验证阶段确定评估标准。
需要整理的内容
- 期望的输出格式与内容质量
- 出现错误时的影响及审核方式
- 可接受的响应等待时间
咨询时可提供的示例
输出内容将由负责人确认后再使用。希望先用实际问询示例评估内容的合理性和响应时间。
补充说明
AI输出可能包含错误。请根据用途考虑人工审核步骤或应用程序层面的控制措施。
确认数据处理与系统集成
明确哪些信息将传递给AI、谁可以访问、结果将在哪里使用。文档检索、权限管理、OCR及与现有系统的连接，需与推理处理分开确认各自的职责范围。
需要整理的内容
- 是否涉及机密信息或个人信息
- 存储位置、日志及保存期限的要求
- 访问权限及与现有应用程序的连接方式
咨询时可提供的示例
我们处理的是仅限内部使用的文档，需要保留各部门的查阅权限，因此希望从检索功能与推理基础设施的集成方式开始咨询。
补充说明
初次咨询时，请勿发送机密文件或实际数据，仅需提供数据类型及需求概要即可。
整理费用与运营职责范围
不仅要考虑初始配置，还需将使用期限、持续费用及运营负责人一并纳入规划。区分基础设施的维护运营与应用程序及业务数据的管理，明确哪些由内部承担、哪些需要咨询。
需要整理的内容
- 期望开始时间与使用期限
- 预算范围与未来扩展计划
- 维护、故障响应及数据管理的职责范围
咨询时可提供的示例
我们计划持续使用。应用程序由内部管理，希望就推理基础设施的运营进行咨询。费用将在确认配置和职责范围后再行讨论。
补充说明
Token Factory计划以面向持续使用的月固定费用形式提供。具体费用、提供时间及支持范围将逐一确认。
咨询准备清单
填写您已知的内容即可。尚未确定的项目请填写"待定"，供咨询时整理思路使用。
- 希望实现的业务目标：
- 使用者・预计用户数量：
- 处理内容・数量・频率：
- 所需输出质量・可接受的等待时间：
- 涉及的数据与连接系统：
- 期望开始时间・使用期限：
- 预算范围：
- 内部可承担的范围：
- 目前尚不确定的事项：