2021软工-调研作业-Notion
项目 | 内容 |
---|---|
这个作业属于哪个课程 | 2021春季计算机学院软件工程(罗杰 任健) |
这个作业的要求在哪里 | 案例分析作业要求 |
我在这个课程的目标是 | 学习软件开发的工业化流程,锻炼团队合作能力 |
这个作业在哪个具体方面帮助我实现目标 | 通过对现有软件的调研,了解软件工程在产品层面的作用 |
调研评测
调研背景
本次对 Notion 的调研基于 Notion 的 Windows 客户端,版本号 2.0.15;本机 Windows 版本为 Windows10 家庭版,版本号 2004。
上手使用
测试性使用
笔者并非初次使用 Notion,但由于弃坑颇久,许多功能均不记得,故以类似初见的形式进行使用。
可以看到,在点击左下角
New page
按钮(或者使用键盘快捷键
ctrl+n
)之后,出现一个如图示的新界面。此时光标处于标题处,允许我们直接打字输入标题,这种可以让双手一直处于键盘上的细节设计让我瞬间感受到了它的易用性。
在对 Notion 的宣传中,几乎都提到了 Notion 的编辑器是基于「块」的。因此,在调研的过程中,我首先测试了 Notion 的块结构,上图中正文的每一行都是一个不同的块。可以看到,Notion 的块包括了文本、待办、标题、无序列表、有序列表、折叠列表、引用、callout、分割线、图片、网页书签、视频、音频、代码块、文件。同时它允许我们嵌入 PDF、Google Maps 等离线或在线内容。
同时,我们可以对块选择颜色,包括文本颜色和背景颜色,并且可以对块进行评论。而且我们还可以通过拖拽的方式,改变块的位置,起到随心所欲的排版效果。
真实使用
接下来我们将 Notion 置于真实使用环境下进行调研,方式为在 Notion 中新建一页,将上文在其中进行输入。
在这个过程中,我的感受是 Notion 更像是一个艺术品,而非一个好用的工具。
首先便是 Notion 的表格。由于 Notion 的表格和它引以为傲的 database 息息相关,导致它表格的格式受到了严格的限制,第一列必须是标题属性,之后几列才能是内容。这就使得我想要一个简单的、平凡的表格的愿望落了空,可以看到,第一列最后一行我无法将“具体方法”设为加粗,因为它的标题属性。
其次是 Notion 的标题层级。由于 Notion 只支持 3 级标题,导致本文的 4、5 级标题无法以很好的方式迁移到 Notion 中,最终统一设为了 3 级标题。
之后是 Notion 的行间代码块。虽然它同 Markdown一样,以 ` 作为行内代码的标记方式,但是想要代码块紧随其他文字出现,必须加一个空格分隔。并且 Notion 不支持先键入两个反引号,之后再在其中写入其他内容,然后将其渲染为行内代码块的操作。
另外一个值得注意的地方是,Notion 粘贴图片时,因为它并不在本地进行任何缓存,因此实际需要上传图片,同时因为 Notion 的服务器架设位置,这样的操作总是给人一种卡顿的感觉。
因为本文没有过多的样式和排版,所以在 Notion 中键入的时候,流畅性并不如 Typora,最终体现出的视觉效果也只是差强人意。
database 使用
鉴于 Notion 2.0 版本加入了对表格、看板和日历等功能的支持,并且许多实践都向我展示了使用 Notion 的 database 管理数据的优秀之处,曾经的我花费了一个下午的实践捣鼓过这样几个界面。
可以看出,去年的我试着使用 Notion 的 database 功能来对自己的任务进行管理,以项目为主体,划分不同领域,分配不同任务,拥有不同状态,设定截止日期。
然而上文中提到,我最终弃坑了,为什么呢?因为对于我个人而言,专业的待办软件(例如 Microsoft TODO)比 Notion 更适合做这件事,不仅不用折腾,而且坚实可靠。而 Notion database 的其他应用场景,例如看板、日历、时间线,我认为更适合协作场景而非个人使用。
体验感受
Notion 基于块结构,支持 Markdown 语法,并且支持嵌入网页内容和本地媒体内容,在外在的精美程度达到了能令人啧啧称奇,同时它的野心不止于此,对表格、看板、时间线的支持表明它有意于协作领域,并且已经跨出了许多步。
但对于普通的记录者来说,记下来比好看地记下来更重要,Notion 丰富的功能此时反而成了累赘。如果我记录时还需要考虑这里是不是需要加一个分割线,这两块是横着排列好看还是竖着排列好看,可能我会直接被劝退。尽管 Notion 提供了模板和模板市场,允许我们更简单地提前决定文章的格式,但模板的挑选和制作也需要花费时间。Notion 丰富的内在造就了它比较陡峭的学习曲线,外加上迟迟不见踪影的中文本地化,容易让人在中途的使用过程中萌生出一种挫败感,进而选择放弃。
另外,由于网络原因,文件的上传、预览、下载速度均不能让人满意,在加上 Notion 的所有操作均需要联网同步,时不时就会感受到一种迟滞感,用户体验稍显不佳。
改进意见
- 希望对纯使用 Markdown 的用户提供更多支持,例如支持更多标题层级,支持简单一点的表格,让简单的记录变得更丝滑;
- 改善本地化,包括中文支持(据说很快就会上线)和网络适配,给予一个良好的上手体验;
- 支持离线模式,现在 Notion 所有的 page 每次都需要载入才能访问,如果 page 内容很多,等待加载将是一段非常漫长且无聊的时间;
- 提高数据安全性,根据reddit的讨论帖,Notion 员工是可以在仅获得你口头授权的情况下对你的数据进行读写的,这会引发一系列的安全性问题。
评分
从定性的角度来看,我可以给此软件
d) 好,不错
的评价,原因有二:
- Notion 创造式地采用了以 「块」为结构单位的编辑器,使得文章排版方便且优雅;
- Notion 的 database 可拓展性极强,任何记录方面的需求都可能以该种方法得到满足。
从定量的角度来看,参考邹欣老师的表格,我进行了以下打分:
类别 | 描述 | 评分 (满分 10 分, 良好 6 分, 及格 4 分,聊胜于无 1 分, 很差 -3 分) | |
---|---|---|---|
功能 | 核心功能 | 分析三个核心功能,功能设计和质量。 | 10 |
细节 | 有什么为用户考虑的细节? | 8(减少了键鼠切换) | |
用户体验 | 当用户完成功能时,不干扰用户 (例如: 是否不断弹出不相关广告)。 | 10(不主动打扰用户) | |
辅助功能 | 一些辅助功能如皮肤等 | 10(支持夜间模式) | |
差异化功能 | 这个软件独特的功能. 它对用户的吸引力有多大? | 10(能上手使用 database 的用户很难离开 Notion) | |
软件的效能 | 占用内存, 启动速度, 内存泄漏情况 | 6(启动速度尚可,加载速度较慢) | |
体验 | 软件的适应性 | 在联网/断网, 大小屏幕, 没有鼠标的情况下都可以顺畅操作. 和不同平台的软件能流畅协作 | 5(无法离线使用,无鼠标时拖拽操作无法正常使用) |
成长性 | 记住用户的选择, 适应用户的特点,用户越用越方便 | 6(学习曲线陡峭,需要用户适应) | |
用户有控制权 | 系统状态有反馈,等待时间要合适。关键操作有确认提示,有明确的错误信息。 让用户方便地从错误中恢复工作, 快捷操作键可调整。 | 8(删除操作需二次确认,所有删除界面均可恢复,快捷键不可调整) | |
自选 | 数据安全性 | 数据是否安全,是否完全受用户掌控 | -3(客服可以在仅获取口头授权时读写数据) |
总计 | 70/100 |
功能性 BUG
下文所说的功能性 BUG,均是在 Notion 的 Windows 客户端,版本号 2.0.15,本机 Windows 版本为 Windows10 家庭版,版本号 2004 的情况下发现的。
BUG 严重性:
星级 | |
---|---|
五星 | 致命性系统故障:主要功能完全失效,甚至软件直接崩溃;致命性安全漏洞:用户的资料大规模泄露或丢失;极大影响用户体验:绝大部分用户完全不能接受。 |
四星 | 严重系统故障:主要功能部分失效;严重安全漏洞:用户资料部分泄露或丢失;严重影响用户体验:大部分用户不能接受。 |
三星 | 中等系统故障:主要功能少部分失效或者次要功能部分失效;中等安全漏洞:用户资料存在泄露或丢失的可能,但还未发生泄露或丢失;中等影响用户体验:较小地影响大部分用户的体验或较大地影响少部分人的体验。 |
二星 | 轻度系统故障:次要功能少部分失效;轻度安全漏洞:用户资料存在泄露或丢失的可能,但较难被他人利用;轻度影响用户体验:较轻地影响少部分人的体验。 |
一星 | 极轻微系统故障:边缘功能偶然失效;极轻微安全漏洞:用户资料存在泄露或丢失的可能,但几乎无法被他人利用;极轻微影响用户体验:设计上的小瑕疵,用户偶然注意到但不会在意。 |
侧边栏无法加载
- 可复现性:偶然发生,在 100 次测试中出现了一次
- 复现步骤:
- 打开一个有较多内容的界面;
- 使用
重载界面内容,有概率出现侧边栏加载不出内容的情况,且等待较长时间后(笔者等待了 5 min)仍无法加载出内容。ctrl+R
- 可能成因:Notion 的侧边栏和主题文本是分开加载的,由于网络原因侧边栏加载时被中断了,导致无法加载出侧边栏内容。
- 严重程度:一星(极偶然才会失效,且重新加载后恢复正常)。
- 改进建议:对加载内容作一个判断,未加载成功需重新请求内容。
封面的 Reposition 功能导致鼠标持续处于拖拽状态
- 可复现性:稳定复现
- 复现步骤
- 在封面(cover)上点选 Reposition 按钮使封面进入 "Drag image to reposition" 状态;
- 使用鼠标拖拽图片,并让鼠标指针超过图片范围;
- 此时鼠标会持续处于拖拽状态,当鼠标位于顶栏或底栏附近时会向上或向下滚动页面;
- 并且点击封面图片取消拖拽状态后,封面图片位置不发生改变。
- 可能成因:没有判断鼠标指针的位置,导致出现了用户预期以外的情况
- 严重程度:两星(通过短程拖拽仍能正常进行封面的 Reposition)
- 改进建议:在 Reposition 操作时,对鼠标指针的位置进行判断,若鼠标指针位置不在图片范围内,在图片下方则向上滚动图片,反之亦然。
代码块中代码无法高亮
-
- 创建一个代码块;
- 向其中粘贴超过 10KB 的代码;
- 此时代码无法高亮(如下图1)(作为对比,删除一部分代码后高亮会出现,如下图2)
- 可能成因:代码长度超过一定量时,超过了语法解析器的处理极限;
- 严重程度:一星(真的会有人粘贴这么多代码进来吗)
- 改进建议:提高语法处理器的处理容量。
采访
受访者为软件学院的一位不愿意透露姓名的人工智能(以下简称 AI)
笔者:最开始用 Notion 的契机是?
AI:最开始用notion的契机是上大学的时候想找一款用来记录生活中各种事情并且还能够跨平台同步的软件,主要就是考虑了onenote和notion,onenote虽然支持手写,但是他的富文本编辑功能太弱了,于是我就选择了notion。
笔者:Notion 吸引你一直用下去的痛点是?
AI:notion吸引我一直用下去的痛点是,它的功能远超出了普通的笔记软件,它结合了笔记、知识清单、数据库和任务管理等多种功能,只要肯折腾,我几乎能在上面记录任何东西,从表格到日记到收支开销,甚至我们一次软件工程的协同系统都是用notion来完成的,而且它支持文档导入,我可以把自己的其他格式的文档直接导入到其中进行存储,此外,这款软件对个人用户来说是免费的。
笔者:Notion 哪个地方让你觉得很不爽?
AI:我用的最不爽的点就是免费用户上传文件有大小限制(白嫖党的怒吼)和支付功能不支持支付宝或者微信,此外notion并不支持软件内的手写功能,这点用起来很难受。
根据受访者要求,此处无照片,作为替代的是他使用 Notion 的截图:
分析
Q: 使用此服务的所有功能,估计这个软件/网站/服务做到这个程度大约需要多少时间(团队人数6人左右,计算机大学毕业生,并有专业UI支持)。
A:
我认为根据问题给出的团队配置,开发完具有 Notion 所有功能的软件需要约 26 周。
周数 | 开发内容 |
---|---|
4 周 | 完成 Notion 的基础功能,让软件“可用”,即完成基于「块」的编辑器,支持「页」的无限层级嵌套结构 |
2 周 | 添加对 Markdown 的支持(包括支持 Markdown 的粗体、斜体等标记方式,和将 Markdown 的标题等元素转化为块) |
完成对文件、音频、图片的上传和预览 | |
支持嵌入网页,并对特定网页进行特定地预览 | |
1 周 | 此时基本完成了 Notion 作为个人笔记的主要功能,需进行集成测试 |
完成 Notion 的 database 功能,只做 table view | |
做 database 的其他 view,包括 timeline,gallery 等 | |
此时完成了 Notion 作为个人笔记的绝大多数功能,需进行集成测试 | |
完成 Notion 的模板功能和模板市场 | |
完成 Notion 的分享功能 | |
测试和 Bug 修复 | |
26 周 |
Q: 分析这个软件目前的优劣(和类似软件相比),这个产品的质量在同类产品中估计名列第几?
Notion | 语雀 | 印象笔记 | 我来(模仿 Notion 和 RR) | |
---|---|---|---|---|
美观程度 | 客户端现代化,符合大众审美;基于「块」的编辑器,排版灵活美观 | 客户端简洁;语雀自研编辑器,支持 Markdown,支持嵌入文件,但排版不够灵活 | 客户端UI陈旧,且整体对夜间模式支持不佳;登录后狂抛广告;超级笔记编辑器类似 Notion 编辑器但不支持「块」的横向排布 | 客户端现代化,符合审美;基于「块」的编辑器,排版灵活美观 |
目录层级 | 支持「页」的嵌套,理论可以有无限层级 | 支持「知识库-文档」的层级 | 支持「空间-笔记本-笔记」的层级 | |
跨平台可用性 | 支持 iOS & Android & Mac & Windows & 网页端;有 Web Clipper | 支持 Mac & Windows & 微信小程序 & 网页端 | 支持 iOS & Android & iPad & Mac & Windows,不支持网页端;有 Web Clipper | 支持 iOS & Android & iPad & Mac & Windows & Linux & 网页端;有 Web Clipper |
本地化程度低,对中文用户的需求解决较晚;对团队协作支持较好 | 部分操作层级较深,有时不能以符合直觉的方式进行操作;多人编辑支持差 | 广告很多;多人协作流程复杂,且公开界面也存在推广内容 | “中文编辑体验的极致优化”,对中文用户友好,“追求极致的用户体验”,部分细节比较完善 | |
性能 | 启动较慢,加载很慢,内存占用一般 | 启动较快,加载较慢,内存占用一般 | 启动较快,加载较慢,内存占用较大 | 启动较慢,加载较快,内存占用较低 |
支持 database,玩法多种多样 | 知识库的整理与分享 | 传统个人笔记的老大哥 | 支持双向链接和信息图谱 |
综合上述内容,我认为 Notion 在笔记类软件中首屈一指,抛去因为国内的一些因素的网络问题和本地化问题,我认为 Notion 可以排名第一。
Q: 从各方面的问题,推理出这个软件团队在软件工程方面可以提高的一个重要方面(具体建议)。
没有进行深入的需求分析,对用户体验的重视程度不够。
笔者前文所提到的在真实使用过程中的不爽之处,虽然不是笔记软件的痛点,但是是 Notion 的痒点。这些问题虽然不会影响 Notion 和其他笔记软件竞争核心用户,会很大程度上影响用户的流畅使用,进而影响 Notion 的产品形象。如果 Notion 在一开始就在多种使用场景下进行需求分析,并且高度重视用户体验,就不会出现这种令人不爽的瑕疵。
Q: 你在第一部分发现的bug,为何软件团队不能在发布前修复?他们是不知道,还是有意不修复?你觉得是什么原因?
大概率是不知道。
我所提出的第一个 Bug 极有可能是网络因素导致的,且是偶然出现的,Notion 团队应该不会在和国内用户相同的网络环境下做测试;
第二个 Bug 属于边缘情况,可能是测试人员没有覆盖到;
第三个 Bug 不影响正常使用,可能是当时设计代码块时的设计问题。
建议和规划
市场概况
-
市场有多大?
根据国内个人云笔记产品市场调研报告,“截止 2017 年 3 月,国内个人云笔记市场的用户(账户)总数大约为8500万~9000万左右”,“每月增长130万~140万用户”,同时根据当前时间为 2021 年 4 月,可以推知,当前国内个人云笔记市场的用户(账户)总数大约为14870万~15860万左右。
-
直接的用户有多少?潜在的用户又有多少?
根据Notion的wiki介绍,可以得知“2019 年 9 月,该公司宣布其用户已达到 100 万。2020 年 4 月,该公司进行了一轮融资,估值为 20 亿美元,拥有 400 万用户”,假设 Notion 用户数是线性增长的,当前 Notion 的直接用户约为 914 万。若仅计算国内用户,考虑到世界人口分布以及 Notion 在国内知名度不高,不妨假设每 10 个 Notion 用户中存在一个国内用户,即 Notion 在国内的直接用户数约为 91.4 万。
而 Notion 作为个人笔记功能完备,拥有将现有其他个人云笔记应用的用户转换为 Notion 用户的可能。且 Notion 排版精美,也能够作为博客公开,可能会受到一些分享者的青睐。且 Notion 的 database 具有任务管理的能力,也能转化一些任务管理类应用的用户。综合考虑,Notion 的潜在用户数额巨大,即使考虑上述三个群体存在重合的情况,也可以以千万量级的规模进行估计。
市场现状
-
目前市场上有什么样的产品了?
目前国内市场存在印象笔记、语雀等云笔记产品,也存在我来这样的模仿 Notion 的产品。
- 上述产品的定位、优势与劣势在哪里?
我来 官网描述 Your team’s long term memory, all in one spot.
Plan, track, and do all your work in one place. Steer the ship together.
A writing experience as simple or sophisticated as you need
「语雀」是一个「专业的云端知识库」 让生活更有序,让工作更高效,让协作更便捷:帮助个人及团队保存高价值信息、整理知识、有效协作,让印象笔记成为你的「第二大脑」! 用 “我来” 构建个人的信息库、笔记、知识、待办、计划、剪藏、数据... 定位 团队资料保存 + 团队协作 + 个人工作管理 + 个人笔记 云端知识库 团队资料保存 + 团队协作 + 个人笔记 个人信息库 + 个人工作管理 + 个人笔记 优势 详见 分析 中对优劣的描述 同前 劣势 -
上述产品之间呈现什么样的关系,哪些为竞品关系?以及竞争中的各方态势如何?
Notion 和 语雀、印象笔记、我来 这些产品处于竞争关系。相比较而言,Notion 和 印象笔记、我来 的竞争关系更强,和 语雀 可以是互补的关系。分析如下:
Notion 适合进行团队协作和个人「笔记」,而语雀更多的是一个分享型的「知识库」,根据知识和信息的区别,对「笔记」和「知识库」我们可以做出如下区别:「笔记」是用于帮助自己快速回忆起相关信息和知识,而「知识库」则是帮助所有人建立起对知识的认识,两者间存在一个私人性和公开性的区别。
而印象笔记借鉴 Notion 之后推出了「超级笔记」,形式上和 Notion 类似,我认为是为了留存用户进行的尝试,是想办法打破相对于 Notion 的人有我无的劣势,阻止自己的核心用户流失。但是相比于 Notion 而言,印象笔记的超级笔记集成在印象笔记中,如果是为了 Notion 式的体验而进行选择的话,对于新用户而言,显然 Notion 比印象笔记更好。
Notion 和我来的竞争关系更加激烈。前文中已经提到了,Notion 的一些缺点大多集中于本地化和用户体验方面,而我来在借鉴 Notion 的「块」编辑器的基础上,对用户体验尤其是中文用户的用户体验尤为重视,在个人笔记方面,不得不承认我来会更适合中文用户。但是 Notion 也存在 database 这样的差异化功能,而且是杀手级的核心功能,因此在工作管理和团队协作方面,Notion 都会更胜一筹。
市场与产品生态
- 这个产品的核心用户群是什么样的人?典型用户是什么样的?学历,年龄,专业,爱好,收入,表面需求,潜在需求都是什么?
- 核心用户群:以在校学生为代表的笔记记录者,以摄影爱好者为代表的生活记录者,以公司职员为代表的项目管理者。
- 典型用户一:皮必
- 学历:大学在读
- 年龄:20 岁
- 专业:计算机
- 爱好:阅读
- 收入:月收入 2 千元左右
- 表面需求:记录课堂笔记,规划日常生活
- 潜在需求:梳理笔记结构;向同学分享笔记
- 典型用户二:李怡
- 学历:大学毕业
- 年龄:24 岁
- 专业:新媒体
- 爱好:摄影
- 收入:月收入 1 万 5 千元左右
- 表面需求:存储自己旅行过程中的美图、记录自己的日常生活
- 潜在需求:分享自己的精彩瞬间
- 典型用户三:甘甜醇
- 年龄:33岁
- 专业:金融
- 爱好:美食
- 收入:月收入 3 万元左右
- 表面需求:作为公司管理层,管理项目进度;管理个人长期目标
- 潜在需求:公司统一要求使用 Notion 记录工作进度
-
产品的用户群体之间是否存在一定的关系?是否有利用其相互作用二次构成特定用户生态的可能性?
Notion 的用户群体存在关联性,在校学生(典型用户一)同时可以是摄影爱好者(典型用户二),在校学生(典型用户一)毕业以后,可以成为公司职员(典型用户三)。
对于典型用户一,Notion 通过价格优惠吸引消费能力弱的在校学生,建立用户粘性之后,可以等待在校学生变为消费能力强的公司职员,从而提高付费转化率。且在校学生之间存在分享笔记的潜在需求,可以实现典型用户一的传播性增长。
对于典型用户二,他们分享的博客可以吸引到一批对生活精彩瞬间感兴趣的典型用户一、二、三,进而实现用户转化。
对于典型用户三,如果公司管理层使用 Notion 管理项目进度,会直接使下层公司职员成为新的典型用户三。
-
产品的子产品,以及其他相关产品之间是否存在一定的关系?是否有利用各个产品特性之间的相互关系二次构成产品生态的可能性?
Notion 的子产品:Notion Web Clipper,为 Notion 提供了收集网页信息的工具。形成了信息流从输入(Notion Web Clipper)到处理(Notion)再到输出(Notion 分享)的完整链条。
产品规划
-
你要在当前软件的基础上设计什么样的新功能?为何要做这个功能,而不是其他功能?为什么用户会用你的产品/功能?你的创新在哪里?可以用NABCD分析。
我希望在 Notion 的基础上做 块级双向链接 的功能。
Notion with 块级双向链接 Need 许多人在使用笔记软件时,「记录一时爽,整理火葬场」,块级的双向链接可以让笔记之间的关系更直接地展现出来,省去之后再做整理的时间 Approach 通过对每个块建立一个唯一id,使用特定语法时(如[[]])触发块引用,根据所写的文字查找到目标块进行引用 Benefit 让笔记产生自然的关联,让旧笔记能「活起来」,新笔记能流畅调用旧笔记的内容 Competitors 具有双向链接的 RR 尚未大范围进入中国市场;我来虽然具备双向链接但其他功能较薄弱 Delivery 如果 Notion 可以实现双向链接就可以更好地贯彻自己的 All in one 理念,可以取得宣发优势 -
如果你是项目经理,可以招聘6个人,并且有4个月的时间,你认为应该如何配置角色(开发,测试,美工等等) 才能在第16周如期发布软件的改进版本,并取得预想中的成绩。请为你的团队设计16个周期每周的详细规划。
6 个人:1 个美工,1 个前端开发,2 个后端开发,2 个测试
周 任务 1 调研需求,进行分工,团队制定开发规范 2 根据需求形成技术设计文档和美工设计要求 3 根据技术设计文档敲定技术细节,形成前后端接口文档,美工开始设计 4 前后端开始同步开发,实现普通文本块的单向链接,进行单元测试 5 实现普通文本块的反向链接,进行单元测试 6 实现普通文本块链接后显示指定文本的功能,进行单元测试 7 实现普通文本块双向链接的基本功能,进行单元测试 8 实现标题等带格式文本块的双向链接的基本功能,进行集成测试 9 初次内部部署,选定测试人员进行 β 测试,收集反馈意见 根据反馈意见更新需求文档,形成新的设计文档 11 初步满足用户反馈的需求,进行单元测试和回归测试 12 基本满足用户反馈的需求,进行集成测试和回归测试 13 全面系统测试,根据测试结果进行 Bug 修复 14 再次内部部署,选定测试人员进行第二次 β 测试,收集反馈意见 15 根据反馈意见修复重要问题,改善用户体验,进行回归测试 16 部署到产品上,发布上线