我将此前工作中人工调研检索的18份判决书原文交给了AI Agent，让它在充分阅读判决书全文的基础上写一份案例分析报告。
之所以产生进行这样测试的想法，源自对素材具有充分的确定性和准确性情形下AI分析能力的好奇。如果AI在用户提供了确定具备相关性的、有限数量的判决书的情况下，仍然会出现基础事实错误或理解偏差，那么对于以包含了更多不相关和错误信息为基础素材的AI的生成成果更加需要予以审慎使用。
此外，该测试还旨在从形式完成度、原文引用准确性、资料分析完整性、观点理解准确性四维度去分析AI在给定纯净素材的情况下给到的成果的可靠性，明确此类案例分析工作后续人工复核时需重点关注的方面和工作流优化路径。
目录
一、AI使用基本信息及提示词
二、KIMI成果分析
（一）形式完成度
（二）原文引用准确性
（三）资料分析完整性
（四）观点理解准确性
三、错误优化路径探讨
（一）针对原文引用准确性的优化路径探讨
（二）针对观点理解准确性的原因探析
四、基于本次评估结果的工作流建议
AI基本信息：APP: KIMI 模型：K2.6 Agent提示词：请你仔细阅读18份判决书全文，并根据18份判决书生成一份案例研究报告，报告主题为发起人与未履行或者未全面履行出资义务的股东承担连带责任的条件，第一部分简述结论，包含针对主题的不同观点和各观点概述，第二部分在不同观点下，梳理对应的判决书，可通过表格的方式梳理，包括序号、案号、审理法院、审理时间、观点对应原文摘录。该维度旨在分析AI成果是否在形式上（例如文章结构、格式等）符合提示词要求。形式完成度方面，kimi出具的研究报告除了在结构上自行补充了“研究背景”之外，在整体报告结构和表格形式方面均符合提示词的要求。
（kimi研究报告目录截图 除自行补充“研究背景”外，与提示词要求一致）
（kimi研究报告观点概述节选，与提示词要求一致）
（kimi研究报告观点表格节选，与提示词要求一致）该维度旨在分析AI在梳理客观信息，例如判决书案号、审理法院、审理时间、摘录原文方面是否与判决书原文保持一致。经人工校对AI整理的表格，案号、审理法院、审理时间均整理正确，但原文摘录部分存在个别实质错误。具体如下：1. 将“大侠公司股东”错写为“大股东”，这两个名词在法律上的内涵截然不同。
除上述实质内容错误，还出现个别标点与原文不符的情况，其中部分因引用将原文的双引号改为了单引号，部分则主动将原文的逗号改成了句号。此类改变虽不影响实质内容，但会降低人工复核效率。具体如下：
（三） 资料分析完整性
该维度旨在分析AI的研究范围是否完整包含了全部基础资料而无遗漏，具体到本测试即是否包含了完整18个案例。经人工核对，KIMI报告中包含了17个案例，同时其在生成报告时对于未纳入1个案例的原因给到了说明：“注：（2020）苏01民终4737号判决系诉讼代理合同纠纷，未就发起人连带责任条件进行深入讨论，故未纳入本报告研究范围”。据此， KIMI报告具备资料分析完整性。
该维度旨在分析AI能否准确理解判决书观点，具体到本测试（1）在第一部分总结中对不同观点是否能够进行准确概括；（2）在第二部分不同观点项下的案例是否具备对应性、引用的判决书原文是否能够充分呈现其归纳的观点。经人工核对，KIMI报告在观点理解准确性维度表现如下：1. 第一部分总结中，观点一、二正确，观点三存在错误。对于本研究报告的研究问题，18份判决书的观点可分为两类：（1）根据公司法解释三第十三条第三款，仅在股东在“公司设立时”未履行或未全面履行出资义务时，发起人才承担连带责任（2）无论股东是在“公司设立时”还是“设立后”未履行或未全面履行出资义务，发起人均需承担连带责任。KIMI报告总结的观点一、二对应前述观点，但错误地“无中生有”了第三种观点：“该观点在原则上认同观点一的限定解释立场，但认为在特定情形下应例外地认定发起人承担连带责任。主要例外情形包括：（1）公司进入破产程序，股东出资义务依法加速到期；（2）发起人在公司已有负债不能清偿的情况下转让未实缴股权，具有恶意逃避债务的意图；（3）发起人的资本充实责任不因股权转让而当然免除。该观点试图在保护股东期限利益与防止恶意逃债之间寻求平衡。”2. 第二部分案例梳理中，18个案例中有5个案例出现理解错误。错误案例的分布情况为：观点一项下无错误；观点二项下1个错误案例；观点三（无中生有观点）项下3个错误案例。此外，KIMI主动将1个案例排除研究范围，理由是“系诉讼代理合同纠纷，未就发起人连带责任条件进行深入讨论”，但实际上该案例对于发起人连带责任进行了明确的分析。整体而言，针对KIMI总结正确的观点一、观点二项下的案例理解准确性较高，但仍有错误情况出现；KIMI总结错误的观点三项下的案例理解准确性较低。具体错误情况如下：如上图所示，AI引用的前半句“公司增加注册资本是扩张经营规模、增强责任能力的行为，与公司设立时的初始出资没有本质区别，也是缴纳出资的一种方式”，在判决书原文中对应的争议焦点是“关于对十堰千龙公司不能清偿债务部分，王某1是否应在95万元、刘某在894万元范围内承担补充赔偿责任问题”，即股东是否应对公司债务承担补充责任的问题，并非本研究报告旨在研究的争议焦点（发起人是否应对未履行或未充分履行出资义务的股东承担连带责任）。仍为上图，AI引用的后半句“公司股东若有增资瑕疵，应承担与公司设立时的出资瑕疵相同的责任。”如仅看这个表格，会天然地误以为这句话是判决书观点。但回归判决书原文可知，这句话源自判决书对最高人民法院执行工作办公室在[2003]执他字第33号《关于股东因公司设立后的增资暇疵应否对公司债权人承担责任的复函》的引用，而并非判决书观点。
如上截图，上述案例2、3的原文观点均为无论股东是在公司设立时还是设立后未履行或未充分履行出资义务，发起人均应承担连带责任，对应的是观点二；案例4的原文观点为如股东在公司设立时无实缴出资义务，则发起人无需承担连带责任，对应的是观点一。但KIMI报告将上述三案例统一梳理在观点三项下，将观点三总结为“该观点原则上认可限定解释，但主张在出资加速到期（如破产）、恶意逃避债务等特定情形下，发起人仍需承担连带责任。”属于对判决书原文的理解错误。经第二部分分析，针对判决书分析工作，KIMI报告在形式完成度和资料分析完整性维度表现良好，但原文引用准确性和观点理解准确性维度有待优化。本文尝试通过强化提示词约束的方式进行优化，但效果不佳。具体而言，在同一任务内，再次向KIMI agent 发送指令如下：
请你在刚才生成的研究报告基础上，不修改其他内容，但根据以下要求微调：
1. 表格“观点对应原文摘录”部分，无需整体使用双引号。确保摘录内容与判决书原文保持高度一致，包括标点符号一致。禁止出现将判决书原文中的双引号改成单引号、逗号改成句号等标点符号修改情况。
2. 如摘录时出于篇幅考虑省略部分不相关内容，则必须使用……标注。禁止出现不使用省略号但实际省略了特定内容的情况。
然而，KIMI新生成的报告中，除了删除了表格中统一使用的双引号外，其他标点符号错误、主动省略法条原文的问题仍然存在。不确定是否可通过提示词指令进一步优化解决。由于律师愿意花时间阅读一份AI生成的案例分析报告的基础至少是AI引用的判决书内容是与判决书原文一致的，因此原文引用准确性是一个亟待解决的问题，期待AI专业人士和法律人士对这一问题能够多多交流。对于观点理解出现错误的原因和改善路径，尚需AI专业人员的介入。本文仅能从法律角度猜测错误产生的原因。在本测试中，笔者猜测使KIMI“无中生有”第三种观点的潜在原因在于AI尚不具备辨识不同法律争议焦点的能力，如果“发起人”“出资”“连带责任”等关键词散布在不同争议焦点中，则AI容易产生混淆并据此总结出错误观点。对此，本次测试KIMI报告中的如下错误可以印证：（2）对于在发起人连带责任问题基础上，还存在“出资加速到期”“转让股权恶意逃避债务”等不同争议焦点的案例，更容易出现理解偏差。1. 鉴于本次测试AI在形式完成度维度的出色表现，对于内容确定、仅需进行形式编辑的工作，例如可视化图表制作，可移交AI；2. 鉴于本次测试暴露出AI在引用原文准确性方面尚存不足，凡涉及客观信息整理类AI输出内容，尚需人工复核。如复核时复制检索无法迅速对应原文，可优先排查标点问题；对于如何通过AI提高复核效率同样值得探索；3. 结合本次测试中AI在观点理解准确性维度出现的具体问题，现阶段仅罗列观点而未配套法规、案例等客观依据的AI输出内容可信度不足。针对陌生法律问题，AI回答仅可作为初步检索线索，尚需进一步检索依据。相较于直接输出观点，AI更适配具体判决书梳理总结工作（对应本测试第二模块），本次测试18个案例中虽然出现了5个案例的理解错误，但正确率尚有72%。实务工作中可批量导入判决书交由AI生成“观点+案例表格”的标准化文稿，再由律师人工复核相应判决原文能否支撑相应观点。4. 若案例存在争议焦点繁杂、案由与研究问题关联性低、文书自身逻辑不畅（例如裁判观点和法律依据不对应）的特征，AI发生理解偏差的概率将提升。此类案例可进行事前标注或排除，以提高AI准确率。
本栏目文章为本所为本行业及社会公众提供的公益性普法服务，不属于针对具体事项的法律意见，也不代表本所针对具体个案的意见或观点。
