CodeToon自动创建故事和漫画的工具

加拿大滑铁卢大学的三位研究人员最近开发了一种独特的漫画创作工具，可以根据代码自动创建故事和漫画。这个名为CodeToon的系统可以为代码驱动的讲故事开辟有趣的可能性，即使用计算代码创建新故事的过程。

作者之一SanghoSuh提出了CodeToon的想法，然后在EdithLaw教授的监督下与他的同事赵健合作进行了开发。他们的论文将在几周后的ACM用户界面软件和技术(UIST)研讨会上发表，这是人机界面创新的主要论坛，它建立在他们团队之前的一些努力的基础上，包括开发一个名为CodingStrip的教学工具和另一项利用生成式对话AI教授计算思维的研究。

“我们发现使用漫画是教授抽象编程概念的有效手段，但制作漫画既乏味又耗时，”进行这项研究的研究人员之一赵健告诉TechXplore。“我们还发现了先进AI技术在自动化该任务的某些步骤方面的机会。因此，我们构建了CodeToon，这是一种漫画创作工具，可促进这种由代码驱动的故事讲述过程。”

CodingStrip是之前由SanghoSuh和他在滑铁卢大学的同事创建的教学工具，专门设计用于使用漫画教授编程概念。CodeToon通过自动创建可用于培训计算机科学专业学生的基于代码的漫画和故事，将这一想法更进一步。

“受抽象阶梯及其与计算思维的关系的启发，编码条帮助学习者在抽象的具体(漫画)和抽象(代码)级别之间移动，”进行这项研究的研究人员之一SanghoSuh告诉TechXplore。“然而，创建编码条可能既费时又费力，因此该项目的主要目标是使创作过程更加高效和轻松。”

CodeToon可以通过两种不同的方式促进代码驱动的故事讲述。首先，它可以使用代码自动生成故事模板。随后，该工具可以根据这些基于代码的故事模板生成漫画。

“CodeToon是一种交互式智能漫画创作工具，支持创作者从代码生成故事(代码→故事)和从故事(故事→漫画)设计漫画，”赵和苏说。“由于漫画准确地代表了代码语义和执行过程，它使学习者能够以一种引人入胜且有效的方式学习计算概念和过程。”

研究人员在一项由两部分组成的用户研究中评估了他们的漫画创作工具的有效性。在第一部分，24位对编程有基本了解的参与者被要求使用CodeToon或使用一系列模板来创建故事创意并生成匹配的漫画。随后，所有参与者都参加了一次简短的采访，他们被问到什么对他们有效，什么无效。

在评估的第二部分，20名能够阅读和理解Python代码的参与者被要求查看8个编码条(使用CodeToon或一系列模板创建)，并就它们与代码的映射情况分享他们的意见，图解编码概念，以及他们认为它们对教学有多大用处。

根据采访反馈，大多数参与者认为将代码一对一映射到故事和漫画可能是一种有效的教学策略，尤其是在使用漫画替代表示代码时。此外，那些使用CodeToon生成漫画的人分享了关于其在创建基于代码的故事和漫画方面的表现的积极反馈。

“我们的研究结果证实了以前关于多重表征系统的文献，它建议明确多重表征之间的映射，”赵说。“我们的见解还揭示了其他研究领域，例如数据和统计漫画，它们也可以利用这种方法自动生成漫画，用于在其领域中学习和教授概念。”

值得注意的是，Suh、Zhao和Law介绍了一种看待代码的新方法，可能会产生有趣的影响。将来，同样的想法可能会应用于其他计算和数学语言。例如，未来的研究可以探索基于数学方程式生成漫画和故事的可能性。

“从表面上看，我们研究最显着的成就可能是从代码生成漫画的有效过程，”Suh说，“但在更深层次上，我认为这是代码驱动的故事讲述的概念。在CodeToon，代码驱动讲故事：代码的抽象结构体现了if-else逻辑结构等计算思想，成为故事和漫画的结构。换句话说，代码决定了故事的顺序和整体情节。

由Suh、Zhao和Law创建的工具很快就会在大学和学院中使用，以使学习编码更具吸引力。因此，研究人员希望在未来将他们的工具部署在真实的课堂环境中，以更好地评估其实用性。此外，他们计划研究使用GPT-3和Codex等生成式深度学习模型来填补故事和代码中的任何空白的可能性。

“例如，基于画布上的图纸，系统可以生成新图纸以添加到现有漫画中并实时提供设计指导，”赵解释说。“另一个可能的研究方向是通过更多样化的草图和漫画资源、更多的定制和灵活性以及对更多编程语言的支持来增强创作过程。”

在他即将进行的研究中，Suh还想研究使用数学语言来推动讲故事的可能性。这最终可以改善讲师和学生理解抽象概念、复杂方程式和程序的方式。

“我们计划在接下来的研究中探索许多令人兴奋的研究方向，”Suh补充道。“一个是进一步改进CodeToon，例如，确保它支持其他编程语言和功能。另一个是研究如何使用CodeToon将艺术融入编程教育。”