215 / 2024-09-05 20:06:53
漫游绮旅
全文待审
王天承 / 山东大学(威海)
黄照晗 / 山东大学(威海)
王建清 / 山东大学(威海)
王珑清 / 山东大学(威海)
孙怡飞 / 山东大学(威海)
漫游绮旅是一个革命性的漫画创作辅助软件,以降低漫画创作门槛、提升创作效率和作品质量为目标,面向广大非专业用户群体,通过集成前沿的AI技术和AR、VR技术简化漫画的创作流程,使其能够轻松创作个性化的漫画作品,一站式表达自我情感。

功能设计方面,漫游绮旅具备智能剧本生成、XR故事场景打造以及漫画生成与修改三大核心功能,以帮助广大普通用户随心创作属于自己的漫画故事。技术方面,项目采用了深度学习和自然语言处理技术,实现了智能剧本生成和AI渲染功能;本项目的核心亮点——XR漫画场景打造功能使用Point-E工具和Mesh网格技术对用户创作好的剧本进行AI建模,并运用SharpZipLib进行模型的压缩和解压缩,以确保模型的高效传输和加载,最后用使用OBJ格式存储和交换3D模型,通过Unity3D平台进行动态加载和展示,让用户可以在AR空间中自由地摆放故事场景中描述的物体、人物或景色的模型,也可以在对应的VR空间中设计更具有视觉冲击力的分镜,最终拍摄下来,经过项目处理后形成角色场景一致性高、自然且有冲击力的漫画作品。

此外,项目项目采用基于Unity前端的算法和LineRenderer工具生成对话气泡,利用潜在扩散模型(LDM)和图像生成技术实现特效生成,并自主构建UI框架以确保用户友好性,提升漫画生成质量。

与现有AI漫画辅助漫画生成工具相比,团队通过AI建模技术与XR故事场景打造的设计,让用户可以更加自由、快速地进行漫画故事分镜中所描绘的场景编辑,三维模型的形状可控性可以完美保证画面的一致,由XR空间中相机拍摄带来自然透视感也得以在漫画中展现。通过引入XR技术,漫游绮旅得以使用户能够在一个沉浸式的三维空间中设计和调整故事场景,所见即所得,提供一种全新的视觉叙事和创作的方式;可视化的漫画场景调整以及大众对三维空间天然的熟悉感也可以极大降低用户的上手难度。

此外,团队设计了针对漫画创作的AI智能体,其能够自主决策,简化创作过程,提高灵活性和智能性的同时,可利用其记录和分析用户的使用习惯,改善用户体验;团队还利用Hyper-SD模型开发了一套AI渲染系统,可以进行微调和3D分层渲染,优化漫画的前中后景调整,降低用户上手的学习成本。

前景方面,项目生活应用广泛,用户市场庞大,可应用于个人创作、自我表达、科普教育宣传和亲子互动等众多生活场景。此外,项目还具有极强的落地性和扩展性,项目自研的架构能够兼容各种大模型,易于后续计划中的商业推广和应用,随着社交模式的流行,还有望在未来拓展为一个集创作和分享于一体的新型网络平台。
重要日期
  • 会议日期

    10月30日

    2024

    10月31日

    2024

  • 11月30日 2024

    初稿截稿日期

主办单位
中国虚拟现实大赛组委会
中国虚拟现实大赛指导委员会
承办单位
长春大学
VR中国
联系方式
历届会议
移动端
在手机上打开
小程序
打开微信小程序
客服
扫码或点此咨询