随着经济全球化的不断发展，非结构化数据的种类和应用场景越来越多，据不完全统计，非结构化数据现已占各类企业数据的80%以上，并且以每年55%-65%的速度增长。高益科技所服务的不少客户中，就有不少客户存在这类问题，他们对于客户非结构化资料的管理分散在各个业务系统中，管理及调阅难度较大。特别是一些全球化的公司，分支机构遍布全球，随着公司发展，各区域数据量快速增大，跨区域数据调度频繁，并且随着数据丰富性，各类音视频、图片、文档等在线调阅，加工编辑需求加剧。此时，他们需要有人为他们提供一整套管理平台，实现全球附件数据的共享、调度、预览、加工为一体的解决方案。

随后，该公司引入高益科技内管管理平台整体解决方案，实现分区域分集群的附件资源管理。通过网络层面实现就近访问，各区域均实现高效文件读写、下载。非结构化内容管理平台作为企业客户影像资料与内容存储系统，为企业提供统一的影像数据采集、影像调阅、影像传输、影像存储等功能，实现企业级影像数据的集中管理和存储，对外提供统一的影像服务。

高益科技为其提供非结构化内容管理平台，其高可用、高性能、非结构化的分布式索引服务，通过内容检索、替换现有75+的索引库，实现数据共享，业务灵活支撑，标准化预览、调阅组建，实现文件调阅丰富体验。提供异步化调度，各区域数据实现同步。通过内容存储，兼顾支持各类存储系统，如云存储、对象存储、文件系统等，数据读写通过内容管理平台直接访问存储介质，避免了多处缓存及搬运；同时分布式对象存储实现数据的高可用和数据访问的高性能。高低搭配，实现冷热数据的合理分布，自动归档。

本项目包括以下内容：按客户号存储、多种接入方式、离线数据管理功能、批量接口能力、渠道控制能力、架构横向扩展支持等。各功能模块具体说明如下：

1、按客户号存储

各业务系统上传影像时，如涉及客户信息，必须上传客户号，同步根据业务种类上传对应的影像类型，如客户身份信息类、账户类、交易类等，支持按客户号、影像类型、流水号、账号等多纬度实现影像精准查询。

2、多种接入方式

支持API接口、Web端、控件、移动端（SDK、H5）等多种接入方式，方便业务系统接入非结构化平台，支持影像的采集、加工、展现，支持JPEG、PNG、DOC、PDF等多种影像和文件格式。具体影像处理功能如图2所示：

影像扫描：能够驱动主流厂商的各类中高低速扫描仪将纸质凭证采集为电子影像，支持分散扫描和集中扫描两种模式，允许业务员手工将不同套号的单据绑定在一笔交易中，在扫描过程中如扫描错误或不清晰的影像，能够提供重扫的功能，并确保重扫后数据仍归入同一批次交易。

影像导入：支持影像文件TIF、JPG、PDF文件导入内容管理平台，同时支持非影像文件word文件等导入。能够支持多种图像格式的显示，多版本的保存。

影像处理：支持图像增强、去底纹、去黑边、去斑点、纠偏、顺序调整，影像文件的影像文件的插入、添加、替换、删除、旋转功能。

影像展现：以缩略图方式支持查询、调阅影像文件。

影像压缩：支持照片类和公文类图像的压缩，支持快速压缩和高压缩比，降低存储的开销和网络传输的成本。

影像识别：支持自定义识别模板、支持二维码、条形码识别功能。

影像安全：主要通过添加水印，防止图像被非法攥改，防止影像信息泄密，防止前台通过非正常途径采集图像。提供全面的管理工具，对内容的访问和使用能够进行多层次的许可、控制和监督；对于保存在平台中的同一内容，不同的用户可以配置不同的权限；根据其拥有的权限的不同，可以限制不同用户对同一平台对象的操作能力；提供用户、组、对象级别的安全控制；具备日志管理功能，对敏感操作进行跟踪与记录；支持用户身份认证、加密传输等安全管理功能。

影像对比：实现多个影像分区域展现，对比，在同一屏幕下实现多张影像的比对识别功能。

影像标注：能够对影像进行标注，对标注的影像，下一环节能够看到上一环节的标注；系统能自动记录标注人、标注时间、标注内容（包括：字体、颜色）等。

3、离线数据管理功能

为了保证非结构化平台具备足够高的整体性能，合理利用系统资源，需要开发离线数据管理功能。接入的非结构化数据可按业务类型或业务流水设置有效期，到期后平台批量将结构化数据迁移至历史表，非结构化数据离线处理，并提供离线内容的管理和查询功能。

4、批量接口能力

针对部分数据量大、时效性要求低或归档备份类业务，平台提供批量上传的接口，系统空闲时自动触发入库处理，实现单次交互完成多笔流水数据提交，与实时处理通道隔离，不影响实时提交业务，保证个贷、信贷等重要系统的重要业务优先处理。并提供批量任务的查询和管理能力。

5、渠道控制能力

平台接入时具备渠道概念，可按接入系统或业务类型划分渠道。按渠道分配处理资源（处理线程数、每天最大批次数等），且支持动态配置。渠道具有隔离功能，单一渠道出现异常后，可及时隔离，不波及到其他渠道。渠道具有权限控制能力，包括查询，下载，API上传、扫描上传等权限控制，支持动态配置。

创新点

非结构化内容管理平台，实现以客户为中心的影像存储，多纬度检索能力支持。架构上实现横向扩展，处理能力可按需扩展。对平台级功能进行优化，接入渠道上增加移动端的影像操作支持，满足PAD,手机等移动端接入需求，丰富企业的业务解决方案。最终提升企业对非结构化数据的管理能力，更好地服务于各部门业务系统。

1、实现以客户为中心的非结构化数据的统一管理，支持按客户号查询该客户在企业各系统内的所有影像资料，同步支持按系统、资料类型、账号、业务流水号、客户名称、证件号码等多条件查询影像信息，并分批逐步完成存量影像补上传客户号、资料类型等工作，为企业管理体系的建设提供非结构化数据支撑。

2、影像全生命周期管理，新平台中增加回收站和图片拖拽功能，在指定业务提交前由有权人负责审核影像资料，对于上传错误或重复的影像提供拖拽功能，有权人可将错误的影像拖至回收站内，提高影像存储的准确性；增加影像标记和影像轨迹查询，在指定环节由有权人对已审核通过的影像进行标记，如已验印、已确认、已核验等，审核人员可根据影像标记进行选择性调阅影像，满足不同岗位审核人员的需求，提升审核人员工作效率。

3、实时传输、数据共享，打破信息孤岛，通过批次自定义查询接口可以查看全行身份类、账户类、交易类影像，通过文件自定义查询接口可以查看指定类型文件的影像，为全行影像共享提供查询接口。

4、支持多渠道上传和在线查看功能，支持API接口、Web端、控件、移动端（SDK、H5）等多种接入方式，方便业务系统接入非结构化平台，支持影像的采集、加工、在线查看，支持JPEG、PNG、DOC、PDF等多种影像和文件格式。

5、支持视频音频在线播放：对于部分业务如面签核保等需要上传和在线查看视频音频，在新非结构化内容管理平台项目中得以实现在线播放视频音频。

项目成效

非结构化内容管理平台，实现客户纬度影像存储、检索能力支持。架构上实现横向扩展，处理能力可按需扩展。平台级功能进行优化，增加接入渠道丰富了企业业务解决方案。最终提升企业对非结构化数据的管理能力，更好地服务于各业务系统。

经验总结

项目启动前征集总分行各业务部门的需求和痛点，并在平台开发过程中进行实现业务系统对于非结构化资料上传及查阅的要求，形成以客户为中心的非结构化数据的统一管理，为企业以客户为中心反洗钱管理体系的建设提供非结构化数据支撑。加强影像全生命周期管理，提高影像存储的准确性，根据影像标记进行选择性调阅影像，满足不同岗位审核人员的需求，提升审核人员工作效率。平台上线运行后持续收集用户意见及建议，不断优化系统功能，提升用户体验。

以内容管理平台构建了全公司内部附件共享平台，实现了非结构化文档资源的统一化管理。针对跨区域文件调度能力，实现整体服务资源有效调度、优化，提升内部工作效率。通过丰富的附件处理能力对文档进行深度处理，如剪裁、水印、缩略图等，有效控制了文件的安全性和便利性。高益科技以专业化能力和场景化应用，为客户提供更加专业的服务。