基于生成式因果语言模型的水印嵌入与检测

doi:10.11959/j.issn.1000-0801.2023179

电信科学 ›› 2023, Vol. 39 ›› Issue (9): 32-42.doi: 10.11959/j.issn.1000-0801.2023179

• 专题：网络智能化与生成式人工智能 • 上一篇

基于生成式因果语言模型的水印嵌入与检测

刘明录, 郑彦, 韩雪, 袁向阳, 邓超

中国移动通信有限公司研究院，北京 100053

修回日期:2023-09-04 出版日期:2023-08-01 发布日期:2023-08-01
作者简介:刘明录（1987- ），男，中国移动研究院人工智能与智慧运营中心算法研究员，主要研究方向为自然语言处理、知识图谱等
郑彦（1993- ），男，中国移动通信有限公司研究院人工智能与智慧运营中心算法研究员，主要研究方向为大型语言模型及模型的可解释性、公平性
韩雪（1981- ），女，博士，现任中国移动通信有限公司研究院人工智能与智慧运营中心研究科学家，主要研究方向为NLP和多模态融合技术
袁向阳（1978- ），男，中国移动通信有限公司研究院人工智能与智慧运营中心副总经理，主要研究方向为BSS、OSS等 IT支撑系统及AI技术在网络智能化中的应用
邓超（1978- ），男，中国移动通信有限公司研究院人工智能与智慧运营中心常务副总经理，主要研究方向为人工智能、通信网络智能化、大数据和 IT 技术研发

Watermark embedding and detection based on generative causal language model

Minglu LIU, Yan ZHENG, Xue HAN, Xiangyang YUAN, Chao DENG

China Mobile Research Institute, Beijing 100053, China

Revised:2023-09-04 Online:2023-08-01 Published:2023-08-01

摘要/Abstract

摘要：

基于人工智能内容生成（AIGC）技术生成文本具有道德、法律的合规性风险，需要对生成文本内容的流通进行规范和监管，因此对 AIGC 生成文本版权保护的迫切需求随之出现。水印技术是目前使用最广泛的数字版权保护方式。提出了一种应用于生成式因果语言模型的生成文本的水印添加技术，采用事中水印嵌入的方式在文本生成过程中隐式地嵌入文本水印特征编码，相较于传统事后水印添加技术对生成文本质量影响小，具有低感知、透明、鲁棒等优点。实验结果表明，提出的水印嵌入策略具有较好的鲁棒性，经过用户一定程度的编辑后仍旧能有效检出文本嵌入水印。与原有生成策略进行对比，所提方法与现有模型耦合度低，无须调整原有模型结构、训练策略、部署方式，不增加原有生成过程计算成本。

关键词: 人工智能内容生成, 因果语言模型, 数字水印, 数字版权

Abstract:

Artificial intelligence generated content (AIGC) generated text itself carried moral and legal compliance risks, and the circulation of generated text content need to be regulated.Therefore, there was an urgent need for copyright protection of AIGC generated text.Watermarking technology was currently the most widely used method for digital copyright protection.A watermark embedding technology was proposed for generating text using generative causal language models.An in-process watermark embedding method was adopted, which implicitly embeded text watermark during the text generation process.Compared to traditional post-process watermark embedding technology, it had less impact on the quality of generated text and had advantages such as low perception, transparency, and robustness.The proposed method has low coupling with existing models and can eliminate the need to adjust the original model structure, training strategies, deployment methods, and increase the computational cost of the original generation process.Through experimental results, the proposed watermark embedding strategy has good robustness and can effectively detect text embedded watermarks even after a certain degree of editing by users.

Key words: AIGC, generated causal language model, digital watermark, digital copyright

中图分类号:

TP181

刘明录, 郑彦, 韩雪, 袁向阳, 邓超. 基于生成式因果语言模型的水印嵌入与检测[J]. 电信科学, 2023, 39(9): 32-42.

Minglu LIU, Yan ZHENG, Xue HAN, Xiangyang YUAN, Chao DENG. Watermark embedding and detection based on generative causal language model[J]. Telecommunications Science, 2023, 39(9): 32-42.

图/表 12

图1

图2

表1

表2

图3

图4

表3

图5

表4

水印可读性阈值对生成文本的影响"

$λ_{read}$	F1	精确率	召回率	PPL均值	PPL均值变动百分比	水印回答参考无水印回答BLEU
无水印				18.67
0	99.00%	98.35%	100%	19.92	6.67%	67.26%
0.1	85.80%	75.13%	100%	19.45	4.16%	75.11%
0.3	77.91%	63.82%	100%	19.17	2.69%	77.66%
0.5	75.12%	60.15%	100%	18.89	1.18%	80.83%

表4

图6

表5

表6

参考文献 16

[1]	刘豪, 孙星明, 刘晋飚 . 基于字体颜色的文本数字水印算法[J]. 计算机工程, 2005,31(15): 129-131.
	LIU H , SUN X M , LIU J B . Color-based watermarking algorithm for text documents[J]. Computer Engineering, 2005,31(15): 129-131.
[2]	王慧琴, 李人厚 . 二值文本数字水印技术的研究与仿真[J]. 系统仿真学报, 2004,16(3): 521-524.
	WANG H Q , LI R H . A binary text digital watermarking algorithm[J]. Journal of System Simulation, 2004,16(3): 521-524.
[3]	周新民, 孙星明, 刘超 . 基于汉字结构知识的鲁棒性公开文本水印[J]. 计算机工程与应用, 2006,42(8): 165-167,169.
	ZHOU X M , SUN X M , LIU C . Robust public text watermarking based on structure knowledge of Chinese characters[J]. Computer Engineering and Applications, 2006,42(8): 165-167,169.
[4]	张宇, 刘挺, 陈毅恒 ,等. 自然语言文本水印[J]. 中文信息学报, 2005,19(1): 56-62,70.
	ZHANG Y , LIU T , CHEN Y H ,et al. Natural language watermarking[J]. Journal of Chinese Information Processing, 2005,19(1): 56-62,70.
[5]	林建滨, 何路, 李天智 ,等. 一种抗攻击的中文同义词替换文本水印算法[J]. 西北大学学报(自然科学版), 2010,40(3): 433-436.
	LIN J B , HE L , LI T Z ,et al. An anti-attack watermarking based on synonym substitution algorithm for Chinese text[J]. Journal of Northwest University (Natural Science Edition), 2010,40(3): 433-436.
[6]	傅瑜, 王保保 . 文本水印附加空格编码方法的实现及其性能[J]. 长安大学学报(自然科学版), 2002,22(3): 85-87.
	FU Y , WANG B B . Extra space coding for embedding wartermark into text documents and its performance[J]. Journal of Chang’an University (Natural Science Edition), 2002,22(3): 85-87.
[7]	张震宇, 李千目, 戚湧 . 基于不可见字符的文本水印设计[J]. 南京理工大学学报(自然科学版), 2017,41(4): 405-411.
	ZHANG Z Y , LI Q M , QI Y . Text watermarking design based on invisible characters[J]. Journal of Nanjing University of Science and Technology, 2017,41(4): 405-411.
[8]	RADFORD A , NARASIMHAN K . Improving language understanding by generative pre-training[Z]. 2018.
[9]	ZENG A , LIU X , DU Z ,et al. GLM-130B:an open bilingual pre-trained model[J]. arXiv preprint, 2022,arXiv:2210.02414.
[10]	Wikipedia. Beam search[Z]. 2023.
[11]	OUYANG L , WU J , JIANG X ,et al. Training language models to follow instructions with human feedback[J]. arXiv preprint, 2022,arXiv:2203.02155.
[12]	Wikipedia. Edit_distance[Z]. 2023.
[13]	YUAN S , ZHAO H Y , DU Z X ,et al. WuDaoCorpora:a super large-scale Chinese corpora for pre-training language models[J]. AI Open, 2021(2): 65-68.
[14]	GitHub. CLUE[Z]. 2023.
[15]	DU Z , QIAN Y , LIU X ,et al. GLM:general language model pretraining with autoregressive blank infilling[J]. arXiv preprint, 2021,arXiv:2103.10360.
[16]	BROWN T , MANN B , RYDER N ,et al. Language models are few-shot learners[J]. Advances in Neural Information Processing Systems, 2020(33): 1877-1901.

数据集	样本量/个	平均句子数/个	平均token量/个
WuDaoCorpora2	200	25	734
CLUEbenchmark	200	31	826

参数名	参数值	备注
prior_len	4	导引句子长度
beam search	6	候选子句数量
top_k	90
重复生成惩罚	0.9
停止符	‘。’
水印长度	4、6、8、12
Lambda_read	0.5、0.3、0.1、0.01
随机编辑比例	10%、20%、30%

随机编辑比例	F1	精确率	召回率
10%	98.34%	96.75%	100%
20%	90.85%	83.25%	100%
30%	69.49%	53.25%	100%

对比项	水印嵌入对比无水印嵌入生成每个token的平均时间比	T检验P值
4	1.001 4	0.171
6	1.002 4	0.248
8	1.001 48	0.116
12	1.017	0.233

基于生成式因果语言模型的水印嵌入与检测

Watermark embedding and detection based on generative causal language model

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 16

相关文章 3

Metrics

推荐阅读 0

[1]	周自飞,谭小彬,牛玉坤,邹长春. 信息中心网络中授权视频访问控制[J]. 电信科学, 2014, 30(9): 53-60.
[2]	杨培,张室贤. 支持互操作的移动DRM系统研究[J]. 电信科学, 2009, 25(3): 49-53.
[3]	黄继海,黄建华,，李海涛,林强. 一种可运营的P2P媒体分发系统的设计[J]. 电信科学, 2007, 23(8): 66-70.