neosync

开源数据匿名和合成数据编排

|网站|文档|不和谐|博客| ChangElog |路线图

介绍

NeoSync是一种开源的开发人员，首先是匿名PII，生成合成数据和同步环境，以更好地测试，调试和开发人员体验。

公司使用NeoSync来：

1. 安全测试针对生产数据的代码- 匿名化敏感生产数据，以便在本地安全地使用它来进行更好的测试和开发人员体验
2. 轻松在本地重现生产错误- 匿名和子集生产数据，以获取一个安全的代表性数据集，您可以用来快速有效地在本地重现生产错误
3. 低级别环境的高质量数据- 当您用类似生产的数据与阶段和质量保证环境进行水分时，捕获虫子在产生生产之前。
4. SOLVE GDPR，DPDP，FERPA，HIPAA等- 使用匿名和合成数据来降低您的合规范围，并轻松遵守HIPAA，GDPR和DPDP等法律
5. 种子开发数据库- 带有用于单元测试，演示等的合成数据的种子开发数据库

特征

• 根据您的模式生成合成数据
• 匿名化现有生产数据以获得更好的开发人员体验
• 使用任何SQL查询来为本地和CI测试子设置生产数据库
• 完整使用事件制品模型自动处理作业重试，失败和播放的异步管道
• 自动的参考完整性
• 宣告性的基于Gitops的配置是CI管道中的一步，以补充CI DB
• 所有主要数据类型的预先构建的数据变压器
• 使用JavaScript或LLMS的自定义数据变压器
• 与Postgres，MySQL，S3的预构建集成

入门

NeoSync是一个完全模拟的设置，可以轻松启动和运行。

root的compose.yml文件包含生产图像参考，该图像可以使您只需几个命令即可启动和运行，而不必在系统上构建任何内容。

NeoSync使用较新的docker compose命令，因此请确保将其安装在计算机上。

要启动NeoSync，请将存储库克隆到本地目录中，请确保安装和运行Docker，然后运行：

make compose/up

要停止，运行：

make compose/down

NeoSync现在将在http：// localhost：3000上提供。

制作构成了带有连接和工作的预种子，让您入门！只需运行生成和同步作业即可观看NeoSync的行动！

kubernetes，auth模式等

有关环境变量，Kubernetes部署和准备生产的指南的更多深入详细信息，请查看我们文档的部署NEOSYNC部分。

资源

一些资源来帮助您：

• 综合文档和指南的文档
• 与社区和NEOSYNC团队讨论的不和谐
• X用于最新更新

贡献

我们喜欢大小的贡献。这只是您可以为NeoSync做出贡献的几种方法。

• 加入我们的Discord频道，在那里问我们任何问题
• 打开PR（请参阅我们在本地使用NeoSync开发的说明）
• 提交功能请求或错误报告

许可

我们坚信免费和开源软件，并根据MIT Expat许可证提供此存储库。