ChessCoach下载ChessCoach源代码下载

ChessCoach

C/C++

1.0.0

下载

切斯科赫

@PlayChessCoach在LICHESS上：观看|统计|挑战（1+0或0+1最多15+10）

概述

Chesscoach是一种基于神经网络的国际象棋引擎，能够进行自然语言评论。它以大约3450 ELO的评分下棋，这意味着它通常应该击败2850 ELO和许多其他发动机，但通常会损失最强的发动机，例如3550 ELO的Stockfish 14。

与所有发动机一样，Chesscoach依靠检查数百万个国际象棋位置来决定最佳比赛。它使用一个大型，慢的神经网络，例如Alphazero或Leela Chess Zero（LC0）来评估每个位置，与经典的发动机不同，它旨在以更简单的评估或更新的NNUE发动机进行速度，或者是两种样式的更强混合物。

发动机核心的神经网络通过对抗自身的训练，使用反馈周期从几乎为零的知识开始 - 只是国际象棋的规则 - 并学习新的方法来击败自己，随着它的增长越来越强。更强的神经网络评估可以使其更好地搜索，并且更强大的搜索结果使其更有效地训练其神经网络评估。

Chesscoach还可以将其国际象棋知识提供给其他神经网络，以评论英语的动作和位置。这不是很有见地的，而且经常是错误的，但是对它能够继续训练的有限数据显示出一些希望。

内容

概述
动机
比较
结果
测量
文档
程序
文件
安装
- 预安装
- Linux（Debian/Ubuntu），GPU
- Linux（Debian/ubuntu），旧式TPU
- Linux（Debian/Ubuntu），较新的云TPU VM
- Windows，GPU
- 后安装
- linux，Google云存储支持后安装
- linux，安装后的集群支持
用法
运行测试
- Linux
- 视窗
致谢
执照
接触

动机

我开始开发Chesscoach作为一个为期两个到三个月的项目，以了解我是否喜欢机器学习，并最终将事情带到了我的预期。最初的计划具有三个过于雄心勃勃的目标：复制一个小型的α型引擎，在培训反馈周期中增加了自然语言评论，并在单个GPU工作站上进行了一定程度的培训。

经过一年多的发展，我几乎无法在培训方法上取得进展。但是，我对Chesscoach产生的评论感到满意，考虑到所有因素，并对发动机的最终实力感到惊讶。

我很幸运能提供这么多公共资源，包括免费的云计算和免费的论文，讨论和数据。我也非常感谢许多为重要的澄清，讨论和调试提供帮助的人。

比较

Chesscoach核心的国际象棋引擎与Alphazero（Silver等人，2018年）或LC0（Linscott＆Pascutto，2018年）非常相似，在神经网络，培训时间表和搜索算法的结构中，但具有实际的，工程的方法，可以使您有必要，从而缺乏一支更大的团队的广度和深度研究才能。但是，我希望有一些新想法可以在其他地方有用。

The natural-language commentary piece is most like the work of Learning to Generate Move-by-Move Commentary for Chess Games from Large-Scale Social Forum Data (Jhamtani, Gangal, Hovy, Neubig & Berg-Kirkpatrick, 2018) and Automated Chess Commentator Powered by Neural Chess Engine (Zang, Yu & Wan, 2019), but relies on a more heavily trained chess engine and larger training语料库，尽管具有更简单的架构。

结果

Chesscoach的设计虽然很少和便携。它在Linux和Windows上运行，并支持单GPU，多GPU和张量处理单元（TPU）。面向性能的代码在C ++（10.5k行）中，神经网络代码在Python（3.7k行），依赖于TensorFlow 2。Stockfish代码用于位置管理，移动生成和最终游戏游戏表键探测，但不用于搜索或评估。根据Alphazero计划的4400万场比赛和700,000个培训批次，分别为4,096个职位，在Chesscoach项目中已经完全生成了自我游戏培训数据。

Alphazero以外的一些想法，但存在于文学和Katago（Wu，2020年）和LC0等项目中（通常我认为我正在尝试新事物，但事实证明LC0的聪明人几乎尝试了一切）。其中包括提供伴侣，最终游戏桌探测器，最小值最小值，随机重量平均（SWA），指数加权的移动平均值（EWMA），各种勘探激励措施，预测缓存，辅助训练目标和知识蒸馏。

我相信有些想法是新的。第一个是一种搜索方法，旨在避免战术陷阱，并通过线性探索和选择性反向传播来最大程度地减少简单的遗憾，这是通过消除 - sble-puct应用的。第二个是一种简单的神经结构，用于对位置的自然语言评论，并与核心采样（TOP-P）的调整相结合，重点介绍了正确性 - covet variety-covet采样。

结果是一套下棋，训练神经网络，优化参数，测试强度，过程培训数据，视图和调试训练数据，组织培训数据，单位测试和坐标簇的工具。为了结束该项目，可以在https://lichess.org/@/playchesscoach上设置一个机器人，以与挑战者和其他机器人一起玩游戏，并向观众提供评论。

测量

在较新的V3-8 Cloud TPU VM上：

大约在40/15时间的近似锦标赛ELO评分为3535，在300+3时间为3486，在60+0.6时间为3445，与Stockfish 14，带8个线，8192 Hash，3-4-5 Syzygy，固定为3550 ELO（详细信息）
每秒125,000个节点（NPS）（68,000-141,000，位置）（详细信息）
每小时2,360场自我玩游戏（有很多改进的空间）（详细信息）
3317 STS ELO估计（通常与参数变化3260-3350）（详细信息）
117/199 Arasan21分数（通常与参数变化118-126）（详细信息）

文档

高级解释
技术解释
发展过程
数据

程序

Chesscoachuci是国际象棋引擎本身，实现了通用国际象棋接口（UCI）协议。
Chesscoachtrain是该项目的核心，生成了自我游戏数据并培训神经网络。
Chesscoachoptimizeparameters用于使用贝叶斯优化通过Scikit-Optimize（Skopt）来找到影响国际象棋强度的参数的全局最佳。
Chesscoachstrengthtest以扩展位置描述（EPD）格式运行位置和战术测试套件，并给出得分，有时是评级估计值。
Chesscoachpgntogames处理可移植游戏符号（PGN）格式的现有游戏集合，并为主要神经网络或评论培训数据生成监督的培训数据。
Chesscoachgui（仅Windows）启动了Web用户界面，以通过国际象棋板分析培训数据。相同的接口可以通过运行切斯科奇（Chesscoachuci）而不是切斯科赫（Chesscoachgui）并在搜索前输入gui命令来实现引擎搜索。
ChessCoachTest在配置，游戏，MCT，网络，PGN，PoolAllocator，PredictionCache和Stockfish类别中运行36项测试套件。
Chesscoachbot在lichess平台上运行了一个机器人，玩游戏并根据https://github.com/shailchoksi/lichess-bot提供了评论。
集群/下/run/kill.sh是管理较老式的TPU的Kubernetes群集并在Google Cloud上计算VM的脚本，并通过Google存储进行协调，以生成大量的自我播放数据并培训该数据。
Alpha.py是一个管理一组较新的云TPU VM的脚本，目前可通过Preview，但在代码中称为Alpha TPU VM 。这些使用速度更快，更易于使用，但目前缺乏Kubernetes支持，而需要SSH争吵。
GSCLEAN.PY是一个简单的脚本，用于使用Delete版本<= 29等谓词在Google Cloud Storage中清理神经网络训练点和Docker图像。
Scrape.py是一个使用CrapingBee服务的脚本，下载带有评论的公开出售国际象棋游戏。
uci_proxy_client.py，uci_proxy_server.py是允许在远程计算机上运行国际象棋引擎的脚本，就好像它在本地计算机上一样。这对于使用TPU的锦标赛很有用，因为每个加速器芯片只能通过一个过程保存，并且还允许使用群集加速参数优化。这些实际上只是标准输入/输出代理，并且不做UCI特定的任何事情。
Docker-Build-upload.sh是一个脚本，该脚本构建用于训练/自我播放群集和分布式参数优化簇的Docker Image。这些图像被上传到Google容器注册表（GCR），并由旧式群集 - *。SH（通过群集 - *。YAML）和用于集群管理的较新风格的Alpha.py脚本进行引用。

文件

一些关键文件位于根部，包括config.toml驱动大多数工具，并从C ++和Python代码中读取。 Meson.build定义Linux构建，以及CPP/Chesscoach.sln和CPP/**/*。vcxproj定义Windows构建。 setup.sh/.cmd和build.sh/.cmd脚本自动设置和构建，尽管需要其他步骤。根源的Dockerfiles定义了每个群集工人角色的图像，而Docker - *。SH脚本有助于构建和上传这些图像。

在群集目录中，.SH/.YAML文件在较旧式的TPU上管理Kubernetes群集，而PY/Alpha.py在较新的云TPU VMS上管理群集。

CPP目录包含C ++代码，主要在CPP/ChessCoach中。 Chesscoach C ++代码主要以性能为导向。第三方库包括CPP/CRC32C，CPP/HUNSPELL，CPP/NOMPY，CPP/PROTOBUF-3.13.0，CPP/Stockfish，CPP/TCLAP，CPP/TOML11和CPP/Zlib。第三方数据包括CPP/词典和CPP/强度测试。使用高级软件包工具（APT）安装了其他第三方C ++库，并由Linux上的Meson Build System发现，并在Windows上使用Nuget安装和发现。 CPP/Protobuf库是使用ProtoC工具和CPP/Protobuf/Chesscoach.proto来生成的。

PY Directory包含Python代码，由C ++通过Network.py访问，也包含一些独立的脚本工具。 Chesscoach Python代码主要与神经网络和云存储有关。使用PIP安装其他第三方Python库。

JS目录包含Chesscoachgui和Chesscoachuci中使用的DEBUG GUI，依靠Chessboardjs。

工具目录包含可乐CLI和贝内斯洛，用于跑步和计算参与者的ELO等级，以及stockfish Fish Fisher 13 Engine二进制二进制二进制文件，以充当对手。

脚本目录包含各种情况脚本和便利。

文档目录包含文档和支持资产。

安装后，Chesscoach在Linux上的/usr/local/local/share/chesscoach找到静态数据，并与Windows中的二进制数据一起。它将动态数据定位在$ {XDG_DATA_HOME}/CHESSCOACH，或者在Linux上的〜/.local/share/Chesscoach和localappdata％/Chesscoach in Windows上的〜/.local/share/chesscoach失败。动态数据也可以位于Google云存储中；例如，gs：// chesscoach-eu/chesscoach。

安装

预安装

安装git并克隆此存储库。
根据GPU/TPU自定义config.toml中的参数，按照注释指南（或者，如果仅使用Chesscoachuci，则可以在运行时设置search_threads选项）。

Linux（Debian/Ubuntu），GPU

如果在Google Cloud上运行，它可以简化GPU设置，以使用CUDA 11使用预构建的深度学习磁盘图像。

请按照Tensorflow GPU Linux设置说明说明，如果不使用Google Cloud上的预构建的深度学习磁盘图像。
运行./setup.sh （可能需要30分钟才能从源构建Protobuf）。
增加评论支持：
- 运行pip3 install -r requirements-all.txt 。
运行sudo ./build.sh release install 。

Linux（Debian/ubuntu），旧式TPU

启用云TPU API 。
创建具有匹配名称，区域和TensorFlow版本的计算VM和TPU。
运行./setup.sh （可能需要30分钟才能从源构建Protobuf）。
增加评论支持：
- 运行pip3 install -r requirements-all.txt 。
运行sudo ./build.sh release install 。

Linux（Debian/Ubuntu），较新的云TPU VM

启用云TPU API 。
创建一个云TPU VM。
运行./setup.sh （可能需要30分钟才能从源构建Protobuf）。
增加评论支持：
1. 获取非独石石和支持自定义OPS的TF-nightly和TF-Text-nightly的私人二进制文件。
2. 运行pip3 install tf-models-official==2.5.0 （这堵塞了预安装的TF-nightly）。
3. 运行pip3 uninstall tensorflow tf-slim tf-nightly 。
4. 使用--force-reinstall安装私人TF-night封装软件包。
5. 安装私人TF文本访问包装。
运行sudo ./build.sh release install 。

Windows，GPU

安装Visual Studio（例如，Visual Studio社区）。
- 使用C ++组件安装桌面开发。
安装Python并将其添加到路径中。
- 它可以简化使用Anaconda安装Python的GPU设置，并安装Anaconda Tensorflow-GPU软件包。
- 如果使用Anaconda或其他虚拟环境，则更新Activate_virtual_env.cmd。默认值是尝试conda activate chesscoach ，但是如果不使用虚拟环境时，这是可以的。
请按照TensorFlow GPU Windows设置指令（如果不使用Anaconda Tensorflow-GPU软件包）。
运行setup.cmd （在运行activate_virtual_env.cmd之后，将其设置为Chesscoach_pythonhome）。
运行build.cmd 。

后安装

Chesscoach依赖于安装的数据，以$ {XDG_DATA_HOME}/CHESSCOACH，或者在Linux上的〜/.local/.local/share/chesscoach和localappdata％/chesscoach in Windows上的〜/.local/share/chesscoach失败。

安装神经网络重量。这需要372 MIB下载和406个MIB磁盘空间。

Linux：运行scripts/download_install_data.sh 。
Windows：运行scripts/download_install_data.cmd 。
运行后，…/chesscoach/networks/chesscoach1_005600000和…/chesscoach/commentary/tokenizer.model应该存在。
这些脚本访问的神经网络权重位于https://github.com/chrisbutner/chesscoachdata/releases/download/v1.0.0.0.0.0.0.0.0.0.0/data.zip。

可选地，安装Syzygy最终赛场表播。 3-4-5件的文件大约需要1个gib，而3-4-5 + 6件的文件大约需要150个gib。安装过程有些技术性。

从https://syzygy-tables.info/下载WDL和DTZ文件，使用递归网络下载或bittorrent下载。
使用提供的校验和验证文件完整性。
将文件安装到…/Chesscoach/syzygy（或设置Syzygy UCI选项）。

在云存储模式下，Syzygy表将在启动时自动复制到本地存储。

脚本脚本/ramdisk_syzygy6.sh SH在诸如新风格的云TPU VM之类的机器上设置了一个RAM磁盘，以主机3-4-5 + 6件表，当内存高但磁盘空间较低时。使用磁盘时，最好将这些表放在SSD上以保持搜索速度。脚本脚本/ramdisk_syzygy6.sh使用路径…/chesscoach/syzygy6，依赖于config.toml中的配置更改，但是…/chesscoach/syzygy可以使用。

linux，Google云存储支持后安装

创建一个储物桶，更新config.toml中的cloud_data_root ，然后重新安装。
将必要的网络，评论令牌，Syzygy Tablebase，验证数据等复制到存储桶中。

linux，安装后的集群支持

启用容器注册表API 。
运行export PROJECT_ID=<your Google Cloud project ID> 。
在Config.toml中更新Distribute_zone ，并使用您的计算区域进行重新安装。

如果使用alpha.py（此部分特别凌乱）：

运行cluster/cluster-prep-creds.sh以创建一个服务帐户和相应的键.json文件。
在Alpha.py中更新Image_prefix，并使用您首选的Google Container Container注册表域和Google Cloud Project ID。
使用您的存储存储桶中更新alpha.py中的key_path 。
使用gsutil cp将key.json复制到key_path 。

技术解释中的分布式培训和自我播放部分提供了更多有关管理老年风格和新型群集的信息。

用法

大多数Chesscoach程序都取决于构建和安装的config.toml。在运行ChessCoACHUCI时，设置search_threads参数（通过构建时间在运行时通过config.toml或在运行时uci选项）设置search_threads参数，以避免从不公平的预测计划中避免线程饥饿。

Chesscoachuci二进制可以在各种国际象棋中加载作为UCI发动机。

但是，当使用python的虚拟环境时，可能有必要：