evotorchのダウンロードevotorchソースコードのダウンロード

evotorch

パイソン

0.5.1

ダウンロード

Evotorchプロジェクトへようこそ！ Evotorchは、Pytorchの上に構築されたNnaisenseで開発されたオープンソースの進化計算ライブラリです。 Evotorchの使用に関する詳細なガイダンスについては、詳細なガイダンスをご覧ください。ディスカッションのためにSlackに参加してください。

Evotorchをインストールすることから始めましょう：

 pip install evotorch

Evotorchを使用すると、微分可能であるかどうかに関係なく、さまざまな最適化の問題を解決できます（つまり、勾配降下を許可します）。 Evotorchで解決可能な問題タイプの中には、次のとおりです。

ブラックボックスの最適化の問題（連続または離散）
強化学習タスク
監視された学習タスク

Evotorchでは、さまざまな進化的計算アルゴリズムが利用可能です。

配布ベースの検索アルゴリズム：
- PGPE：パラメーターベースの探索を備えたポリシーグラデーション。
- XNES：指数関数的な自然進化戦略。
- CMA-ES：共分散行列適応進化戦略。
- SNES：分離可能な自然進化戦略。
- CEM：クロスエントロピー法。
人口ベースの検索アルゴリズム：
- 遺伝的gorithm：遺伝的アルゴリズムの実装。また、複数の目的をサポートします。その場合、 NSGA-IIのように動作します。
- Cosyne：協同組合シナプスニューロエボリューション。
- Mapelites：表現型エリートの多次元アーカイブ

これらのアルゴリズムはすべてPytorchで実装されているため、GPUでのベクトル化と並列化の使用から恩恵を受け、GPUが利用可能なときに最適化を大幅に高速化します。 Rayを使用して、Evotorchはこれらのアルゴリズムをさらにスケーリングします。

複数のCPU
複数のGPU
レイクラスター内の複数のコンピューター

例

以下は、EvotorchのAPIを示すいくつかのコード例です。

ブラックボックスの最適化の例

Pytorchで動作するように定義された目的関数は、Evotorchで直接使用できます。非ベクトル化された目的関数は、単に1次元トーチテンソルとしてソリューションを受信し、スカラーとしてフィットネスを返します。ベクトル化された目的関数は、2次元トーチテンソルとしてソリューションのバッチを受け取り、フィットネスの1次元テンソルを返します。次の例は、古典的なラストリジンの問題を定義および解決する方法を示しています。

 from evotorch import Problem
from evotorch . algorithms import SNES
from evotorch . logging import StdOutLogger , PandasLogger
import math
import matplotlib . pyplot as plt
import torch


# Declare the objective function
def rastrigin ( x : torch . Tensor ) -> torch . Tensor :
    A = 10
    ( _ , n ) = x . shape
    return A * n + torch . sum (( x ** 2 ) - A * torch . cos ( 2 * math . pi * x ), 1 )


# Declare the problem
problem = Problem (
    "min" ,
    rastrigin ,
    initial_bounds = ( - 5.12 , 5.12 ),
    solution_length = 100 ,
    vectorized = True ,
    # device="cuda:0"  # enable this line if you wish to use GPU
)

# Initialize the SNES algorithm to solve the problem
searcher = SNES ( problem , popsize = 1000 , stdev_init = 10.0 )

# Initialize a standard output logger, and a pandas logger
_ = StdOutLogger ( searcher , interval = 10 )
pandas_logger = PandasLogger ( searcher )

# Run SNES for the specified amount of generations
searcher . run ( 2000 )

# Get the progress of the evolution into a DataFrame with the
# help of the PandasLogger, and then plot the progress.
pandas_frame = pandas_logger . to_dataframe ()
pandas_frame [ "best_eval" ]. plot ()
plt . show ()

強化学習の例

次の例は、ジム図書館で利用できる補強学習タスクを解決する方法を示しています。

 from evotorch . algorithms import PGPE
from evotorch . logging import StdOutLogger , PicklingLogger
from evotorch . neuroevolution import GymNE

# Declare the problem to solve
problem = GymNE (
    env = "Humanoid-v4" ,  # Solve the Humanoid-v4 task
    network = "Linear(obs_length, act_length)" ,  # Linear policy
    observation_normalization = True ,  # Normalize the policy inputs
    decrease_rewards_by = 5.0 ,  # Decrease each reward by 5.0
    num_actors = "max" ,  # Use all available CPUs
    # num_actors=4,    # Explicit setting. Use 4 actors.
)

# Instantiate a PGPE algorithm to solve the problem
searcher = PGPE (
    problem ,
    # Base population size
    popsize = 200 ,
    # For each generation, sample more solutions until the
    # number of simulator interactions reaches this threshold
    num_interactions = int ( 200 * 1000 * 0.75 ),
    # Stop re-sampling solutions if the current population size
    # reaches or exceeds this number.
    popsize_max = 3200 ,
    # Learning rates
    center_learning_rate = 0.0075 ,
    stdev_learning_rate = 0.1 ,
    # Radius of the initial search distribution
    radius_init = 0.27 ,
    # Use the ClipUp optimizer with the specified maximum speed
    optimizer = "clipup" ,
    optimizer_config = { "max_speed" : 0.15 },
)

# Instantiate a standard output logger
_ = StdOutLogger ( searcher )

# Optional: Instantiate a logger to pickle and save the results periodically.
# In this example, among the saved results will be the center of the search
# distribution, since we are using PGPE which is distribution-based.
_ = PicklingLogger ( searcher , interval = 10 )

# Run the algorithm for the specified amount of generations
searcher . run ( 500 )

# Get the center point of the search distribution,
# obtain a policy out of that point, and visualize the
# agent using that policy.
center_solution = searcher . status [ "center" ]
trained_policy = problem . make_net ( center_solution )
problem . visualize ( trained_policy )

より多くの例をご覧ください。

引用する方法

調査でEvotorchを使用している場合は、私たちの論文を引用することを検討してください。

 @article { evotorch2023arxiv ,
  title = { {EvoTorch}: Scalable Evolutionary Computation in {Python} } ,
  author = { Toklu, Nihat Engin and Atkinson, Timothy and Micka, Vojtv{e}ch and Liskowski, Pawel{} and Srivastava, Rupesh Kumar } ,
  journal = { arXiv preprint } ,
  year = { 2023 } ,
  note = { https://arxiv.org/abs/2302.12600 }
}