Template_Content_Generator

template_content_generator

私たちについて、ニュース芸術、ニュースタイトル、製品の説明などのテンプレートコンテンツを生成します。

以下を含むあらゆるタスクにOpenai APIを使用することに基本的な主要な概念とテクニック

• コンテンツ生成
• 要約
• 分類、分類、および感情分析
• データ抽出
• 翻訳など

導入

OpenAI APIは、自然言語またはコードの理解または生成を伴うほぼすべてのタスクに適用できます。

GPT-3または第3世代の生成事前訓練トランスは、インターネットデータを使用してあらゆる種類のテキストを生成するニューラルネットワーク機械学習モデルです。関連する洗練された機械で生成されたテキストの大量を生成するために、少量の入力テキストが必要です。

GPT-3のディープラーニングニューラルネットワークは、1750億を超える機械学習パラメーターを備えたモデルです。その結果、GPT-3は、人間がそれを書くことができたように見えるほど説得力があるテキストを作成するための以前のモデルよりも優れています。

completionsエンドポイントはOpenaI APIのコアであり、非常に柔軟で強力なシンプルなインターフェイスを提供します。
テキストをプロンプトとして入力すると、APIは、私たちが与えた指示やコンテキストを一致させるテキスト完了を返します。
これを非常に高度なオートコンプリートと考えることができます。モデルはテキストプロンプトを処理し、次に最も可能性が高いものを予測しようとします。プロンプトの設計は、基本的にモデルの「プログラム」方法です。
多くの場合、モデルに何を望んでいるかを示して伝えることが役立ちます。プロンプトに例を追加すると、パターンやニュアンスの伝達に役立ちます。

GPT-3は何ができますか？

自然言語処理には、その主要なコンポーネントの1つとしての自然ランゲージ生成が含まれます。人間のランゲージの自然なテキストの生成に焦点を当てています。ただし、人間の理解可能なコンテンツを生成することは、言語の複雑さとニュアンスを実際に知らないマシンにとって課題です。インターネット上でテキストを使用して、GPT-3は現実的な人間のテキストを生成するように訓練されています。

GPT-3は、大量の質の高いコピーを作成するために使用できる少数の入力テキストを使用して、記事、詩、ストーリー、ニュースレポート、および対話を作成するために使用されています。

GPT-3は、自動化された会話タスクにも使用されており、コンテキストに適した新しいテキストを使用して、人がコンピューターに入力するテキストに応答しています。 GPT-3は、人間の言語テキストだけでなく、テキスト構造で何でも作成できます。また、テキストの要約やプログラミングコードを自動的に生成することもできます。

GPT-3はどのように機能しますか？

GPT-3は言語予測モデルです。これは、入力テキストを入力として取得し、最も有用な結果が予測するものに変換できるニューラルネットワーク機械学習モデルを備えていることを意味します。これは、インターネットテキストの膨大な本文でシステムをトレーニングしてパターンを見つけることで実現されます。より具体的には、GPT-3は、膨大な量のテキストで事前に訓練されることに基づいてテキスト生成に焦点を当てたモデルの3番目のバージョンです。

プロンプトデザイン

プロンプトを作成するには、3つの基本的なガイドラインがあります。

1. Show and tell ：指示、例、または2つの組み合わせを通じて、必要なものを明確にします。モデルをアルファベット順の順序でアイテムのリストにランク付けする場合、またはセンチメントによって段落を分類する場合は、それがあなたが望むものであることを示してください。
2. Provide quality data ：分類子を構築しようとしている場合、またはモデルをパターンに従うようにしようとしている場合は、十分な例があることを確認してください。モデルは通常、基本的なスペルミスを確認して応答を与えるほど賢いですが、これが意図的であると仮定し、応答に影響を与える可能性があります。
3. Check your settings ：温度とTOP_Pの設定は、モデルが応答を生成する際にどの程度決定論的であるかを制御します。

モデル要求本体

• prompt ：文字列、文字列の配列、トークンの配列、またはトークン配列の配列としてエンコードされた補完を生成するためのプロンプト。 <|endoftext|>は、モデルがトレーニング中に見られるドキュメントセペレーターであるため、プロンプトが指定されていない場合、モデルは新しいドキュメントの開始から生成されます。
• engine ： Text-Davinci-001は、最も有能なGPT-3モデルです。多くの場合、コンテキストが少なく、他のモデルが行うことができるあらゆるタスクを実行できます。プロンプトへの応答に加えて、テキスト内の完了の挿入もサポートします。
• temperature ：温度は、使用するサンプリング温度を意味します。値が高いということは、モデルがより多くのリスクを取ることを意味し、より創造的なアプリケーションに0.9を使用し、明確に定義された答えを持つものに0を使用できます。
  モデルは、どのテキストがその前のテキストに従う可能性が最も高いかを予測することを忘れないでください。温度は0〜1の値であり、本質的にこれらの予測を行うときにモデルがどれだけ自信があるべきかを制御できます。温度を下げると、リスクが少なくなり、完了がより正確で決定論的になります。温度を上げると、より多様な完了が生じます。
• max_tokens ：補完的に生成するトークンの最大数。ほとんどのモデルのコンテキスト長は2048です。
• top_p ：核サンプリングと呼ばれる温度を使用したサンプリングの代替品。モデルがTOP_P確率質量のトークンの結果を考慮している場合、0.1は上位10％の確率質量を含むトークンのみが考慮されることを意味します
• frequency_penalty ：正の値は、これまでのテキスト内の既存の頻度に基づいて新しいトークンをペナルティにし、モデルの可能性を減らして同じ行を繰り返します。
• presence_penalty ：プラスの値は、これまでにテキストに表示されるかどうかに基づいて新しいトークンをペナルティにし、新しいトピックについて話すモデルの可能性を高めます。

開発セットアップ

システムにpipがない場合は、このコマンドの助けを借りてダウンロードできます。

 sudo apt-get install python3-pip

仮想環境のセットアップ

Anacondaを使用して仮想環境を作成できます。システムに載っている場合は、以下にコマンドを使用してVirtualenvを作成します。

 conda create -n yourenvname python==x.x
conda activate yourenvname

または、以下のコマンドでVirtualWrapperをインストールできます。

 sudo pip3 install virtualenvwrapper
sudo pip3 install --upgrade virtualenv

インストール後、仮想環境を作成します。

 cd/your/path && mkvirtualenv --python=python3 yourenvname

要件から必要なパッケージをインストールして、このプロジェクトを実行します。

 pip install -r requirements.txt

プロジェクトエッセンシャルガイド

このプロジェクトを実行する最も重要なことは、モデルがコンテンツを生成できるようにするOpenAIの秘密のAPIキーを持つことです。 Secret APIキーがある場合は、 OPENAI_API_KEYの名前で環境変数として設定し、 python-dotenvパッケージを使用して読んでください。