pinecone scala Download - pinecone scala Source Code Скачать

Pinecone Scala Client

Это интуитивно понятный Async Allded Client Scala для Pinecone API, поддерживающий все доступные индексы, вектор, сборы, вывод и помощники операций/конечные точки, предоставляемые в двух удобных услугах, называемых pineconevectorservice и pineconeidexservice. Поддерживаемые звонки:

Векторные операции : Опишите Indexstats, запрос, удаление, извлечение, обновление и Upsert
Операции по сбору : списки, создания, создание, описание и деликообразность
Индексные операции : ListIndexes, CreateIndex, описать Index, deleteIndex и configureIndex
Вывод операции : EncedData, Reerank и оценка
Помощник операций : ListAssistants, CreateAssaint, DesciepeAssist, Deleteasaint, Listfiles, Uploadfile, Desciepefile, Deletefile, Chatwithassistant
- Эти операции предоставляются двумя услугами: PineconeAssistantService и PineconeAssistantFileService

Обратите внимание, что для того, чтобы соответствовать именованию API Pinecone, имена функций службы точно соответствуют названиям/описаниям конечных точек API с Camelcase. Кроме того, мы нацелились на то, чтобы они были автономны с наименьшим количеством возможных зависимостей, поэтому мы в итоге использовали только два Libs play-ahc-ws-standalone и play-ws-standalone-json (на верхнем уровне).

✔ Важно : это библиотека «поддержанная сообществом», и, как таковая, не имеет отношения к компании Pinecone.

Проверьте статью о Lib/Client на Medium. Кроме того, если вы хотите сразу же увидеть практические примеры, перейдите к примерам Pinecone или модулям Pinecone.

Установка

В настоящее время поддерживаемые версии Scala составляют 2,12, 2,13 и 3 .

Чтобы вытащить библиотеку, вы должны добавить следующую зависимость в свой сборка.sbt

 "io.cequence" %% "pinecone-scala-client" % "1.2.2"

или pom.xml (если вы используете Maven)

 <dependency>
    <groupId>io.cequence</groupId>
    <artifactId>pinecone-scala-client_2.12</artifactId>
    <version>1.2.2</version>
</dependency>

Конфигурация

Эн. Переменные: PINECONE_SCALA_CLIENT_API_KEY и PINECONE_SCALA_CLIENT_ENV если используется служба на основе POD
Файл конфигурация (по умолчанию): pinecone scala-client.conf

Использование? ‍?

Я. Получение PineconeIndexService

Сначала вам необходимо предоставить неявный контекст выполнения, а также Akka Materializer, например, как

  implicit val ec = ExecutionContext .global
  implicit val materializer = Materializer ( ActorSystem ())

Затем вы можете получить службу (POD или без сервера) одним из следующих способов.

Конфигурация по умолчанию (ожидает, что env. Переменные (ы) будут установлены, как определено в разделе Config )

  import io . cequence . pineconescala . service . PineconeIndexServiceFactory . FactoryImplicits

  val service = PineconeIndexServiceFactory ().asOne

Пользовательская конфигурация

  val config = ConfigFactory .load( " path_to_my_custom_config " )
  val service = PineconeIndexServiceFactory (config).asOne

Без config для сервиса на основе POD (с Env) - создает экземпляр PineconePodBasedIndexService

  val service  = PineconeIndexServiceFactory (
    apiKey = " your_api_key " ,
    environment = " your_env " // e.g. "northamerica-northeast1-gcp
  )

Без config для сервера Service - создает экземпляр PineconeServerlessIndexService

  val service = PineconeIndexServiceFactory (
    apiKey = " your_api_key "
  )

IB. Получение PineconeVectorService

Так же, как у PineconeIndexService , вам нужно сначала предоставить неявный контекст выполнения и AKKA Materializer. Затем вы можете получить услугу одним из следующих способов.

Конфигурация по умолчанию (ожидает, что env. Переменные (ы) будут установлены, как определено в разделе Config ). Обратите внимание, что если индекс с данным именем недоступен, завод не вернет None .

  PineconeVectorServiceFactory ( " index_name " ).map { serviceOption =>
    val service = serviceOption.getOrElse(
      throw new Exception ( s " Index with a given name does not exist. " )
    )
    // do something with the service
  }

IC. Получение PineconeInferenceService

Конфигурация по умолчанию

  val service = PineconeInferenceServiceFactory ()

Пользовательская конфигурация

  val config = ConfigFactory .load( " path_to_my_custom_config " )
  val service = PineconeInferenceServiceFactory (config)

Прямо с апи-кей

  val service = PineconeInferenceServiceFactory (
    apiKey = " your_api_key "
  )

Идентификатор. Получение PineconeAssistantService

Конфигурация по умолчанию

  val service = PineconeAssistantServiceFactory ()

Пользовательская конфигурация

  val config = ConfigFactory .load( " path_to_my_custom_config " )
  val service = PineconeAssistantServiceFactory (config)

Прямо с апи-кей

  val service = PineconeAssistantServiceFactory (
    apiKey = " your_api "
  )

Т.е. Получение PineconeAssistantFileService

Конфигурация по умолчанию

  val service = PineconeAssistantFileServiceFactory ()

Пользовательская конфигурация

  val config = ConfigFactory .load( " path_to_my_custom_config " )
  val service = PineconeAssistantFileServiceFactory (config)

Прямо с апи-кей

  val service = PineconeAssistantFileServiceFactory (
    apiKey = " your_api "
  )

II Вызова функций

Полная документация каждого вызова с его соответствующими входами и настройками представлена в PineConeVectorService и PineConeIndexService. Поскольку все вызовы являются асинхронными, они возвращают ответы, завернутые в Future .

Примеры:

Индексные операции

Список индексов

  pineconeIndexService.listIndexes.map(indexes =>
    indexes.foreach(println)
  )

Создать индекс (с настройками по умолчанию)

  import io . cequence . pineconescala . domain . response . CreateResponse

  pineconeIndexService.createIndex(
    name = " auto-gpt-test " ,
    dimension = 1536
  ).map {
    case CreateResponse . Created => println( " Index successfully created. " )
    case CreateResponse . BadRequest => println( " Index creation failed. Request exceeds quota or an invalid index name. " )
    case CreateResponse . AlreadyExists => println( " Index with a given name already exists. " )
  }

Опишите индекс

  pineconeIndexService.describeIndex( " index_name " ).map(indexInfo =>
    // if not found, indexInfo will be None    
    println(indexInfo)
  )

Удалить индекс

  import io . cequence . pineconescala . domain . response . DeleteResponse

  pineconeIndexService.deleteIndex( " index_name " ).map {
    case DeleteResponse . Deleted => println( " Index successfully deleted. " )
    case DeleteResponse . NotFound => println( " Index with a given name not found. " )
  }

Настройка индекса

  import io . cequence . pineconescala . domain . response . ConfigureIndexResponse

  pineconeIndexService.configureIndex(
    name = " index_name " ,
    replicas = Some ( 2 ),
    pod_type = Some ( PodType .p1_x2)
  ).map { 
    case ConfigureIndexResponse . Updated => println( " Index successfully updated. " )
    case ConfigureIndexResponse . BadRequestNotEnoughQuota => println( " Index update failed. Not enough quota. " )
    case ConfigureIndexResponse . NotFound => println( " Index with a given name not found. " )
  }

Операции сбора

Список коллекций

  pineconeIndexService.listCollections.map(collectionNames =>
    println(collectionNames.mkString( " , " ))
  )

Создать коллекцию

  import io . cequence . pineconescala . domain . response . CreateResponse

  pineconeIndexService.createCollection(
    name = " collection_name " ,
    source = " index_name "
  ).map {
    case CreateResponse . Created => println( " Collection successfully created. " )
    case CreateResponse . BadRequest => println( " Collection creation failed. Request exceeds quota or an invalid collection name. " )
    case CreateResponse . AlreadyExists => println( " Collection with a given name already exists. " )
  }

Опишите коллекцию

  pineconeIndexService.describeCollection( " collection_name " ).map(collectionInfo =>
    // if not found, collectionInfo will be None
    println(collectionInfo)
  )

Удалить коллекцию

  import io . cequence . pineconescala . domain . response . DeleteResponse

  pineconeIndexService.deleteCollection( " collection_name " ).map {
    case DeleteResponse . Deleted => println( " Collection successfully deleted. " )
    case DeleteResponse . NotFound => println( " Collection with a given name not found. " )
  }

Векторные операции

Upsert

  val dimension = 1536

  pineconeVectorService.upsert(
    vectors = Seq (
      PVector (
        id = " 666 " ,
        values = Seq .fill(dimension)( Random .nextDouble),
        metadata = Map (
          " is_relevant " -> " not really but for testing it's ok, you know " ,
          " food_quality " -> " brunches are perfect but don't go there before closing time "
        )
      ),
      PVector (
        id = " 777 " ,
        values = Seq .fill(dimension)( Random .nextDouble),
        metadata = Map (
          " is_relevant " -> " very much so " ,
          " food_quality " -> " burritos are the best! "
        )
      )
    ),
    namespace = " my_namespace " ,
  ).map(vectorUpsertedCount =>
    println( s " Upserted $vectorUpsertedCount vectors. " )
  )

Обновлять

  val fetchedValues = ... // vectors fetched from somewhere 

  pineconeVectorService.update(
    id = " 777 " ,
    namespace = " my_namespace " ,
    values = fetchedValues.map(_ / 100 ), // divide fetched values by 100
    sparseValues = Some ( SparseVector (
      indices = Seq ( 1 , 2 , 3 ),
      values = Seq ( 8.8 , 7.7 , 2.2 )
    )),
    setMetaData = Map (
      " solid_info " -> " this is the source of the truth "
    )
  ).map(_ =>
    println( s " Vectors updated. " )
  )

Запрос с настройками по умолчанию

  pineconeVectorService.query(
    vector = Seq .fill( 1536 )( Random .nextDouble), // some values/embeddings
    namespace = " my_namespace "
  ).map { queryResponse =>
    queryResponse.matches.foreach { matchInfo =>
      println( s " Matched vector id: ${matchInfo.id} " )
      println( s " Matched vector values: ${matchInfo.values.take( 20 ).mkString( " , " )} .. " )
      println( s " Matched vector score: ${matchInfo.score} " )
      println( s " Matched vector metadata: ${matchInfo.metadata} " )
    }
  }

Запрос с пользовательскими настройками

  pineconeVectorService.query(
    vector = Seq .fill( 1536 )( Random .nextDouble), // some values/embeddings
    namespace = " my_namespace " ,
    settings = QuerySettings (
      topK = 5 ,
      includeValues = true ,
      includeMetadata = true
    )
  ).map { queryResponse =>
    queryResponse.matches.foreach { matchInfo =>
      println( s " Matched vector id: ${matchInfo.id} " )
      println( s " Matched vector values: ${matchInfo.values.take( 20 ).mkString( " , " )} .. " )
      println( s " Matched vector score: ${matchInfo.score} " )
      println( s " Matched vector metadata: ${matchInfo.metadata} " )
    }
  }

Принести

  pineconeVectorService.fetch(
    ids = Seq ( " 666 " , " 777 " ),
    namespace = " my_namespace "
  ).map { fetchResponse =>
    fetchResponse.vectors.values.map { pVector =>
      println( s " Fetched vector id: ${pVector.id} " )
      println( s " Fetched vector values: ${pVector.values.take( 20 ).mkString( " , " )} .. " )
      println( s " Fetched vector metadata: ${pVector.metadata} " )
   }
}

Удалить по идентификаторам

  pineconeVectorService.delete(
    ids = Seq ( " 666 " , " 777 " ),
    namespace = " my_namespace "
  ).map(_ =>
    println( " Vectors deleted " )
  )

Удалить все

  pineconeVectorService.deleteAll(
    namespace = " my_namespace "
  ).map(_ =>
    println( " All vectors deleted " )
  )

Опишите статистику индекса

  pineconeVectorService.describeIndexStats.map(stats =>
    println(stats)      
  )

Выводы

Генерировать вторжения

  pineconeInferenceService.createEmbeddings(
    Seq ( " The quick brown fox jumped over the lazy dog " )
  ).map { embeddings =>
    println(embeddings.data.mkString( " n " ))
  }

Rerank документы / куски

  pineconeInferenceService.rerank(
    query = " The tech company Apple is known for its innovative products like the iPhone. " ,
    documents = Seq (...)  
  ).map(
    _.data.foreach(println)
  )

Оценить вопросы и ответы

  pineconeInferenceService.evaluate(
    question = " What are the capital cities of France, England and Spain? " ,
    answer = " Paris is a city of France and Barcelona of Spain " ,
    groundTruthAnswer = " Paris is the capital city of France, London of England and Madrid of Spain "
  ).map { response =>
    println(response)
  }

** Помощник операций **

Список помощников

  pineconeAssistantService.listAssistants.map(assistants =>
    println(assistants.mkString( " , " ))
  )

Создать помощника

  import io . cequence . pineconescala . domain . response . CreateResponse

  pineconeAssistantService.createAssistant(
    name = " assistant_name " ,
    description = " assistant_description " ,
    assistantType = " assistant_type "
  ).map {
    case CreateResponse . Created => println( " Assistant successfully created. " )
    case CreateResponse . BadRequest => println( " Assistant creation failed. Request exceeds quota or an invalid assistant name. " )
    case CreateResponse . AlreadyExists => println( " Assistant with a given name already exists. " )
  }

Описать помощника

  pineconeAssistantService.describeAssistant( " assistant_name " ).map(assistant =>
    // if not found, assistant will be None
    println(assistant)
  )

Удалить помощника

  import io . cequence . pineconescala . domain . response . DeleteResponse

  pineconeAssistantService.deleteAssistant( " assistant_name " ).map {
    case DeleteResponse . Deleted => println( " Assistant successfully deleted. " )
    case DeleteResponse . NotFound => println( " Assistant with a given name not found. " )
  }

Список помощников файлов

  pineconeAssistantService.listFiles( " assistant_name " ).map(files =>
    println(files.mkString( " , " ))
  )

Загрузите помощник файла

  import io . cequence . pineconescala . domain . response . CreateResponse

  pineconeAssistantService.uploadFile(
    assistantName = " assistant_name " ,
    filePath = " path_to_file "
  ).map {
    case CreateResponse . Created => println( " File successfully uploaded. " )
    case CreateResponse . BadRequest => println( " File upload failed. Request exceeds quota or an invalid file path. " )
    case CreateResponse . AlreadyExists => println( " File with a given name already exists. " )
  }

Опишите помощник файла

  pineconeAssistantService.describeFile( " assistant_name " , " file_name " ).map(file =>
    // if not found, file will be None
    println(file)
  )

Поболтать с помощником

  pineconeAssistantService.chatWithAssistant(
    " assistant_name " ,
    " What is the maximum height of a red pine? "
  ).map(response =>
    println(response)
  )

Демо

Для готовых демонстраций, пожалуйста. Обратитесь к отдельным модулям:

Demo Pinecone Scala - показывает, как использовать Vector -Vecone Vector, Index и Collection Operations
Pinecone + Openai Demo Scala - показывает, как генерировать и хранить Openai -встроенные в Pinecone и запрашивать их потом

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ ?

Я получил исключение тайм -аута. Как я могу изменить настройку тайм -аута?
Вы можете сделать это либо путем передачи timeouts Param в Pinecone{Vector,Index}ServiceFactory , либо, если вы используете свой собственный файл конфигурации, то вы можете просто добавить его там как:

 pinecone-scala-client {
    timeouts {
        requestTimeoutSec = 200
        readTimeoutSec = 200
        connectTimeoutSec = 5
        pooledConnectionIdleTimeoutSec = 60
    }
}

Я получил исключение, такое как com.typesafe.config.ConfigException$UnresolvedSubstitution: pinecone-scala-client.conf @ jar:file:.../io/cequence/pinecone-scala-client_2.13/1.2.2/pinecone-scala-client_2.13-1.2.2.jar!/pinecone-scala-client.conf: 4: Could not resolve substitution to a value: ${PINECONE_SCALA_CLIENT_API_KEY} . Что я должен делать?
Установите Env. переменная PINECONE_SCALA_CLIENT_API_KEY . Если у вас нет одного регистра здесь.
Все выглядит круто. Я хочу поговорить с вами о ваших исследованиях и разработках?
Просто стреляйте нам по электронной почте по адресу [email protected].