mean opinion score

평균 점수

"Ribeiro, F., Florêncio, D., Zhang, C., & Seltzer, M. (2011)에 따른 텍스트-음성 (TTS) 등급의 표준 편차 (TTS) 등급의 평균 의견 점수 (MOS) 및 95% 신뢰 구간 (CI)을 계산하기위한 Python Library. CIS를 결정하기 위해, 저자는 변수와 함께 양방향 랜덤 효과 모델을 사용했습니다 : 고유 문장 품질의 다양성, 평가자 선호도의 다양성 및 주관적 불확실성.

설치

pip install mean-opinion-score --user

용법

 import numpy as np

from mean_opinion_score import get_ci95 , get_ci95_default , get_mos

_ = np . nan

ratings = np . array ([
    # columns represent sentences
    [ 4 , 5 , _ , 4 , _ , 3 ],  # rater 1
    [ 4 , 4 , 4 , 5 , _ , 4 ],  # rater 2
    [ _ , 3 , 5 , 4 , _ , 1 ],  # rater 3
    [ _ , _ , _ , _ , _ , _ ],  # rater 4
])

mos = get_mos ( ratings )
ci = get_ci95 ( ratings )
ci_default = get_ci95_default ( ratings )

print ( f"MOS: { mos :.2f } ± { ci :.4f } " )
print ( f"MOS: { mos :.2f } ± { ci_default :.4f } " )
# MOS: 3.85 ± 1.3316
# MOS: 3.85 ± 0.5579 

의존성

• numpy
• scipy

기여

오류가 표시되면 주저하지 말고 문제를 열지 마십시오.

개발 설정

 # update
sudo apt update
# install Python 3.6, 3.7, 3.8, 3.9, 3.10 & 3.11 for ensuring that tests can be run
sudo apt install python3-pip 
  python3.6 python3.6-dev python3.6-distutils python3.6-venv 
  python3.7 python3.7-dev python3.7-distutils python3.7-venv 
  python3.8 python3.8-dev python3.8-distutils python3.8-venv 
  python3.9 python3.9-dev python3.9-distutils python3.9-venv 
  python3.10 python3.10-dev python3.10-distutils python3.10-venv 
  python3.11 python3.11-dev python3.11-distutils python3.11-venv
# install pipenv for creation of virtual environments
python3.11 -m pip install pipenv --user

# check out repo
git clone https://github.com/stefantaubert/mean-opinion-score.git
cd mean-opinion-score
# create virtual environment
python3.11 -m pipenv install --dev

테스트 실행

 # first install the tool like in "Development setup"
# then, navigate into the directory of the repo (if not already done)
cd mean-opinion-score
# activate environment
python3.11 -m pipenv shell
# run tests
tox

테스트 결과 출력의 최종 라인 :

  py36: OK
  py37: OK
  py38: OK
  py39: OK
  py310: OK
  py311: OK
  congratulations :)

특허

MIT 라이센스

감사의 말

MOS 및 CI 계산은 다음과 같습니다.

• Ribeiro, F., Florêncio, D., Zhang, C., & Seltzer, M. (2011). 크라우드 모스 : 크라우드 소싱 평균 의견 점수 연구에 대한 접근. 2011 IEEE 음향, 음성 및 신호 처리 (ICASSP), 2416–2419에 관한 국제 회의. https://doi.org/10.1109/icassp.2011.5946971

Deutsche Forschungsgemeinschaft (DFG, German Research Foundation)-Project-ID 41628727-CRC 1410.

소환

이 repo를 인용하려면 github에서 생성 한이 Bibtex-entry를 사용할 수 있습니다 ( 이 저장소를 참조 하십시오).

Taubert, S. (2023). mean-opinion-score (Version 0.0.2) [Computer software]. https://doi.org/10.5281/zenodo.8238259

changelog

• V0.0.2 (2023-08-11)
  • 추가 :
    • 일반적으로 사용되는 95% 신뢰 구간 계산
• V0.0.1 (2023-02-23)
  • 초기 릴리스