오픈 소스 웹 지식 그래프 프로젝트
- 바이두 백과 사전의 중국 페이지를 기어 다닙니다
- 트리플 및 웹 컨텐츠를 구문 분석합니다
- 중국 지식 그래프 구축
- 백과 사전 봇 구축 (건설 중)
업데이트 20200720
LMY-NLP0701 덕분에 Windows에서 Windows에 배포하는 방법!
20191121 업데이트
- 크롤러 프레임 워크 스크레이프로 코드를 마이그레이션합니다
- 일부 코드의 최적화 된 추출
- MongoDB로의 데이터 지속성 마이그레이션
- 챗봇 실패 문제를 해결하십시오
- 지식 그래프 형성 효과를보기 위해 NEO4J Backend 인터페이스 열기
팁
- 프로젝트 문제라면 문제를 문의하십시오.
- 불편한 공개와 관련된 경우 이메일을 보내주십시오.
- 챗봇 링크를 방문하십시오
- 성형 된 백과 사전 지식 그래프 액세스 링크, 사용자 이름 : NEO4J, 비밀번호 : 123. 효과는 다음과 같습니다.
환경
- 파이썬 3.6
- Re : URL 일반 경기
- 스크레이프 : 웹 크롤러 및 웹 파싱
- NEO4J : 지식 그래프 데이터베이스, 설치 링크를 참조하십시오.
- PIP 설치 NEO4J-DRIVER : NEO4J Python 드라이버
- PIP 설치 PymongoDB : MongoDB에 대한 Python 지원
- MongoDB 데이터베이스 : 설치 참조 링크
코드 실행 :
cd WEB_KG/baike
scrapy crawl baike
실행 인터페이스 (중지하려면 CTRL+C를 누릅니다) : 
지식 그래프 렌더링
MongoDB에 의해 저장된 웹 페이지 컨텐츠
MongoDB에 의해 저장된 트리플
NEO4J 배경 인터페이스
