sqlftw

sqlftw

MySQL (현재) Lexer, 파서, 언어 모델 및 PHP로 작성된 정적 분석기

약 140 개의 지원되는 SQL 명령 각각에 대해 SQLFTW SQL 명령 인터페이스를 구현하는 객체를 생성하는 유효성있는 파서입니다. 명령은 도메인 측면이 아닌 SQL 코드의 구문 측면을 모델링합니다 (정확히 쿼리가 작성되는 방법) 그러나 공백을 추적하지는 않으며 현재 일부 주석을 무시합니다.

이 파서는 다른 두 프로젝트의 기초로 의도됩니다.

• 하나는 SQL 코드의 정적 분석, 특히 마이그레이션의 안전성 및 성능을 수행하고 있습니다 (현재 Phpmyadmin 프로젝트에서 매우 기본적인 SQL 파서를 사용하고 있음)
• 다른 하나는 PHPSTAN (PHP 용 정적 분석 도구)이 SQL 쿼리와 그 결과를 더 잘 이해하도록 도와 줄 것입니다.

자체적으로 SQL 코드의 구문을 검증하는 데 사용될 수 있습니다 (예 : 마이그레이션).

SQL 구문 지원 :

MySQL 5.X에서 MySQL 8.0.34까지 모든 SQL 명령을 지원하고 거의 모든 언어 기능을 지원합니다.

지원되는 기능이 없으면 구문 분석에 실패합니다.

• shift-jis , gb18030 또는 utf-16 과 같은 Ascii-Incatible Multibyte 인코딩 지원 (구문 분석 실패)
• 인용 된 지시 자 (구현되지 않음, 아마도 실패 할 것입니다)
• ANSI 모드에서 이중 인용 된 이름의 암시 적 문자열 연결 ( "foo" "bar" ; 이것은 문자열에서는 지원되지만 이름은 아닙니다)

허용되지만 무시 된 기능 (모델 및 직렬화 없음) :

• 표현식에서 운영자 우선 순위를 해결합니다 (현재 동일한 계층의 운영자는 왼쪽에서 오른쪽으로 구문 분석됩니다. 나중에 구현됩니다)
• 내부의 정기 의견 (진술 전 의견 수집)
• Heatwave 플러그인 기능 (Secondary_engine)
• SELECT ... PROCEDURE ANALYSE (...) - MySQL 8에서 제거
• WEIGHT_STRING(... LEVEL ...) - MySQL 8에서 제거되었습니다

MySQL 이외의 다른 방법으로 구현 된 기능 :

• Parser는 PostgreSQL과 동일한 종료되지 않은 주석에 오류를 생성합니다 (MySQL은 조용하고 테스트에 따르면 버그 일 수 있습니다).
• Parser는 유효하지 않은 이름으로 사용자 변수를 읽을 때 오류가 발생합니다 (MySQL은 조용히 무시하고 NULL을 반환합니다)
• Parser는 잘못된 구문으로 Optimizer 힌트에 오류를 생성합니다 (MySQL은 경고를 생성합니다. AWS AURORA MYSQL 오류).

건축학:

메인 레이어 :

• Lexer- SQL 토큰 화, Parser 토큰의 발전기를 반환합니다.
• Parser (S) - 구문을 확인하고 구문 분석 명령 개체의 생성기를 반환합니다.
• 명령 - SQL 명령은 일반 텍스트에서 불변의 객체 표현으로 구문 분석됩니다. 일반 텍스트로 다시 직렬화 할 수 있습니다
• 플랫폼 - 특정 플랫폼에서 지원하는 기능 목록
• Formatter- 구성 가능한 SQL 문자 Serializer
• 분석기 - 정적 분석 규칙 및 계측

기본 사용 :

 <?php

use ...

$platform = Platform::get(Platform::MYSQL, '8.0'); // version defaults to x.x.99 when no patch number is given
$config = new ParserConfig($platform);
$session = new Session($platform);
$parser = new Parser($config, $session);

// returns a Generator. will not parse anything if you don't iterate over it
$commands = $parser->parse('SELECT foo FROM ...');
foreach ($commands as $command) {
    // Parser does not throw exceptions. this allows to parse partially invalid code and not fail on first error
    if ($command instanceof InvalidCommand) {
        $e = $command->getException();
        ...
    }
    ...
}

현재 개발 상태 :

우리가 지금있는 곳 :

• ☑ ~ 99.9% MySQL 언어 기능이 구현되었습니다
• serialization의 기본 단위 테스트
• ☑ 수천 개의 테이블과 마이그레이션에 대해 테스트했습니다
• MySQL Test Suite에서 거의 모든 것을 구문 분석합니다 (오 탐지 없음)
• mySQL Test Suite의 거의 모든 오류 테스트에서 실패합니다 (오 탐지 없음)
• MySQL 테스트 스위트에서 직렬화 테스트 (예상대로 표시되는 모든 SQL 기능)
• MySQL Test Suite의 여러 버전에 대해 병렬화 및 자동화 된 테스트
• ☐ 돌연변이 테스트 (실제 DB와 동일한 돌연변이 SQL 처리; MySQL 테스트 스위트를 넘어 확장 범위)
• ☐ 플랫폼 버전 구별 (DB 서버의 정확한 패치 버전에 대한 구문 분석)
• ∎ 마이그레이션 정적 분석 도구 포팅이 라이브러리로
• ☐ 첫 번째 안정 버전의 릴리스?
• ☐ 기타 플랫폼 (Mariadb, sqlite, postgresql ...)

버전 작성 :

우리는 모두 시맨틱 버전을 좋아합니다. :]

그러나이 도서관은 큰 사업이며 여전히 빠른 초기 개발 단계를 거치고 있습니다. 나는이 단계에서도 버전을 태그하고 릴리스하기로 결정했습니다. 왜냐하면 수십 개의 알파 버전을 출시하는 것보다 아무것도 낫고 낫다고 생각하기 때문입니다. 따라서 "0.1"을 떠날 때까지 거꾸로 호환성을 기대하지 마십시오 . 첫 번째 시도로 거대한 시스템을 설계하는 것은 불가능합니다.

Composer를 사용할 때는 항상이 패키지의 종속성을 정확한 버전으로 고정하십시오. 예 : sqlftw/sqlftw:0.1.14

작가:

Vlasta Neubauer, @paranoiq, https://github.com/paranoiq