Flex & Bison 기본 개념 및 linux 환경 세팅

기본 개념

"flex & bison"은 컴파일러와 인터프리터 구축에 사용되는 도구입니다. 이러한 도구들은 주로 프로그래밍 언어나 스크립트 언어와 같은 고급 언어를 기계어로 번역하기 위해 사용됩니다. 이를 통해 소프트웨어 개발자들은 자체 언어를 만들고, 소스 코드를 분석하거나 컴파일러를 생성하는 데 도움을 받을 수 있습니다.

Flex (Fast Lexical Analyzer Generator)

• Flex는 입력으로부터 토큰을 인식하고 분리하는 렉서(lexical analyzer)를 생성하는 도구입니다.
• 토큰은 언어에서 의미를 가지는 최소한의 단위로, 변수, 상수, 연산자 등이 토큰이 될 수 있습니다.
• Flex를 사용하면 정규 표현식과 소스 코드를 기반으로 한 렉서를 생성하여 언어의 구문을 분석하고 토큰을 추출할 수 있습니다.

Bison (GNU Bison)

• Bison은 문법 규칙에 따라 소스 코드를 분석하여 컴파일러 또는 인터프리터를 생성하는 파서(parser) 생성기입니다.
• 이러한 파서를 통해 언어의 구문을 이해하고 그에 따라 적절한 작업을 수행할 수 있습니다.
• Bison은 문법 규칙을 기반으로 자동으로 파싱 테이블을 생성하여 소스 코드를 파싱합니다.

 

환경세팅

Linux

% sudo apt-get update
% sudo apt install flex
% sudo apt install bison

Mac

// for intel chip
% brew install bison
// for m1 chip
% arch -arm64 brew install bison

 

Flex의 코드 구조

Flex 프로그램은 %%줄로 구분된 세 개의 섹션으로 구성됩니다

첫 번째 섹션에는 선언 및 옵션 설정이 포함되어 있습니다. 두 번째 섹션은 패턴 및 작업 목록이 세 번째 섹션은 생성된 스캐너에 복사되는 C 코드이며 일반적으로 작업의 코드를 통해 실행 순서를 나타냅니다.

• Example 1-1. Word Count fb1-1.l

 /* 선언부 */
%{
int chars = 0;
int words = 0;
int lines = 0;
%}

%%
 /* 작업부 */
[a-zA-Z]+  { words++; chars += strlen(yytext); }
\\n         { chars++; lines++; }
.          { chars++; }

%%
 /* 실행부 */
main(int argc, char **argv)
{
  yylex();
  printf("%8d%8d%8d\\n", lines, words, chars);
}

1. 선언부

선언부에서 %{ 내부의 코드는 %} 생성된 C 소스 파일의 시작 부분에 복사됩니다. 위의 코드의 경우 chars, words, lines에 대한 정수형 변수만 설정합니다.

2. 작업부

작업부에서 각 패턴이 줄의 시작 부분에 있고 그 뒤에 패턴이 일치할 때 실행할 C 코드가 있습니다. C 코드는 하나의 명령문이거나 중괄호{ }로 묶인 여러 줄 블록일 수 있습니다.

위의 코드의 패턴을 보면 [a-zA-Z]+ ⇒ 하나 이상의 알파벳인 경우, words, chars의 수를 증가시킵니다.

yytext ⇒ 방금 일치한 입력 텍스트를 가리킵니다.

\\n ⇒ 새줄이 추가되는 경우, chars와 lines의 수를 증가시킵니다.

. ⇒ 모든 문자에 대해, chars의 수를 증가시킵니다.

3. 실행부

실행부의 C 코드는 flex와 함께 생성된 lexical 를 실행하는 프로그램입니다.

yylex() 주로 Flex에서 생성된 lexical를 호출하는 역할을 수행하는 함수입니다. 이 함수는 소스 코드나 입력 데이터를 읽어 들여 미리 정의된 규칙에 따라 토큰으로 분리하는 역할을 합니다.

 

코드 실행

$ flex fb1-1.l
$ cc lex.yy.c -lfl
$ ./a.out
The boy stood on the burning deck
shelling peanuts by the peck
^D
2 12 63
$

 

참고문서

https://web.iitd.ac.in/~sumeet/flex__bison.pdf

GitHub - jmparis/flex-bison-oreilly: Flex and bison sample code

GitHub - jmparis/flex-bison-oreilly: Flex and bison sample code

youtube.com/@RyuJT658/videos?view=0&sort=dd&shelf_id=0

류종택