#set heading(numbering: "1.1.1.1.")

 #show raw: set text(font: "Noto Sans Mono CJK TC") 


#set page("a5")

#set text(
  font: ("New Computer Modern", "AR PL UMing TW"),
  size: 11pt
)

#show heading: it => [
  #set text(font: "Noto Serif CJK TC",
          weight: "black")
  #it.body
]

#set par(  justify: true,leading: 1em,
)

#align(center)[#set text(
  font: ("EB Garamond 08"),
  weight:"medium",
  size: 20pt,
)
  Clo: another typesetter]
#align(center)[#box([#set text(size: 15pt,
 font:  "Noto Serif CJK TC",
 weight:"medium")
一個排版器的實作心得])]
#box(
  height:0.5em
)
#align(center)[#box([#set text(size: 11pt,
 font:  "AR PL UMing TW",
 weight:"light")
陳建町])]

#pagebreak()




#set page(
  margin: (top: 60pt, bottom: 20pt),
  header: locate(
        loc => if (calc.odd(loc.page()) == true){
            [#set align(right)
            #numbering("i", loc.page())
            ]
        } else {
            [#set align(left)
            #numbering("i", loc.page())]
        }
    ));



#heading(level:2, "版權聲明",outlined:false)

(c) 2023 陳建町 (Tan, Kian-ting)

本書內容非經許可，禁止複製、分發、商業使用等違反著作權法之行為。

然書中之程式碼，採用 #link("https://opensource.org/license/mit/")[MIT許可證]授權。

#pagebreak()

#outline(
   title: align(left, [目#box(width:1em)錄 #box(
  height:1.5em)]),
   target: heading.where(outlined: true),
)

#pagebreak()

#set page(
  numbering: "i", 
  number-align: top+right)

#heading(numbering: none, "序言")

以前從國中時候試用Linux以及架站以後，就開始想用LaTeX排版些自己所寫的東西，其中包含覺得LaTeX的語法不好想要重造輪子。就算後來大學沒有走上資訊工程這條路，還是希望有天至少能夠完成個能用的雛形。

但是這是涉及字體檔案的處理、PDF的處理、語法分析，後來自己因為不知道如何開發，所以一直停擺。不是遇到很多蟲，就是效能問題有缺失。因為時間繁忙很少更不消說了。甚至買了Knuth教授的 _Digital Typography_，想要瞭解斷行演算法，結果粗估五、六十頁，所以幾乎沒有讀。

另外筆者一個分支興趣是編譯器的相關知識，所以開始讀和王垠的編譯器思想系出同門的Jeremy G. Siek所著作之_Essential of Complication: An Incremental Approach in Racket_（編譯之要素：Racket語言的遞增的方法）。我想到：既然編譯器這種複雜的軟體，可以一層一層的用pass來遞增功能，就像水彩從背景、大物體一直由少漸多的完成。而排版軟體也是把使用者輸入的排版之領域特定語言(DSL)轉換成文字、圖形和二維座標對應關係（最後匯出成PDF或SVG等等）的編譯器，若是能夠用層層遞增的方法來完成，相信也能夠避免結構的複雜化導致錯誤容易發生的挫折。

然而排版語言不只是輸入文字轉圖形而已，更重要的是還要有因應美觀的自動斷行(justification)和斷字(hyphenation)等等的演算法、還有PDF的基本知識、字型函式庫的取用、排版要求（多欄）、甚至還牽涉到語言特有的特性：比如東亞全形文字（漢字、諺文、日文假名、注音符號）和非全形文字中間要加空白，以及從左寫到右的文字（希伯來字母和阿拉伯字母等）的排版方法，不一而足。

為了簡化起見，且目標讀者是臺灣的受眾，本書僅涉及到ASCII英文字母——頂多加些一些附加符號(diacritics)和漢字的排版。其他的功能希望讀者可以漸次由少漸多的附加。另外這邊會使用到一些LISP的表達式來表達抽象語法樹，若是不懂的話，可以看一點教 Lisp或是Scheme的書，如SICP。另外這本書不是編譯原理和描述PDF規格的書，不涉獵底層的知識，有需要的可以參考相關領域的書。

#heading(numbering: none, "致謝")

感謝Donald Knuth教授開發出這麼一套排版系統以及排版的演算法，除了造福科學排版的諸多用戶外，也間接鼓舞我想要研究排版軟體如何實作；感謝Jeremy G.Siek老師的_Essential of Complication: An Incremental Approach in Racket_，讓我獲得排版語言編譯器設計的啟發。感謝王垠讓我對編譯器相關的技術有興趣，從而斷斷續續學習相關的資訊。

感謝愛爾蘭語，除了讓我對語言和語言復興的知識打開新的世界以外，這個軟體的名字Clo也是從這裡來的（cló有「活字」的意思，因為技術限制抱歉沒辦法輸入長音符號）。

感謝我的父母，雖然專長不是電腦資訊科技，但是要感謝他們讓我讓我有餘力能夠在中學的時候研究這種興趣，這條路才能走下去。

感謝這本書閱讀的人們，讓我知道筆者不是孤單的。

Siōng-āu Kám-siā góa ê Siōng Chú, nā-bô i ê hû-chhî kap pó-siú, chit-pún chheh iā bô-hó oân-sêng.（最後感謝上主，若無扶持保守，這本書也很難完成）

#pagebreak()


#set page(
  margin: (top: 60pt, bottom: 20pt),
  header: locate(
        loc =>{ 
        let chapter_query = query(selector(heading.where(level: 1)).after(loc),loc)
    let section_query = query(selector(heading.where(level: 2)).after(loc),loc)
    let chapter = "";
    let section = "";
    if chapter_query == (){chapter = ""}
    else{chapter = chapter_query.at(0).body};
    if section_query == (){section = ""}
    else{section = section_query.at(0).body}
        
        
        
        
        if (calc.odd(loc.page()) == true){
            grid(
  columns: (0.333333fr, 0.333333fr, 0.333333fr),

text(style: "italic")[ ],
[#set align(center)
#chapter],
[ #h(1fr) #loc.page-numbering()])
        } else {
            grid(
  columns: (0.333333fr, 0.333333fr, 0.333333fr),

text(style: "italic")[#loc.page-numbering()],
[#set align(center)
#section],
[ ])
        }}
    ));

#show heading: it => [
  #set text(font: ("New Computer Modern", "Noto Serif CJK TC"),
          weight: "black")
  #counter(heading).display() #it
]


#set page(numbering: "1")
#counter(page).update(1)
#set heading(numbering: "1.1.1.1.1")
= 先備知識

這不是教一位入門使用者如從零知識撰寫排版軟體的書，讀者應該有知道如何使用靜態型別語言的經驗，比如一點C、或是Rust等等。另外抽象語法樹為求方便，使用LISP撰寫，所以需要會LISP和Scheme的知識（知名教科書SICP的開頭可以讀一讀）。

這本書也不教編譯理論和tokenizing、parsing、狀態機等等的，頂多只會帶到一些很基礎的知識，有需要的請另外再讀。所以使用者需要會有使用正規表達式(regex)的能力。

== 抽象語法樹

C語言、Python語言就算有許多的關鍵字、操作符、符號或是常數變數，在編譯器分析語法以後，最後會轉成編譯器可以操作的樹結構，然後再轉成我們想要的另一個語言的樹，最後輸出另一個語言的程式碼。

但是什麼叫做抽象語法樹呢？我們先從一點句法知識來談。

學過中學國文文法的課程，會背一堆類似「主詞+動詞+受詞」、「主詞+(有/無)+受詞」的結構。可以換個說法，是句子=「主詞+動詞+受詞」或是「主詞+(有/無)+賓詞」的形式。我們將「=」寫成「::=」，「/」（或是）寫成「|」，動詞擴充變成「動詞片語」，就變成：

```
  句子 ::= (主詞 動詞片語 受詞) | (主詞 (有 | 無) 受詞)...

```

用這種形式表示的語言句法，叫做「BNF文法」。這種句法看起來很語言學，但是我們想：受詞和主詞可以為名詞、專有名詞或是「形容詞+名詞」；動詞片語可以為動詞或是「副詞+動詞」。因此這樣之規則，就可以生成許多句子，比如「我有筆」、「張三養貓」、「小芳慢慢移動檯燈」等等的句子。然後句子可以用上述規則，分析成語法的樹狀結構，如圖1把「我曾旅居新竹」寫成語法樹。

#figure(
  image("syntaxtree.svg", width: 40%),
  caption: [
    「我曾旅居新竹」的語法樹
  ],
  supplement: [圖],
)

同理，程式語言通常也有更嚴謹的這樣生成文法，可以用幾個簡單規則生出繁多的程式碼，而且合乎語法規定。這種生成文法也可檢查輸入的程式碼有沒有符合句法的規定。而這種語法生成的程式碼，去掉不需要的逗號等等符號，當然也可以做成語法樹，就是抽象語法樹 (abstract syntax tree, AST)，如圖2所示。

#figure(
  image("syntaxtree2.svg", width: 30%),
  caption: [
    `(2+2) == 4`的語法樹。注意括號已經刪除。
  ],
  supplement: [圖],
)

而上文的抽象語法樹，可以是我們把程式經過編譯器分析之後，用「樹」儲存的資料結構。而樹形結構我們可以使用Lisp語言的S表達式(S-expressiom; S-exp)來表示，本文採用這樣的表示方法。所以上文的`(2+2)==4`即`(== (+ 2 2) 4)`；`let baz = foo("bar")`，若是把foo("bar")這種函數套用(apply)寫成`(APPLY foo "bar")`，則其S-exp語法樹可寫為`(let baz(APPLY foo "bar"))`。