我們取作文中的一句話做為例句:也 因 此 嘗 遍 各 種
酸 甜 苦 辣
1 2 3 4 5 6 7 8 9 10 11
如果利用bi-gram斷詞,它會將上述的例句分析如下:
也因|因此|
此嘗|嘗遍|遍各|各種|種酸|酸甜|甜苦|苦辣
為什麼將此例句做如此的分析?
bi-gram斷詞
,主要是利用統計的方式,從詞庫中抓出詞彙出來,計算出哪兩個連續的字合為一詞的機率較高,以判斷其正確性。
跳躍式bi-gram斷詞
計算出哪兩個分隔開來的字合為一詞的機率較高,以判斷其正確性。我們一樣以上述的例句分析如下:
也此|此遍|遍種|種甜|甜辣
(13.35.57......)
因嘗|嘗各|各酸|酸苦 (24.46.68......)
此各|各甜 (36.69.........) |