Skip to content

Commit 29f6e0c

Browse files
Huqingnan123Huqingnan123
authored
Finish Ln18-DP-ZeroOneKnapsack & Ln19-DP-ContextFreeGrammar (#25)
* version 1.0 * version 2.0 * version 3.0 * version 3.0 * version 4.0
1 parent 334d285 commit 29f6e0c

4 files changed

Lines changed: 374 additions & 3 deletions

File tree

‎Makefile‎

Lines changed: 6 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -1,12 +1,15 @@
11
SRC=src
22

33
TEX=\
4-
$(SRC)/example.tex\
54
$(SRC)/Ln1-AsymptoticOrderGrowth.tex\
6-
$(SRC)/dynamic-programming-1.tex\
7-
$(SRC)/Network-flows.tex\
5+
$(SRC)/Tiling-Problem.tex\
6+
$(SRC)/stable-matching.tex\
87
$(SRC)/Ln9-NearestPoints.tex\
98
$(SRC)/Ln11-LargeIntegerMultiplication.tex\
9+
$(SRC)/dynamic-programming-1.tex\
10+
$(SRC)/Ln18-DP-ZeroOneKnapsack.tex\
11+
$(SRC)/Ln19-DP-ContextFreeGrammar.tex\
12+
$(SRC)/Network-flows.tex\
1013
$(SRC)/Image-segmentation.tex\
1114

1215
all: book.pdf

‎book.tex‎

Lines changed: 2 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -44,6 +44,8 @@
4444
\input{src/Ln9-NearestPoints.tex}
4545
\input{src/Ln11-LargeIntegerMultiplication.tex}
4646
\input{src/dynamic-programming-1.tex}
47+
\input{src/LN18-DP-ZeroOneKnapsack.tex}
48+
\input{src/Ln19-DP-ContextFreeGrammar.tex}
4749
\input{src/Network-flows.tex}
4850
\input{src/Image-segmentation.tex}
4951

‎src/Ln18-DP-ZeroOneKnapsack.tex‎

Lines changed: 122 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,122 @@
1+
\chapter{动态规划之01背包问题}
2+
3+
\begin{introduction}
4+
\item 问题引入
5+
\item 基本思路
6+
\item 算法优化
7+
\item DP初始化问题
8+
\item 01背包小结
9+
\end{introduction}
10+
11+
\section{问题引入}
12+
现有$N$件物品和一个容量为$V$的背包，放入第i件物品耗费的背包容量是$C_i$，得到的价值是$W_i$。现在要求在限定的背包总重量内进行物体的选择装入，求解将哪些物品装入背包可以使背包内所装物品的价值总和最大。
13+
\section{基本思路}
14+
15+
\subsection{贪心法}
16+
下面将举例说明贪心法无法得到0-1背包问题的最优解。给出物体列表以及属性如下表所示：
17+
18+
\begin{center}
19+
\begin{tabular}{cccccc}
20+
\toprule %添加表格头部粗线
21+
W& 20& 30& 40& 50& 60\\
22+
\midrule %添加表格中横线
23+
P& 20& 30& 44& 55& 60\\
24+
P/W& 1& 1& 1.1& 1.1& 1\\
25+
\bottomrule %添加表格底部粗线
26+
\end{tabular}
27+
\end{center}
28+
29+
对于满足满足总重量限制为100，根据\textbf{贪心算法的解以及最优解对比如下表所示}：
30+
31+
\begin{center}
32+
\begin{tabular}{ccccccc}
33+
\toprule %添加表格头部粗线
34+
选择策略& x1& x2& x3& x4& x5& 总价值\\
35+
\midrule %添加表格中横线
36+
最小重量优先& 1& 1& 1& 0& 0& 94\\
37+
最大价格优先& 0& 1& 0& 0& 1& 101\\
38+
P/W 最大优先& 0& 0& 1& 1& 0& 99\\
39+
= 实际最优解 =& 1& 1& 0& 1& 0& \textbf{105}\\
40+
\bottomrule %添加表格底部粗线
41+
\end{tabular}
42+
\end{center}
43+
44+
可见\textbf{事实证明贪心算法无法得到01背包问题最优解}，因此在设计算法时不应该使用贪心策略。
45+
46+
\subsection{动态规划法}
47+
背包问题具有最优子结构性质，所谓最优子结构性质是指一个问题的最优解中所包含的所有子问题的解都是最优的，所以可以用动态规划法去得到正确的解。这是最基本的背包问题，特点是：每种物品仅有一件，可以选择放或者不放。
48+
用子问题定义状态：即 $F[i, V]$ 表示前 $i$ 件物品恰放入一个容量为 $V$ 的背包可以获得的最大价值。则其状态转移方程便是：
49+
$$
50+
F[i, V] = \max{\{F[i-1, V], F[i-1, V-C_i] + W_i\}}
51+
$$
52+
这个方程非常重要，基本上所有跟背包相关的问题的方程都是由它衍生出来的。所
53+
以有必要将它详细解释一下：“将前$i$件物品放入容量为$V$的背包中”这个子问题，若只考虑第 $i$ 件物品的策略（放或不放），那么就可以转化为一个只和前 $i-1$ 件物品相关的问题。如果不放第 $i$ 件物品，那么问题就转化为“前 $i-1$ 件物品放入容量为 $V$ 的背包中”，价值为 $F[i-1, V]$；如果放第 $i$ 件物品，那么问题就转化为“前 $i-1$ 件物品放入剩下的容量为 $V-C_i$ 的背包中”，此时能获得的最大价值就是 $F[i-1, V-C_i]$ 再加上
54+
通过放入第 $i$ 件物品获得的价值 $W_i$。伪代码如下,其中ItemsInfo是物品信息，N，V如题目描述中所述：
55+
56+
\begin{lstlisting}[language=python, caption = 伪代码实现--ZeroOneKnapsack]
57+
def ZeroOneKnapsack(ItemsInfo,N,V):
58+
for i in range(V+1):
59+
F[0,i] = 0
60+
for i in range(1,N+1):
61+
for v in range(Ci,V+1):
62+
F[i,v] = max(F[i-1,v],F[i-1,v-Ci]+Wi)
63+
return F[N,V]
64+
\end{lstlisting}
65+
66+
\section{算法优化}
67+
\subsection{优化空间复杂度}
68+
以上方法的时间和空间复杂度均为$O(V \times N)$，其中时间复杂度应该已经不能再优化
69+
了，但\textbf{空间复杂度却可以优化到 O(V)}。
70+
先考虑上面讲的基本思路如何实现，肯定是有一个主循环$i$从$1$一直到$N$，每次算出来
71+
二维数组$F[i, 0...V]$的所有值。那么，如果只用一个数组 $F[0...V]$，能不能保证第 $i$次循环结束后 $F[v]$ 中表示的就是我们定义的状态 $F[i, v]$ 呢？$F[i, v]$ 是由 $F[i-1, v]$ 和$F[i-1, V-C_i]$ 两个子问题递推而来，能否保证在推 $F[i, V]$时(也即在第 i 次主循环中推 F[v] 时)能够取用 $F[i-1, V]$ 和 $F[i-1, V-C_i]$ 的值呢？
72+
事实上，这\textbf{要求在每次主循环中我们让第二层循环的$v$从$V$到$C_i$的递减顺序计算 $F[v]$}，这样才能保证计算 $F[v]$ 时 $F[v-C_i]$ 保存的是状态 $F[i-1,v-C_i]$ 的值。伪代码如下：
73+
74+
\begin{lstlisting}[language=python, caption = 优化空间复杂度--二层循环倒序]
75+
def ZeroOneKnapsack(ItemsInfo,N,V):
76+
for i in range(V+1):
77+
F[i] = 0
78+
for i in range(1,N+1):
79+
for v in range(V,Ci,-1): //空间优化，一维数组即可
80+
F[v] = max(F[v],F[v-Ci]+Wi)
81+
return F[V]
82+
\end{lstlisting}
83+
84+
其中的一维状态转移方程$F[v] = max(F[v], F[v-C_i] + W_i)$ ，恰就对应于我们原来的二维转移方程，因
85+
为现在的 $F[v-C_i]$ 就相当于原来的 $F[i-1, v-C_i]$。如果将$ v $的循环顺序从上面的逆
86+
序改成顺序的话，那么则成了 $F[i, v] 由 F[i, v-C_i]$ 推导得到，则没有用到上一轮$i-1$对应的状态，与本题意不符。
87+
88+
\subsection{一个常数优化}
89+
\textbf{上面空间优化之后伪代码中的第二重循环$V \rightarrow C_i$的下限$C_i$也可以可以改进}。它可以被优化为$max(V-\sum_{i}^{N}C_i,C_i)$，所以二层循环伪代码就可以变成：
90+
\begin{lstlisting}[language=python, caption = 一个常数优化]
91+
for v in range(V, max(V - sum(Ci_List), Ci), -1): //空间优化 + 常数优化
92+
\end{lstlisting}
93+
这个优化之所以成立的原因可以使用最初始二维的状态转移方程思考一下。
94+
95+
\section{DP初始化问题}
96+
我们看到的求最优解的背包问题题目中，事实上有两种不太相同的问法。\textbf{有的题目
97+
要求“恰好装满背包”时的最优解，有的题目则并没有要求必须把背包装满}。这两种问法的实现方法是在初始化的时候有所不同。
98+
如果是第一种问法，要求恰好装满背包，那么在初始化时除了 $F[0]$ 为 $0$，其它
99+
$F[1...V]$ 均设为 $-\infty$，这样就可以保证最终得到的 $F[V]$ 是一种恰好装满背包的最优解。
100+
如果并没有要求必须把背包装满，而是只希望价格尽量大，初始化时应该将 $F[0..V]$
101+
全部设为 $0$。
102+
这是为什么呢？可以这样理解：初始化的 F 数组事实上就是在没有任何物品可以放
103+
入背包时的合法状态。如果要求背包恰好装满，那么此时只有容量为 $0$ 的背包可以在什
104+
么也不装且价值为 $0$ 的情况下被“恰好装满”，其它容量的背包均没有合法的解，属于
105+
未定义的状态，应该被赋值为$-\infty$了。如果背包并非必须被装满，那么任何容量的背包
106+
都有一个合法解“什么都不装”，这个解的价值为$ 0$，所以初始时状态的值也就全部为 $0$
107+
了。这个小技巧完全可以推广到其它类型的背包问题，初始化的细节就在于初始状态的定义。
108+
109+
110+
\section{背包问题小结}
111+
01 背包问题是最基本的背包问题，它包含了背包问题中设计状态、方程的最基本思
112+
想。另外，别的类型的背包问题往往也可以转换成 01 背包问题求解。故一定要仔细体
113+
会上面基本思路的得出方法，状态转移方程的意义，以及空间复杂度怎样被优化。
114+
115+
对于背包问题，0-1背包问题只是最简单最基本的一种，也可以再看看更复杂的背包问题。
116+
\begin{itemize}
117+
\item 完全背包问题
118+
\item 多重背包问题
119+
\item 混合三种背包问题
120+
\end{itemize}
121+
122+

‎src/Ln19-DP-ContextFreeGrammar.tex‎

Lines changed: 244 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,244 @@
1+
\chapter{动态规划之上下文无关文法}\label{header-n1150}
2+
3+
\begin{introduction}
4+
\item 综述
5+
\item 上下文无关文法及其派生树
6+
\item CYK算法
7+
\end{introduction}
8+
9+
\section{综述}\label{header-n1151}
10+
11+
\begin{itemize}
12+
\item
13+
上下文无关语言是一种形式语言（形式语言指在某个字母表上一些有限长字串的集合）。生成这种语言的文法叫做上下文无关文法，常用于计算机中语法分析器（Parsers）的构造。
14+
\item
15+
关于这个文法的具体使用在编译原理（以及计算理论）课程中会有详细的介绍，在这里我们只简要介绍其基本概念，着重介绍一个和上下文无关文法有关的动态规划算法------CYK算法（The
16+
CYK Parsing Algorithm）
17+
\end{itemize}
18+
19+
\section{上下文无关文法及其派生树}\label{header-n1157}
20+
21+
\subsection{上下文无关文法}\label{header-n1158}
22+
23+
\begin{itemize}
24+
\item
25+
下面先举一个上下文无关文法的例子（S为文法的source）：
26+
\end{itemize}
27+
28+
\(S\rightarrow aBb\) \quad
29+
\(B\rightarrow aBb|\epsilon\)
30+
31+
\begin{itemize}
32+
\item
33+
根据这个文法，如果我们想生成串aaabbb，可以进行如下推导：
34+
\end{itemize}
35+
36+
\(S\Rightarrow aBb \Rightarrow aaBbb \Rightarrow aaaBbbb \Rightarrow aaa\epsilon bbb \Rightarrow aaabbb\)
37+
38+
\begin{itemize}
39+
\item
40+
形式化地，我们将上下文无关文法定义成如下四元组形式：
41+
42+
\begin{itemize}
43+
\item
44+
\(G=(V,T,S,P)\)，其中\(G\)代表文法，\(V\)代表文法中的变量，\(T\)代表文法最终到达的常量，\(S\)代表文法的起始变量（source），\(P\)代表由变量和常量生成的文法。
45+
\item
46+
具体的，在上述文法中：
47+
48+
\begin{itemize}
49+
\item
50+
\(V=\{S,B\}\)
51+
\item
52+
\(T=\{a,b\}\)
53+
\item
54+
\(S=\{S\}\)
55+
\item
56+
\(P=\{S\rightarrow aBb , B\rightarrow aBb|\epsilon\}\)
57+
\end{itemize}
58+
\end{itemize}
59+
\item
60+
上述上下文无关文法对应语言：\(L=\{a^nb^n|n为大于或等于1的整数\}\)
61+
\end{itemize}
62+
63+
\subsection{派生树}\label{header-n1186}
64+
65+
\begin{itemize}
66+
\item
67+
上下文无关文法的派生数指的是把由上下文无关文法生成上下文无关语言的过程用树的形式表示出来，比如19.1.1中的文法可以表示成以下派生树：
68+
\end{itemize}
69+
70+
\begin{itemize}
71+
\item
72+
可以总结出，派生树的画法是，以S（soruce）节点作为根节点，父节点对应文法的左边，子节点对应文法的右边，建立派生树得到最后的串。最后，从左到右叶子结点的值就是最后生成的串。
73+
\end{itemize}
74+
75+
\section{CYK算法}\label{header-n1194}
76+
77+
\begin{itemize}
78+
\item
79+
CYK算法是一种基于动态规划思想的算法，要解决的问题是：给定串w，测试这个串是否能够用起始变量S生成。其算法的复杂度为\(O(n^3)\)
80+
\item
81+
CYK算法是由发现相同思想的三个人J. Cocke、 D. Younger和T.
82+
Kasami的名字来命名的。
83+
\item
84+
CYK算法不适用于在所有的context free
85+
language上直接使用，先要转换成乔姆斯基范式（Chomsky Normal
86+
Form）才能实现。
87+
\end{itemize}
88+
89+
\subsection{CNF（乔姆斯基范式）}\label{header-n1201}
90+
91+
\begin{itemize}
92+
\item
93+
文法只包含以下两种形式：
94+
\end{itemize}
95+
96+
\(A\rightarrow BC\) \quad
97+
\(A\rightarrow a\)
98+
99+
\begin{itemize}
100+
\item
101+
概括来说，即只能由变量生成两个变量或者生成一个最终常量
102+
\item
103+
转换方法如下：
104+
105+
\begin{itemize}
106+
\item
107+
将常量全部添加\(T_a\rightarrow a\)形式,替换其他生成式中所有的常量为变量
108+
\item
109+
将文法右侧所有的多变量变成二变量，即把\(A\rightarrow A_0A_1A_2\)替换成\(A\rightarrow A_0B，B\rightarrow A_1A_2\)形式（多变量同理）
110+
\end{itemize}
111+
\item
112+
一个转换的例子如下：
113+
114+
\begin{itemize}
115+
\item
116+
原文法：\(S\rightarrow ABa，A\rightarrow aab，B\rightarrow Ac\)
117+
\item
118+
转换后文法：\(S\rightarrow AV_1，V_1\rightarrow BT_a，A\rightarrow T_aV_2，V_2\rightarrow T_aT_b，B\rightarrow AT_c，T_a\rightarrow a，T_b\rightarrow b，T_c\rightarrow c\)
119+
\end{itemize}
120+
\end{itemize}
121+
122+
\subsection{CYK算法的基本内容}\label{header-n1224}
123+
124+
\begin{itemize}
125+
\item
126+
问题的形式化定义：对于一个上下文无关文法G和一个给定的串\(w=a_1a_2...a_n\)，求解是否存在一种推导（或一棵对应的派生树），使得G能够从S（source）生成对应的字串。
127+
\item
128+
动态规划的做法是，构造一个动态规划的表（这里以n=5为例子），如下图所示。
129+
130+
\begin{itemize}
131+
\item
132+
水平轴对应串\(w=a_1a_2...a_5\)
133+
\item
134+
表中\(x_{ij}\)对应着能够满足生成\(A\Rightarrow a_ia_{i+1}...a_j\)的变元A的集合。
135+
\item
136+
最后，如果source点S属于集合\(x_{1n}\)，证明这个串可以由S生成，否则则不行。
137+
\end{itemize}
138+
\end{itemize}
139+
140+
\subsection{算法一个具体例子上的执行过程}\label{header-n1238}
141+
142+
\begin{itemize}
143+
\item
144+
这一小节我们将用一个例子模拟CYK算法的执行过程，下一节将在此基础上归纳写出CYK算法的关键，也就是动态规划算法的转移方程
145+
\item
146+
考虑以下这个上下文无关文法，我们用其派生树生成了一个长度为7的串，如下图：
147+
\end{itemize}
148+
149+
\begin{itemize}
150+
\item
151+
对于串\(aaaabab\)，我们构造上述所说的动态规划表如下:
152+
\end{itemize}
153+
154+
\begin{itemize}
155+
\item
156+
对于上述动态规划表给出说明：
157+
158+
\begin{itemize}
159+
\item
160+
首先求解第一行（\(x_{ii}\)）有，其对应的集合就是生成字符串中每一个字符（常量）的源头的集合。例如常量a可以由变量A和C生成，所以其集合就是\{A\textbar C\}，常量b可以由变量B生成，所以其对应的集合就是\{B\}。
161+
\item
162+
从第二行开始，其结果完全依赖于第一行，例如\(x_{12}\)对应着字符串aa，我们将串aa分成两份，有且只能被分割为第一个a和第二个a这一种情况，那么要求解\(x_{12}\)的值，需要做下面两步：
163+
164+
\begin{itemize}
165+
\item
166+
求出\(x_{11}\)和\(x_{22}\)的笛卡尔积。算出结果为\{AA\textbar AC\textbar CA\textbar CC\}。
167+
\item
168+
寻找该笛卡尔积中的每一个元素对应的源头。例如AA、AC、CA都没有对应的，则都为空集，AC对应的源头为\{B\}。最后的结果将这四个集合求并集，得到\(x_{12}\)的值为\{B\}
169+
\end{itemize}
170+
\item
171+
第二行其余项的算法同计算\(x_{12}\)类似。
172+
\item
173+
第三行开始，每一个串都有多个划分，比如求解\(x_{13}\)，对应的串为aaa，我们就有两种划分，aa和a、a和aa，那么求解\(x_{13}\)只用遵循以下步骤即可：
174+
175+
\begin{itemize}
176+
\item
177+
分别用第二行的策略求出\(x_{12}\)和\(x_{33}\)的笛卡尔积，再寻找其源头，得到第一个集合；求出\(x_{11}\)和\(x_{33}\)的笛卡尔积再寻找其源头，得到第二个集合。
178+
\item
179+
将上述两个集合求并集得到\(x_{13}\)的结果
180+
\end{itemize}
181+
\item
182+
第三行其余项的算法同理。
183+
\item
184+
从第四行开始往上走，处理策略与第三行类似，只不过是对于要求解串的划分情况更多了而已。例如\(x_{15}\)对应aaaab，这个串有4种划分情况，将每种情况的笛卡尔积求源头，得到四个集合，对这四个集合求并集即得到\(x_{15}\)的结果。
185+
\end{itemize}
186+
\item
187+
下面我们将给出求解\(x_{ij}\)一般化的公式
188+
\end{itemize}
189+
190+
\subsection{19.3.4 状态转移方程以及算法伪代码}\label{header-n1277}
191+
192+
\begin{itemize}
193+
\item
194+
由上述举例我们已经了解到了具体的求解\(x_{ij}\)（从生成串的索引i到索引j对应的源头）的方法，这里归纳给出一般化公式即可：
195+
196+
\begin{itemize}
197+
\item
198+
首先给出一个函数souce(s)，其中s为一个集合或者一个字符（i=1时候），函数功能是求出s对应的源头的集合，例如\(source(a)=\{A|C\}\)，\(source(\{AA|AC|CA|CC\})={B}\)。
199+
\item
200+
基于求源头函数给出状态转移方程（假设原始串被存在数组a{[}N{]}中，串长为n，下标从1开始）：
201+
\end{itemize}
202+
203+
\(x_{ij}=\begin{cases}\bigcup_{k=i}^{k=j}source(x_{ik}\times x_{kj})& \text{j>i}\\source(a[i])& \text{j=i}\end{cases}\)
204+
205+
\begin{itemize}
206+
\item
207+
注：上述公式中\(\times\)符号代表笛卡尔积
208+
\end{itemize}
209+
\item
210+
给出算法的为代码如下（假设原始串被存在数组a{[}N{]}中，串长为n，下标从1开始）:
211+
\end{itemize}
212+
213+
\begin{lstlisting}[language = C++, caption = 算法伪代码]
214+
context_free(a[N])
215+
{
216+
int dp[N][N] //存表
217+
from len=1 to n //按照串长从1到n，横向计算每一行
218+
from i=1 to n-len+1 //计算每一行，索引值从1开始到n-len+1
219+
j=i+len-1
220+
dp[i][j]=compute xij //按照状态转移方程计算dp[i][j]
221+
if(S belongs to dp[1][n]) //如果起始点S在dp[1][n]中，这个串就可生成，否则不能生成
222+
return true
223+
else
224+
return false
225+
}
226+
\end{lstlisting}
227+
228+
\subsection{算法复杂度分析}\label{header-n1293}
229+
230+
\begin{itemize}
231+
\item
232+
算法复杂度分析如下：
233+
234+
\begin{enumerate}
235+
\def\labelenumi{\arabic{enumi}.}
236+
\item
237+
要构建整张动态规划表，需要循环次数\(O(n^2)\)
238+
\item
239+
每一次循环中，执行\(compute\)
240+
\(x_{ij}\)，其中我们语法中变量个数为常数个，即\(O(1)\)，其笛卡尔积的复杂度为\(O(1)\times O(1)=O(1)\)。而我们要对每一个笛卡尔积作不相容的合并操作（即合并集合中没有相同元素），最多合并n-1次，每个集合中元素数量为常数级，这一步不相容union复杂度为\(O(n)\)
241+
\item
242+
综上，总复杂度为\(O(n)\times O(n^2)=O(n^3)\)
243+
\end{enumerate}
244+
\end{itemize}

0 commit comments

Comments
 (0)