Integer linear optimization: Cutting Planes 1

Cutting-plane method

Cutting plane method is an approach to the solution of integer linear programming problems.First of all we do not consider that variables $x_{i}$ is an integer. But by adding linear constraints (so called cutting plane) the original feasible region will be cut.That part which was cut off contains only non-integer solution.Any integer feasible solution is kept in the ”modified” feasible region. This method is to point out how to find the right kinds of cutting planes (not necessarily only one to find), so that after cutting the feasible region finally we actually the get integer optimal solution. This method is proposed by R. E. Gomory, and it is also known as Gomory's cutting plane method.

Approach

(1) Search of a continuous optimum with simplex method.

if integer Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): \Rightarrow

end, otherwise continue with (2).

(2) Insert Cutting Plane. Continue with (1).

The step of inserting Cutting Plane:

We get from the optimal but non-integal tableau the equation Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): BV_i+\sum a_{ij}NBV_j = b_i

(Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): \ast

)

Seperate both $a_{i}j$ and $b_{i}$ into integer fraction $g$ and the rest $f$:

Namely

$a_{ij}=g_{ij}+f_{ij}$ $\qquad$ (Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): 0 \leq f_{ij} < 1

)

$b_{i}=g_{i}+f_{i}$ $\qquad$ (Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): 0 \leq f_i < 1

)

We rewrite the equation (Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): \ast

) to

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): BV_i+\sum g_{ij}NBV_j -g_i= f_i-\sum f_{ij}NBV_j

By introducing a new slack variable we obtain a cutting plane:

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): BV_i'-\sum f_{ij}NBV_j -g_i= -f_i

BV:  Basis variable
NBV: Non basis variable
a,b: Coefficients from tableau
g:   integer fraction
f:   rest

Example

Consider the integer optimization problem

Maximize $Z=3x_{1}+4x_{2}$

Subject to

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): 3x_1-x_2 \le 12

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): 3x_1+11x_2 \le 66

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): x_1,x_2 \geq 0

and $x_{1},x_{2}$ integer

Introduce slack variables $y_{A},y_{B}$ to produce the standard form

Maximize Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): Z = 3x_1-x_2

Subject to

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): y_A+3x_1-x_2 \le 12

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): y_B+3x_1+11x_2 \le 66

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): x_1,x_2 \geq 0

and $x_{1},x_{2}$ integer

Initial tableau

	$x_{1}$	$x_{2}$
$Z$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -3	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -4	$0$
$y_{A}$	$3$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -1	$12$
$y_{B}$	$3$	$11$	$66$

We use simplex method to get the optimal solution.(See "First optimal solution")

	$x_{1}$	$y_{B}$
$Z$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{21}{11}	${\frac {4}{11}}$	$24$
$y_{A}$	${\frac {36}{11}}$	${\frac {1}{11}}$	$18$
$x_{2}$	${\frac {3}{11}}$	${\frac {1}{11}}$	$6$

First optimal solution

	$y_{A}$	$y_{B}$
$Z$	${\frac {7}{12}}$	${\frac {5}{12}}$	${\frac {69}{2}}$
$x_{1}$	${\frac {11}{36}}$	${\frac {1}{36}}$	${\frac {11}{2}}$
$x_{2}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{1}{12}	${\frac {1}{12}}$	${\frac {9}{2}}$

Fehler beim Erstellen des Vorschaubildes: Die Miniaturansicht konnte nicht am vorgesehenen Ort gespeichert werden

From the tableau above we can get the following equations

$x_{1}+{\tfrac {11}{36}}y_{A}+{\tfrac {1}{36}}y_{B}={\tfrac {11}{2}}$

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): x_2 - \tfrac{1}{12} y_A + \tfrac{1}{12} y_B = \tfrac{9}{2}

We choose the first equation $x_{1}+{\tfrac {11}{36}}y_{A}+{\tfrac {1}{36}}y_{B}={\tfrac {11}{2}}$,which has the greatest fraction. It can be written as following:

$x_{1}+{\tfrac {11}{36}}y_{A}+{\tfrac {1}{36}}y_{B}=5+{\tfrac {1}{2}}$

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): \tfrac{11}{36} y_A + \tfrac{1}{36} y_B = \tfrac{1}{2} + (5-x_1)

Here we introduce a new slack variable $y_{C}$,so the equation will be writen:

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): y_C-\tfrac{11}{36} y_A - \tfrac{1}{36} y_B = -\tfrac{1}{2}

The first cutting plane with original variables: $y_{C}+x_{1}=5$

First optimal solution extended

	$y_{A}$	$y_{B}$
$Z$	${\frac {7}{12}}$	${\frac {5}{12}}$	${\frac {69}{2}}$
$x_{1}$	${\frac {11}{36}}$	${\frac {1}{36}}$	${\frac {11}{2}}$
$x_{2}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{1}{12}	${\frac {1}{12}}$	${\frac {9}{2}}$
$y_{C}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{11}{36}	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{1}{36}	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{1}{2}

Fehler beim Erstellen des Vorschaubildes: Die Miniaturansicht konnte nicht am vorgesehenen Ort gespeichert werden

The basic solution corresponding to this tableau is not feasible, since the right-hand side in the last row is negative. On the other hand, the coeffcients in the first row are all non-negative — indicating dual-feasibility. So we use the dual simplex method to solve the relaxation.We choose pivot element Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{11}{36}

here.

Second optimal solution

	$y_{C}$	$y_{B}$
$Z$	${\frac {21}{11}}$	${\frac {4}{11}}$	${\frac {369}{11}}$
$x_{1}$	$1$	$0$	$5$
$x_{2}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{3}{11}	${\frac {1}{11}}$	${\frac {51}{11}}$
$y_{A}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{36}{11}	${\frac {1}{11}}$	${\frac {18}{11}}$

So we have found the solution ,namely $x_{1}=5$ and $x_{2}={\frac {51}{11}}$. This solution is non-integral, so we seek a cut. For this purpose, we choose a row of the optimal tableau with a non-integral right-hand side. For instance, the second row of the optimal tableau says:

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): x_2-\tfrac{3}{11} y_C + \tfrac{1}{11} y_B = \tfrac{51}{11}

We can introduce a new slack variable y_D and rewrite the cut as

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): y_D-\tfrac{8}{11} y_C - \tfrac{1}{11} y_B = -\tfrac{7}{11}

The second cutting plane with original variables: $y_{D}+x_{1}+x_{2}=9$

With this new variable and this new constraint, the simplex tableau becomes

Second optimal solution extended

	$y_{C}$	$y_{B}$
$Z$	${\frac {21}{11}}$	${\frac {4}{11}}$	${\frac {369}{11}}$
$x_{1}$	$1$	$0$	$5$
$x_{2}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{3}{11}	${\frac {1}{11}}$	${\frac {51}{11}}$
$y_{A}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{36}{11}	${\frac {1}{11}}$	${\frac {18}{11}}$
$y_{D}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{8}{11}	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{1}{11}	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{7}{11}

Fehler beim Erstellen des Vorschaubildes: Die Miniaturansicht konnte nicht am vorgesehenen Ort gespeichert werden

So we also use the dual simplex method to solve the relaxation. Then we get

Third optimal solution

	$y_{D}$	$y_{B}$
$Z$	${\frac {21}{8}}$	${\frac {1}{8}}$	${\frac {33}{8}}$
$x_{1}$	${\frac {11}{8}}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{1}{8}	${\frac {33}{8}}$
$x_{2}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{3}{8}	${\frac {1}{8}}$	${\frac {39}{8}}$
$y_{A}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{9}{2}	${\frac {1}{2}}$	${\frac {9}{2}}$
$y_{C}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{11}{8}	${\frac {1}{8}}$	${\frac {7}{8}}$

This is optimal, but not integral. For our next cut, we choose the third row:

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): x_2-\tfrac{3}{8} y_D + \tfrac{1}{8} y_B = \tfrac{39}{8}

We introduce a new slackness variable y_E and get a new constraint:

Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): y_E-\tfrac{5}{8} y_D - \tfrac{1}{8} y_B = -\tfrac{7}{8}

The third cutting plane with original variables: $y_{E}+x_{1}+2x_{2}=13$

The new simplex tableau is showed as following

Third optimal solution extended

	$y_{D}$	$y_{B}$
$Z$	${\frac {21}{8}}$	${\frac {1}{8}}$	${\frac {33}{8}}$
$x_{1}$	${\frac {11}{8}}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{1}{8}	${\frac {33}{8}}$
$x_{2}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{3}{8}	${\frac {1}{8}}$	${\frac {39}{8}}$
$y_{A}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{9}{2}	${\frac {1}{2}}$	${\frac {9}{2}}$
$y_{C}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{11}{8}	${\frac {1}{8}}$	${\frac {7}{8}}$
$y_{E}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{5}{8}	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{1}{8}	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -\frac{7}{8}

Fehler beim Erstellen des Vorschaubildes: Die Miniaturansicht konnte nicht am vorgesehenen Ort gespeichert werden

Again use dual simplex method to solve it.Then we can obtain

Final tableau

	$y_{D}$	$y_{E}$
$Z$	$2$	$1$	$31$
$x_{1}$	$2$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -1	$5$
$x_{2}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -1	$1$	$4$
$y_{A}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -7	$4$	$1$
$y_{C}$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -2	$1$	$0$
$y_{B}$	$5$	Fehler beim Parsen (http://mathoid.testme.wmflabs.org Serverantwort ist ungültiges JSON.): -8	$7$

This is optimal and integral. The solution of our IP is thus

$x_{1}=5,x_{2}=4$

Reference

An example of the gomory cutting plane algorithm