VB.NET で２重引用符を文字列として表すには、２重引用符を４つ並べて書く（""""）か
ControlChars.Quote を使用します。
Console.WriteLine("２重引用符" & """" & "を表示します")
Console.WriteLine("２重引用符" & ControlChars.Quote & "を表示します")
C# で２重引用符を文字列として表すには、\"とするか @で始まる「逐次的文字列リテラル」を使用して""と書きます。
Console.WriteLine("２重引用符 \"を表示します");
Console.WriteLine(@"２重引用符 ""を表示します");