Frank Carius

Autor: Frank Carius
Enterprise Architect / Partner – auf LinkedIn vernetzen

Die Einführung von Microsoft Copilot stellt für viele Unternehmen eine Herausforderung dar, die über die reine Softwareintegration hinausgeht. Neben der Umstellung für die Mitarbeitenden müssen Sie auch im Bereich der Netzwerkinfrastruktur gut vorbereitet sein. Ein gutes Verständnis der Prozesse ist wichtig, um Microsoft Copilot optimal zu nutzen und Ihr Netzwerk sicher und effizient zu gestalten.

In diesem Artikel beleuchten wir die wichtigsten Aspekte der Netzwerkanforderungen von Microsoft Copilot. So erhalten Sie einen tieferen Einblick in die technischen Details, die für eine erfolgreiche Integration notwendig sind.

Microsoft Copilot, ChatGPT und andere KIs: Was sind die Unterschiede?

Machine Learning und ganz allgemein „KI“ ist schon lange kein Nischenthema mehr. ChatGPT ist aus dem Alltag vieler Unternehmen nicht mehr wegzudenken und auch das Thema Microsoft Copilot ist in letzter Zeit mehr als ein Begriff. Viele Firmen denken derzeit über die Einführung von Microsoft Copilot nach oder nutzen den Dienst bereits, um die eigenen Daten effizienter zu erschließen. Obwohl die zugrundeliegende Technologie hinter beiden Tools vergleichbar ist, haben Copilot und ChatGPT unterschiedliche Voraussetzungen:

  • ChatGPT und Co
    Microsoft, aber auch Google und andere Hersteller haben Wissen aus dem Internet und andere Quellen zum Training ihrer Modelle genutzt und erlauben Anwendern über Fragen ihre Aufgabenstellungen zu lösen. Die KI stützt sich dabei auf riesige Datenbestände, um Antworten, Bilder, Musik o.ä. zu generieren. Die einmal gelernten Daten stehen einer breiten Anwendergruppe zur Verfügung und sind nicht individualisiert.

  • Microsoft Copilot
    Im Gegensatz dazu nutzt Copilot Ihre eigenen Daten, z. B. Sprache in Teams, Dokumente in SharePoint oder OneDrive, Mails in Exchange und andere Quellen aus Ihrem Tenant oder von Ihnen bereitgestellte Daten, um diese zu lernen und auf Ihre Fragen zu reagieren. Dies drückt sich auch in den Kosten und in der Mindestanzahl an Lizenzen aus.

  • Eigene KI
    Sie können natürlich unabhängig von ChatGPT und Copilot Ihre eigene KI lokal installieren und Ihre lokalen Server indexieren.

Anpassung Ihres Netzwerks für Microsoft Copilot:

Doch was müssen Sie in Ihrer Netzwerkinfrastruktur bei der Einführung von Microsoft Copilot beachten? Generell wird Copilot von Microsoft in der Cloud betrieben und die Anwender greifen auf die verschiedenen Dienste im Hintergrund über Ihr Netzwerk zu. Microsoft hat die Anforderungen an Microsoft Copilot für Microsoft 365 und die genutzten Kommunikationswege hier beschrieben.

Microsoft beschreibt als Netzwerkanforderungen, dass Copilot zuerst einmal die klassischen Microsoft Cloud-Endpunkte anspricht und so die gleichen Prinzipien zu beachten sind, wie sie auch für andere Microsoft 365 Dienste gelten:

  • 1

    Local Breakout
    Vermeiden Sie Verzögerungen im Netzwerk, indem Sie den Datenverkehr direkt ins Internet leiten, anstatt Umwege über das firmeninterne LAN zu nehmen. Es empfiehlt sich, den Datenverkehr so nah wie möglich am Ursprung zu bearbeiten und zu filtern, um die Effizienz zu steigern.

  • 2

    Proxy-Bypass
    Lassen Sie den Datenverkehr bestimmter Anwendungen nicht durch Proxy-Server inspizieren. Dies verhindert Verzögerungen, die durch die Überprüfung jedes Datenpakets entstehen können, und ermöglicht einen direkteren und schnelleren Zugriff.

  • 3

    VPN-Umgebung
    Für Mitarbeiter im Homeoffice empfiehlt es sich, eine Direktverbindung ohne Umleitung über das Firmennetzwerk zu ermöglichen. Dies reduziert nicht nur die Belastung des VPNs und der firmeninternen Netzwerkinfrastruktur, sondern verbessert auch die Zugriffszeiten für die Nutzer.

All diese Voraussetzungen unterscheiden sich nicht von den bisherigen Anforderungen an eine Microsoft 365 Nutzung und werden durch Netzwerkmonitoring-Tools wie Rimscout bereits erfasst. Übrigens scheint auch, Stand März 2024, Copilot in den Microsoft 365 Apps das Zertifikat zu prüfen und verwehrt sich z. B. einer Analyse mit Fiddler. Damit dürfte auch ein Inspection Proxy mit eigenen Zertifikaten ein Problem darstellen und ein Bypass für diese URLs erforderlich werden.

Wie arbeiten WebSockets und was bedeutet dies für Ihr Netzwerk?

Neu ist die Forderung, dass auch “WebSocket”-Verbindungen auf einen Bereich der IP-Adressen möglich sein müssen, die auf Position 46 der Liste (https://aka.ms/o365ip) aufgeführt werden, anstatt klassischer HTTP-Abfragen. Darunter befinden sich alle URLs mit den Namen “*.officeapps.live.com, *.online.office.com, office.live.com” aber auch jede Menge IP-Adressen.

Der klassische Zugriff auf Webseiten erfolgt über HTTP/HTTPS, bei dem ein Browser oder Client eine URL mit einer GET-Methode anfordert oder Daten über “POST” an die Cloud sendet. Outlook fragt so nach neuen E-Mails und der Exchange Server antwortet sofort oder wenn eine neue Mail vorliegt. WebSockets haben einen anderen Einsatzzweck, indem Sie die Verbindung bidirektional offenhalten. Sie starten in der Regel mit einem HTTP-GET aber führen dann ein “UPGRADE” auf WebSockets durch, wenn die Gegenstelle dies unterstützt. Danach ist ein transparenter Tunnel zwischen Client und Server aufgebaut, über den beide Endpunkte jederzeit Daten senden können. WebSockets kommen daher sehr oft bei Diensten zum Einsatz, die kontinuierlich oder mit minimaler Verzögerung Daten an den Client übertragen. Hier wäre es höchst ineffektiv, wenn der Client z. B. jede Sekunde eine neue Abfrage (Polling) senden würde.

Der Wechsel auf WebSockets bedeutet aber eine entsprechende Konfiguration in Ihrem Netzwerk, denn Proxy-Server und Firewalls müssen auf dieses veränderte Verhalten eingestellt sein, da die Verbindung sehr lange bestehen kann und auch die Übertragung im Vergleich zu HTTP-Verkehr “atypisch” ist. So könnten Intrusion Detection Systeme (IDS) oder Firewalls die Verbindung unterbinden

Technisch ist es weiterhin eine HTTP/HTTPS-Verbindung, die mit einem GET oder POST startet und dann innerhalb des Protokolls die Betriebsart wechselt. Der Client stellt einen http-Request gegen den WebSocket Endpunkt:

GET /chathub HTTP/1.1
Host: copilot.microsoft.om
Upgrade: WebSocket
Connection: Upgrade

Die Gegenseite muss darauf mit einem „101 Switching“ antworten:

HTTP/1.1 101 Switching Protocols
Upgrade: WebSocket
Connection: Upgrade

Danach sehen Sie im WebSocket-Stream die Anfrage und den Aufbau der jeweiligen Antworten.

Ausschnitt eines Fiddler-Trace mit der Microsoft Copilot Suche nach „Was ist Rimscout?“ und den darauf folgenden Aufbau der Antwort.

Rimscout und WebSocket-Prüfungen

Aufgrund der Funktionsweise von Websockets über HTTP/HTTPS können Sie schon heute mit Rimscout die Gegenstellen in einem Test mit einbeziehen und die wichtigen Faktoren ermitteln:

  • Konfiguration
    Rimscout kann die lokale Konfiguration des Clients erfassen, berichten und prüfen, um hier grundlegende Fehler, z. B. falsche DNS oder Proxy Server zu erkennen.

  • Erreichbarkeit
    Über verschiedene Testarten (DNS, ICMP UDP, TCP, http etc.) kann Rimscout mit einem individuellen Test die generelle Erreichbarkeit prüfen.

Über verschiedene Testarten (DNS, ICMP UDP, TCP, http etc.) kann Rimscout mit einem individuellen Test die generelle Erreichbarkeit prüfen.
Um aber die WebSocket-Funktion selbst zu testen, müsste Rimscout nicht nur das Upgrade der Verbindung von HTTPS auf WebSockets machen, sondern auch den WebSocket-Datenstrom simulieren können. Microsoft Copilot und anderen Dienste werden dazu aber immer eine Authentifizierung erfordern. Damit stellt sich die Frage der Sicherheit solcher Anmeldedaten und welchen Mehrwert so ein tiefgreifender Test liefert.

Aus unserer Sicht ist es ausreichend, die Qualität der Verbindung zum Copilot-Service zu ermitteln. Wir prüfen, ob einen WebSocket-Verbindung möglich ist, z. B. auch wenn Sie über einen HTTP-Proxy geleitet wird.

Weitere Bausteine in Microsoft Copilot

Die meisten Quellen behandeln nur die Kommunikation zwischen dem Anwender und dem Microsoft Copilot Backend, um Fragen und Prompts zu stellen und die Antworten zu erhalten. Zusätzlich kann Microsoft Copilot auch externe Datenquellen abfragen oder in den semantischen Index aufnehmen. Dazu gibt es zwei Wege:

  • Konnektoren
    Diese Funktion verbindet die Copilot-Suche mit anderen Datenquellen. Als Administrator können Sie z.B. Dateiserver, Webseiten und andere Dienste miterfassen lassen. Microsoft Copilot verbindet sich dazu mit den Diensten, um die Inhalte in den „semantischen Index“ aufzunehmen. Dieser Prozess erfolgt asynchron und ist daher nicht zeitkritisch, kann aber große Datenmengen umfassen.

  • Plugins
    Diese Erweiterung von Microsoft Copilot auf dem Client nutzt die Anfrage des Benutzers, um diese auch an andere interne Dienste zu senden und mit den Ergebnissen anzureichern. Auf diese Weise kann z.B. eine Verbindung zu einem ERP/CRM-System oder einem Helpdesk realisiert werden.

Beide Anbindungen kommunizieren über das Netzwerk mit dem Service. Initiator ist dabei aber Microsoft Copilot und nicht der Client, so dass ein Netzwerk-Monitoring wie Rimscout hier keine Werte erfassen kann.

Zusammenfassung

Die Anforderungen an das Netzwerk, die durch die Anfragen der Benutzer an Microsoft Copilot entstehen, sind als unkritisch einzustufen. Es handelt sich nicht um Echtzeitverkehr, und die KI benötigt für die Zerlegung der Anfrage in Token, die Abfrage des semantischen Index und die Generierung der Ergebnisse in der Regel mehr Zeit, als dass die Latenz im Netzwerk spürbar wäre. Dennoch muss die Verbindung grundsätzlich möglich sein und darf nicht durch Proxy-Server o.ä. verhindert werden.

Testen Sie Rimscout in Ihrer Umgebung.
Ist Ihr Netzwerk bereit für die Nutzung von Microsoft Copilot? Testen Sie ganz einfach für einen Monat kostenlos den vollen Funktionsumfang von Rimscout.