Jupyter AI

Beschreibung
Das Profil basiert auf dem offiziellen Jupyter-Profil Datascience. Daher sind dort bereits gängige Pakete für Python, Julia und R vorinstalliert. Zusätzlich enthält das Profil Jupyter AI, einen Chat-basierten KI-Assistenten, der bei der Entwicklung von Jupyter Notebooks unterstützt.
Nachdem das Profil gestartet wurde, erscheint in der linken Seitenleiste ein neues Nachrichten-Icon. Dort kann der Chatbot verwendet und das zugrundeliegende LLM konfiguriert werden.


Konfiguration
Bei der ersten Nutzung des KI-Assistenten müssen Sie die LLMs angeben, die Ihre Anfragen bearbeiten werden. Die Konfiguration wird Profil-übergreifend gespeichert, sodass die Modelle im Idealfall nur ein Mal konfiguriert werden müssen.
Bei der Modellauswahl erhalten Sie eine Liste zahlreicher Anbieter. Die Modelle können Sie nicht einfach auswählen und nutzen. Fast alle Anbieter fragen nach einem API-Key, damit die Nutzung der Modelle entsprechend zugeordnet und abgerechnet werden kann. Da es aktuell keinen Landesdienst gibt, der LLMs zur Verfügung stellt, müssen alle Hochschulen und Nutzenden sich um einen entsprechenden Zugang kümmern.

 

Falls Sie den KI-Assistenten nur kurz "ausprobieren" möchten, können Sie eins der Modelle "bwJupyter :: [Modell]" auswählen. Die Modelle werden von der GWDG im Rahmen ihrer AI Services kostenlos zur Verfügung gestellt. Für diese LLMs ist kein eigener API-Key notwendig. Eine Liste aller verfügbaren LLMs und deren Fähigkeiten finden Sie in der GWDG-Dokumentation. Bitte beachten Sie hierbei, dass die Nutzung der GWDG-Modelle limitiert ist. Falls Sie auf den Fehler "429 Rate limit reached" stoßen, wurde das Kontingent bereits genutzt. Sie können es nach einer Stunde erneut probieren.

  Im Folgenden zeigen wir Ihnen wie Sie verschiedene Anbieter einbinden können. Wenn Sie Zugang zu LLMs haben, aber nicht wissen wie Sie die Modelle bei bwJupyter einbinden können, schreiben Sie uns eine kurze Mail an support∂bwjupyter.de.  

  • Manche Hochschulen betreiben OpenWebUI. OpenWebUI stellt eine Web-Oberfläche ähnlich zu ChatGPT bereit. Administratoren können mehrere LLMs hinterlegen, die man anschließend über den Chat ansprechen kann. Damit man die Modelle über die OpenWebUI auch in bwJupyter nutzen kann, benötigt man einen API-Key und die Modell-ID. Den API-Key kann man über "Einstellungen >> Konto >> API-Schlüssel" erzeugen. Die Modell-ID wird bei der Modellauswahl angezeigt, nachdem man den Curser über ein Modell zieht.
    Die Modell-ID wird in Klammern nach dem Modell angezeigt.

    Danach lassen sich die Informationen fürs Modell "OpenAI (general interface) :: *" wie folgt eintragen:
    Der API-Key muss unter "API Keys" eingetragen werden.

Weitere Informationen zur Nutzung des KI-Assistenten finden sich in einer Aufzeichnung zur Fortbildung zum KI-Assistenten und den zugehörigen Fortbildungsfolien.