Fraunhofer IAO | Mensch-Technik-Interaktion

The scenario above highlights a substantial shift: Virtual worlds and Extended Reality are no longer just visualisations or simulations; they are digital interaction spaces in which humans are embedded as part of the system. This applies to Industry 5.0 workers, operators, and collaborators across many domains. If humans are part of these interaction worlds, then modelling only machines and processes is not sufficient. The human must also be part of the digital representation.

Cognitive‑inspired Human Digital Twins focus on integrating human states, such as attention and cognitive workload, into digital interaction worlds, acknowledging that full human simulation remains a complex, multi‑disciplinary research challenge. This perspective opens a path toward Human Digital Twins that aim to represent and respond to how humans actually interact within virtual environments.

From digital models to human interaction worlds

Virtual worlds and Extended Reality are increasingly used as interaction spaces rather than static visualisations. In these environments, humans do not merely observe digital models; they act within them, following instructions, coordinating with others, or interacting with avatars and assistants. This shift is particularly visible in domains such as Industry 5.0, where digital twins are staring to represent machines and processes.

As humans become embedded in these interaction worlds, a purely technical representation might no longer be sufficient. Even when processes and environments are modelled accurately, interaction can still break down when attention fragments or cognitive workload accumulates. This highlights the need to extend digital representations beyond machines and processes to include the human dimension.

Embedding Human State into Digital Interaction Worlds

Cognitive‑inspired Human Digital Twins focus on integrating interpretable human states into digital interaction worlds. Rather than aiming to represent the human in full, this perspective concentrates on those aspects of cognition that partly shape interaction, such as attention allocation, cognitive workload, and early fatigue indicators.

These states are derived from observable behaviour and physiology and embedded incrementally into digital representations. The goal is not to explain cognition exhaustively, but to capture how interaction unfolds when humans act in different acts and situations.

By grounding Human Digital Twins in such state representations, the human becomes a stateful component of the interaction world. This provides a foundation for virtual environments, avatars, and assistants that can move beyond static behaviour and begin to respond meaningfully to changes in human state.

Starting from Observable Patterns

A starting point for cognitive inspired Human Digital Twins is attention. Attention is continuously expressed through behaviour and plays a central role in how humans interact with digital environments.

• Gaze patterns reveal where attention is directed and how it shifts over time.
• Eye‑based metrics provide information about attentional stability and emerging cognitive workload.
• Physiological signals, such as heart related metrics like heart rate variability can point to stress or effort.

These measures provide observable correlates from which patterns can be inferred. Over time, such patterns make it possible to detect when attention become fragmented or when workload begins to rise. This is the foundation of cognitive inspiration: making the invisible human dimension visible in a form that can be integrated into digital interaction worlds.

Incremental Embodiment of the Human

Cognitive-inspired Human Digital Twins can be realised incrementally starting with detectable patterns derived from behaviour and physiology and gradually extend towards further representations of workload, fatigue or other states.

When such patterns can be integrated into virtual environments, avatars, or assistants, these systems can begin to react to changes in human state, for example by adjusting pacing, guidance, or information density in response to how a person is coping in the moment. This does not require the system to understand the mind; it requires the system to respond to interpretable state changes.

Implications for Industry 5.0 and beyond

Industry 5.0 emphasises human‑centric production and close collaboration between humans and digital systems. In many industrial contexts, XR instructions, assistance systems, and digital twins of machines and processes are already part of everyday work. What is often missing is an explicit representation of the human as a stateful actor within these systems.

By making attention and workload patterns visible, cognitive‑inspired Human Digital Twins address this gap. This is particularly relevant in complex or safety‑critical situations, where changes in human state often precede errors or breakdowns in interaction. Embedding such state information allows digital interaction worlds to better align system behaviour with human capacities.

Many avatars and AI‑based assistants already generate flexible language and guidance, but they typically operate without explicit awareness of the user’s current cognitive state. When attention and workload patterns are represented, these systems can begin to adjust their behaviour, for example by changing pacing, guidance, or information density.

As virtual worlds and extended reality increasingly integrate humans into digital interaction spaces, the cognitive dimension becomes an important feature to consider. Cognitive-inspired human digital twins can help align system behaviour with observable changes in attention and workload enabling personalised and adaptive environments. At IAO we work with organisations to understand and track relevant human states in real‑world settings through qualitative and quantitative methods, derive meaningful insights, and support the translation of these insights into ideas for interactive systems and informed design decisions.

Leselinks:

• European Commission (2021) — Industry 5.0: Towards a sustainable, human‑centric and resilient European industry
• Human Digital Twins and the Industry 5.0
  https://doi.org/10.1016/j.compind.2024.104230
  https://doi.org/10.1016/j.rcim.2023.102626
• Blogbeitrag: Das soziale Gehirn – Welche neurophysiologischen Signale für Zusammenarbeit entscheidend sind
• Metaverse-Themenwochen
• Alle Blogbeiträge des Teams »Applied Neurocognitive Systems«
• Applied Neurocognitive Systems Team des Fraunhofer IAO

This situation highlights a broader shift. Virtual worlds and Extended Reality are no longer just visualisations or simulations; they are digital interaction spaces in which humans are embedded as part of the system. This applies to Industry 5.0 workers, operators, and collaborators across many domains. If humans are part of these interaction worlds, then modelling only machines and processes is not sufficient. The human must also be part of the digital representation.

Cognitive‑inspired Human Digital Twins focus on integrating human states, such as attention and cognitive workload, into digital interaction worlds, acknowledging that full human simulation remains a complex, multi‑disciplinary research challenge. This perspective opens a path toward Human Digital Twins that aim to represent and respond to how humans actually interact within virtual environments.

From digital models to human interaction worlds

Virtual worlds and Extended Reality are increasingly used as interaction spaces rather than static visualisations. In these environments, humans do not merely observe digital models; they act within them, following instructions, coordinating with others, or interacting with avatars and assistants. This shift is particularly visible in domains such as Industry 5.0, where digital twins are staring to represent machines and processes.

As humans become embedded in these interaction worlds, a purely technical representation might no longer be sufficient. Even when processes and environments are modelled accurately, interaction can still break down when attention fragments or cognitive workload accumulates. This highlights the need to extend digital representations beyond machines and processes to include the human dimension.

Embedding Human State into Digital Interaction Worlds

Embedding Human State into Digital Interaction Worlds
Cognitive‑inspired Human Digital Twins focus on integrating interpretable human states into digital interaction worlds. Rather than aiming to represent the human in full, this perspective concentrates on those aspects of cognition that partly shape interaction, such as attention allocation, cognitive workload, and early fatigue indicators.

These states are derived from observable behaviour and physiology and embedded incrementally into digital representations. The goal is not to explain cognition exhaustively, but to capture how interaction unfolds when humans act in different acts and situations.

By grounding Human Digital Twins in such state representations, the human becomes a stateful component of the interaction world. This provides a foundation for virtual environments, avatars, and assistants that can move beyond static behaviour and begin to respond meaningfully to changes in human state.

Starting from Observable Patterns

A starting point for cognitive inspired Human Digital Twins is attention. Attention is continuously expressed through behaviour and plays a central role in how humans interact with digital environments.

• Gaze patterns reveal where attention is directed and how it shifts over time.
• Eye‑based metrics provide information about attentional stability and emerging cognitive workload.
• Physiological signals, such as heart related metrics like heart rate variability can point to stress or effort.

These measures provide observable correlates from which patterns can be inferred. Over time, such patterns make it possible to detect when attention become fragmented or when workload begins to rise. This is the foundation of cognitive inspiration: making the invisible human dimension visible in a form that can be integrated into digital interaction worlds.

Incremental Embodiment of the Human

Cognitive-inspired Human Digital Twins can be realised incrementally starting with detectable patterns derived from behaviour and physiology and gradually extend towards further representations of workload, fatigue or other states.

When such patterns can be integrated into virtual environments, avatars, or assistants, these systems can begin to react to changes in human state, for example by adjusting pacing, guidance, or information density in response to how a person is coping in the moment. This does not require the system to understand the mind; it requires the system to respond to interpretable state changes.

Implications for Industry 5.0 and beyond

Industry 5.0 emphasises human‑centric production and close collaboration between humans and digital systems. In many industrial contexts, XR instructions, assistance systems, and digital twins of machines and processes are already part of everyday work. What is often missing is an explicit representation of the human as a stateful actor within these systems.

By making attention and workload patterns visible, cognitive‑inspired Human Digital Twins address this gap. This is particularly relevant in complex or safety‑critical situations, where changes in human state often precede errors or breakdowns in interaction. Embedding such state information allows digital interaction worlds to better align system behaviour with human capacities.

Many avatars and AI‑based assistants already generate flexible language and guidance, but they typically operate without explicit awareness of the user’s current cognitive state. When attention and workload patterns are represented, these systems can begin to adjust their behaviour, for example by changing pacing, guidance, or information density.

As virtual worlds and extended reality increasingly integrate humans into digital interaction spaces, the cognitive dimension becomes an important feature to consider. Cognitive-inspired human digital twins can help align system behaviour with observable changes in attention and workload enabling personalised and adaptive environments.

Leselinks:

• »Metaverse – Vielfalt erleben, Innovation gestalten« Kampagne des Fraunhofer IAO mit Veranstaltungen, Angeboten, aktuellen Möglichkeiten
• European Commission (2021) — Industry 5.0: Towards a sustainable, human‑centric and resilient European industry
• Human Digital Twins and the Industry 5.0
  https://doi.org/10.1016/j.compind.2024.104230
  https://doi.org/10.1016/j.rcim.2023.102626
• Blogbeitrag: Das soziale Gehirn – Welche neurophysiologischen Signale für Zusammenarbeit entscheidend sind
• Alle Blogbeiträge des Teams »Applied Neurocognitive Systems«
• Applied Neurocognitive Systems Team des Fraunhofer IAO

Die Energiewende stellt insbesondere die Akteure rund um Gebäude und Quartiere vor neue Herausforderungen: Kommunen, Energieversorger, Projektentwickler und Wohnungseigentümergemeinschaften (WEG) müssen heute Wärmewende, Elektromobilität, Photovoltaik-Ausbau und steigende Strombedarfe gemeinsam berücksichtigen. Diese Entwicklungen treffen jedoch auf bestehende Netzinfrastrukturen, die ursprünglich nicht für diese Anforderungen ausgelegt wurden. Was früher nacheinander geplant wurde, muss heute gleichzeitig gedacht werden – genau darin liegt die Herausforderung, aber auch eine große Chance.

Projektentwickler von Quartieren und Gebäuden, Kommunen und WEGs stehen insbesondere bei Wärmekonzepten für Bestandsgebäude und Quartieren unter Handlungsdruck. Mit der erforderlichen Transformation des Wärmeenergiesystems, ambitionierten Klimaschutzzielen und dem steigenden Bedarf an Ladeinfrastruktur für Elektrofahrzeuge wird deutlich: Eine sektorale Betrachtung von Strom, Wärme, Kälte und Mobilität greift zu kurz. Gefragt sind integrierte Lösungen, die das Energiesystem als Ganzes betrachten. Doch wie kann eine solche integrierte Planung in der Praxis aussehen?

Folgende Grafik verdeutlicht die Verzahnung verschiedener Sektoren:

Ein typisches Wohnquartier – viele neue Anforderungen

Betrachten wir ein beispielhaftes, innerstädtisches Quartier: 5 Gebäude mit 80 Wohneinheiten, kleinere Gewerbeeinheiten sowie eine Tiefgarage mit 90 Stellplätzen. Perspektivisch sollen alle Stellplätze mit Ladeinfrastruktur ausgestattet werden. Gleichzeitig deckt eine große PV-Anlage einen großen Anteil des Strombedarfs.

Die zentralen Fragen lauten dabei:

• Wie groß muss der Netzanschluss dimensioniert sein, um eine wachsende Zahl an Elektrofahrzeugen zuverlässig zu versorgen?
• Welche Kombination von Energiesystemkomponenten aus verschiedenen Sektoren führt zu einem wirtschaftlichen und nachhaltigen Energiesystem?
• Wie lassen sich Wärmepumpe, Photovoltaik, Speicher und Elektromobilität sinnvoll zu einem nachhaltigen Energiesystem kombinieren?
• Welche Kosten entstehen und welchen Beitrag leistet das System tatsächlich zum Klimaschutz?

In der Praxis werden diese Fragestellungen häufig noch isoliert voneinander behandelt. Insbesondere die Auslegung der Ladeinfrastruktur erfolgt oftmals auf Basis pauschaler Gleichzeitigkeitsfaktoren, mit denen die maximale Leistungsaufnahme der Elektrofahrzeuge abgeschätzt wird. Diese vereinfachte Annahme wird dem realen Nutzungs- und Ladeverhalten jedoch nur selten gerecht. Die Folge sind überdimensionierte Anschlussleistungen, unnötige Netzverstärkungen oder Investitionen, die sich langfristig weder technisch noch wirtschaftlich als sinnvoll erweisen.

Integriert statt isoliert planen

Genau an dieser Stelle setzt eine integrierte Energiesystemplanung an. Statt einzelne Komponenten isoliert zu dimensionieren, wird das Quartier als gekoppeltes System aus Strom-, Wärme- und Mobilitätssektor verstanden. Lasten, Erzeugung und Speicher werden zeitlich hochaufgelöst gegenübergestellt – inklusive ihrer Wechselwirkungen. Für die Vorausschau der Netzbelastung durch Elektrofahrzeuge ist eine spezifische Lastprofilgenerierung der Fahrzeuge mit unterschiedlichem Nutzerverhalten zu empfehlen. Nur so können hohe Folgekosten und Fehlplanungen vermieden werden.

Mit dem vom Fraunhofer IAO und dem IAT der Universität Stuttgart entwickelten Local Energy Planner (kurz: LEny) (siehe auch Leselink zu meiner Dissertation unten) lässt sich ein solches Quartier realitätsnah abbilden. Elektrische Haushalts- und Gewerbelasten, Wärmenachfrage sowie Ladebedarfe von Elektrofahrzeugen werden gemeinsam modelliert. Ergänzt werden sie durch Erzeugungskomponenten wie Photovoltaik, Blockheizkraftwerke oder Wärmepumpen sowie elektrische und thermische Speicher. Durch intelligente Betriebsstrategien können hohe Ladelasten vermieden und so der Netzausbau begrenzt werden.

Durch die Simulation eines vollständigen Jahres in minütlicher Auflösung werden nicht nur Jahresenergiemengen betrachtet, sondern auch Lastspitzen, Eigenverbrauchsquoten und zeitliche Überschneidungen von Erzeugung und Verbrauch sichtbar. Zur intuitiven Bedienung des Tools wurde eine Benutzeroberfläche entwickelt.

Szenarien vergleichen und fundierte Entscheidungen treffen

in besonderer Mehrwert ergibt sich aus dem Vergleich unterschiedlicher Szenarien. So kann etwa einer konventionellen Variante – bestehend aus Netzanschluss und Heizkessel – ein zukunftsfähiges Energiesystem gegenübergestellt werden. Zusätzlich lassen sich Sensitivitätsanalysen durchführen, etwa hinsichtlich:

• steigender Energiepreise,
• unterschiedlicher Elektrifizierungsgrade der Mobilität,
• variierender Dimensionierung der Komponenten (bspw. PV-Anlage oder Batteriespeicher)

Für das betrachtete Quartier wird damit nachvollziehbar, unter welchen Rahmenbedingungen ein Netzausbau erforderlich ist – und in welchen Fällen sich dieser durch intelligente Betriebsstrategien vermeiden oder deutlich reduzieren lässt. Gleichzeitig können Investitions- und Betriebskosten sowie die entstehenden CO₂-Emissionen systematisch analysiert und bewertet werden.

Vom Planungswerkzeug zum Entscheidungsinstrument

Der Local Grid Planner unterstützt damit nicht nur die technische Auslegung lokaler Energiesysteme, sondern bietet auch eine fundierte Entscheidungsgrundlage für die verschiedenen Akteure der Gebäude- und Quartiersentwicklung – von Kommunen und Energieversorgern über Projektentwickler und Planungsbüros bis hin zu Wohnungseigentümergemeinschaften. Durch die integrierte Betrachtung werden Zielkonflikte zwischen Wirtschaftlichkeit, Energieeffizienz und Klimaschutz transparent gemacht. Gleichzeitig lassen sich die Auswirkungen unterschiedlicher Systemkonfigurationen quantifizieren und so eine belastbare Grundlage für langfristige Investitions- und Planungsentscheidungen schaffen.

Gerade in Zeiten, in denen viele Weichen gleichzeitig gestellt werden müssen, ist eine solche ganzheitliche Betrachtung unerlässlich. Denn die Energiewende im Quartier gelingt nur dann, wenn Strom, Wärme und Mobilität gemeinsam gedacht werden – nicht nebeneinander.

Leselinks:

• Publikation: Ein Modell zur Auslegung und multikriteriellen Bewertung von Energiesystemen zur nachhaltigen Integration der Elektromobilität
• »Living Lab« Micro Smart Grid am Fraunhofer IAO