Werken met generatoren in Python

Als je regels uit een logbestand leest of een lange lijst met items verwerkt, is een optie om de volledige gegevens in het geheugen te laden. Deze aanpak kan echter veel geheugen gebruiken en de prestaties belemmeren. Generatoren bieden een waardevolle oplossing.

Generatoren verlichten de noodzaak om grote hoeveelheden gegevens in één keer in het geheugen te laden. Ze zijn vooral nuttig in situaties met grote datasets, oneindige reeksen of elke omstandigheid waarbij geheugenbeheer van groot belang is.

Wat zijn generatoren?

Een generator kan gedefinieerd worden als een bepaald type functie dat de iteratieve verwerking van een reeks elementen mogelijk maakt. In tegenstelling tot traditionele functies die een hele dataset in één keer leveren, produceren generatoren op verzoek geleidelijk individuele componenten. Daarom zijn ze zeer effectief bij het verwerken van uitgebreide of oneindige verzamelingen informatie.

Een standaard Python functie is typisch ontworpen om een enkele waarde te berekenen en terug te geven, terwijl een generator functie werkt op een iteratieve basis. In plaats van een waarde te berekenen en deze in één keer terug te geven, geeft een generatorfunctie meerdere waarden in de loop van de tijd door middel van een reeks pauzes en hervattingen van de uitvoering.

Bij het genereren van functionaliteit in programmeertalen wordt vaak bepaald hoe gegevens worden geproduceerd of uitgevoerd. Er bestaat een fundamenteel verschil tussen standaardfuncties en generatorfuncties met betrekking tot hun benadering van het leveren van resultaten. Reguliere functies gebruiken meestal het sleutelwoord “return” als een manier om data uit te voeren, terwijl generatorfuncties vertrouwen op de “yield”-verklaring voor dit doel.

Hoe maak je een generatorfunctie

Om een generatorfunctie te maken, gebruik je in plaats van een traditionele return-instructie een yield-instructie in het lichaam van de functie. Het sleutelwoord yield dient niet alleen als een instructie voor de functie om een resultaat te produceren, maar zorgt er ook voor dat de huidige status behouden blijft, waardoor potentiële hervattingen gemakkelijker worden.

Zeker, hier is een voorbeeld van een basis generatorfunctie in Python:

 def numeric_generator():
  yield 1
  yield 2
  yield 3

gen = numeric_generator()

Deze specifieke functie produceert bij uitvoering een reeks getallen van 1 tot 3.

De yield-instructie dient een uniek doel in functioneel programmeren door het opschorten en hervatten van de functie-uitvoering mogelijk te maken met behoud van de huidige status, inclusief lokaal gedefinieerde variabelen, voor volgende aanroepen. Dit zorgt voor een naadloze voortzetting van berekeningen zonder de noodzaak voor expliciete herstarts of extra boekhouding.

Wanneer je een generatorfunctie opslaat in een variabele, resulteert dit in de creatie van een generatorobject dat kan worden gebruikt voor verschillende bewerkingen.

Werken met generatoren

Generatoren bieden een veelzijdige reeks toepassingen in verschillende contexten, waaronder het gebruik binnen zowel for-lussen en lijstbegrip als binnen uitgebreidere iteratieve structuren. Bovendien zijn generatoren geschikt om te worden gebruikt als invoerparameters voor talloze functies.

Als je eenmaal een generator hebt gemaakt, kun je een lusconstructie gebruiken die bekend staat als een “for-lus” om de uitvoer iteratief te doorlopen. Hierdoor kun je systematisch elk element van de reeks die door de functie wordt gegenereerd verwerken zonder dat je ze afzonderlijk handmatig hoeft te openen en te manipuleren.

 for i in numeric_generator():
  print(i)

Je kunt de vervolgfunctie ook gebruiken om waarden opeenvolgend te verkrijgen:

 print(next(gen)) # 1
print(next(gen)) # 2
print(next(gen)) # 3

Door deze aanpak krijg je meer invloed op de generatorentiteit.

Generatoren bezitten de mogelijkheid om hun interne toestand te behouden. Elk gebruik van het sleutelwoord yield binnen een functie dient als een mogelijkheid voor de generator om zijn voortgang te pauzeren en zijn huidige positie vast te leggen. Bij het aanroepen van de next() methode op het generator object, wordt de controle teruggegeven aan het vorige yield statement, waardoor de uitvoering op dat specifieke punt wordt hervat.

Men kan ook data verzenden naar een generator door gebruik te maken van de send() methode, waarmee waarden kunnen worden verstrekt.

 def generator_with_send():
    # First yield: Receive a value
    x = yield
    print(f"Received: {x}")

    # Second yield: Receive another value
    y = yield
    print(f"Received: {y}")

    # Third yield: Yield the sum
    yield x \\+ y

gen = generator_with_send()

# Start generator and reach first yield
next(gen)

# Send 10 into generator, received at first yield
result = gen.send(10)

# Send 5 into generator, received at second yield
result = gen.send(5)

# Print result of third yield
print(result) 

De send() methode in Python’s generatoren biedt een mechanisme om output waarden op te halen en de stroom van uitvoering te controleren door waarden terug te sturen naar de generator functie. Deze techniek kan handig zijn in situaties waarin je de uitvoering van een generator moet pauzeren of complexere coöperatieve programma’s moet schrijven die meerdere aanroepen naar generatorfuncties bevatten.

Generator expressies gebruiken

Generator expressies bieden een efficiënte manier voor het maken van een eenvoudige, naamloze generator door middel van een verkorte syntaxis die haakjes gebruikt in plaats van haakjes. Deze lijken in veel opzichten op lijstbegrip, maar hebben verschillende kenmerken die ze onderscheiden van hun tegenhanger.

Hier is een voorbeeld:

 gen = (i**2 for i in range(10))

for x in gen:
  print(x)

De code construeert een generatorobject dat de kwadraten produceert van gehele getallen van 0 tot een gespecificeerde bovengrens, met behulp van een generatoruitdrukking. Deze aanpak is bijzonder geschikt voor situaties waarin slechts een deel van de uitvoer op een gegeven moment hoeft te worden gegenereerd, omdat het een efficiënte en flexibele productie van waarden op aanvraag mogelijk maakt.

Generatoren gebruiken voor dataverwerking

Python generatoren bieden een elegante oplossing voor het beschrijven van datastromen met minimaal geheugengebruik. Door het gebruik ervan onder de knie te krijgen, kunnen programmeurs ingewikkelde dataverwerkingstaken met gemak uitvoeren.

Bij het werken met uitgebreide datasets is het verstandig om het gebruik van generatoren te overwegen vanwege hun vermogen om lastige rekentaken aan te kunnen en tegelijkertijd een flexibele en gestroomlijnde codeeromgeving te behouden.