De allow richtlijn zorgt er voor dat bepaalde bestanden of pagina’s die zijn uitgesloten in het robots.txt bestand door middel van een disallow richtlijn wel toegankelijk zijn. Je gebruikt de allow richtlijn dus altijd in combinatie met de disallow richtlijn.

De allow richtlijn wordt enkel ondersteund door Google en Bing.

User-agent: *
Disallow: /INTERSHOP/
Allow: /INTERSHOP/static/WFS/Jumbo-Grocery-Site/-/-/nl_NL/bundles/js/
Allow: /INTERSHOP/static/WFS/Jumbo-Grocery-Site/-/-/nl_NL/bundles/css/
Allow: /INTERSHOP/static/WFS/Jumbo-Grocery-Site/-/Jumbo-Grocery/nl_NL/CMS/Images/

De disallow richtlijn geeft aan dat voor zoekmachines pagina’s die /intershop/ bevatten niet toegankelijk zijn. De allow richtlijn zorgt er echter voor dat de javascript, css en afbeeldingen van de website wel toegankelijk zijn.